隨著社會的不斷發(fā)展互聯(lián)網(wǎng)數(shù)據(jù)時代的到來數(shù)據(jù)的背后是什么數(shù)據(jù)有什么用怎么用龐大的數(shù)據(jù)來呈現(xiàn)出數(shù)據(jù)的價值讓我們一起去揭開它神秘的面紗。以Bilibili熱門視頻彈幕數(shù)據(jù)爬取與分析爬取為例介紹網(wǎng)絡爬蟲的基本原理Python環(huán)境的搭建PyCharm scrapy模塊的爬蟲數(shù)據(jù)的運用把獲取到的數(shù)據(jù)進行清洗、整合儲存數(shù)據(jù)到MySQL然后進行數(shù)據(jù)可視化的呈現(xiàn)簡單對呈現(xiàn)的圖進行數(shù)據(jù)分析。功能模塊設計該章節(jié)的功能模塊設計只是大概描述了系統(tǒng)的所有功能模塊將功能按權限來講解。系統(tǒng)總體結構圖如圖3-1所示。數(shù)據(jù)可視化分析看板展示Bilibili熱門視頻彈幕數(shù)據(jù)爬取與分析基本情況分析展示如圖4-3所示。