簡(jiǎn)介這是一套基于Python實(shí)現(xiàn)的輿情監(jiān)控分析與預(yù)測(cè)系統(tǒng)完整源碼包面向計(jì)算機(jī)、電子信息工程、數(shù)學(xué)等專業(yè)的大學(xué)生適用于課程設(shè)計(jì)、期末大作業(yè)或畢業(yè)設(shè)計(jì)參考也可作為數(shù)據(jù)分析與可視化方向的實(shí)戰(zhàn)練習(xí)項(xiàng)目。壓縮包共118個(gè)文件約45.23MB包含27個(gè)py源碼文件、36個(gè)txt說(shuō)明與數(shù)據(jù)文件、12個(gè)jar及10個(gè)class等Java組件、7個(gè)java文件、6個(gè)xml配置、2個(gè)ipynb筆記本、1個(gè)xlsx數(shù)據(jù)集和若干json、md文檔覆蓋數(shù)據(jù)采集、文本處理、情感分析、圖表展示等模塊。內(nèi)容預(yù)覽可見柱狀圖、餅圖、界面初始化及NLP相關(guān)類說(shuō)明系統(tǒng)兼具可視化界面與自然語(yǔ)言處理能力。該資源經(jīng)導(dǎo)師指導(dǎo)并獲98分認(rèn)可已有361人學(xué)習(xí)適合需要完整項(xiàng)目結(jié)構(gòu)、可運(yùn)行代碼與配套數(shù)據(jù)集的學(xué)習(xí)者參考借鑒。1. 輿情監(jiān)控系統(tǒng)到底在監(jiān)控什么從一條負(fù)評(píng)到一張趨勢(shì)圖一條負(fù)評(píng)出現(xiàn)在某個(gè)公開討論區(qū)兩小時(shí)后被轉(zhuǎn)進(jìn)三個(gè)社群第二天早上變成搜索框里的聯(lián)想詞——這個(gè)過程里真正值得盯住的不是那條評(píng)論本身而是它擴(kuò)散的斜率?；?Python 實(shí)現(xiàn)的輿情監(jiān)控分析與預(yù)測(cè)系統(tǒng)干的就是把這種「斜率」變成可量化、可回看、可預(yù)警的東西。它適合兩類人一類是手里已經(jīng)有一批公開文本數(shù)據(jù)、想搭一套能跑起來(lái)的分析流水線的開發(fā)者另一類是需要在本地復(fù)現(xiàn)一套完整鏈路、從采集清洗一路做到可視化與趨勢(shì)預(yù)測(cè)的學(xué)生或研究者。標(biāo)題里帶數(shù)據(jù)集和可視化意味著這套東西不是空殼而是有輸入、有中間產(chǎn)物、有最終圖表出口的閉環(huán)。下面按「數(shù)據(jù)怎么進(jìn)來(lái)、特征怎么算、模型怎么選、圖怎么畫、坑在哪」的順序拆開講每一步都給到能直接抄的代碼和參數(shù)。2. 數(shù)據(jù)管道從原始文本到可建模的輿情樣本2.1 數(shù)據(jù)集長(zhǎng)什么樣先做字段體檢拿到一份輿情數(shù)據(jù)集第一件事不是急著建模而是把字段結(jié)構(gòu)摸清楚。常見做法是至少包含時(shí)間戳、文本內(nèi)容、來(lái)源渠道、互動(dòng)量點(diǎn)贊/轉(zhuǎn)發(fā)/評(píng)論這幾列有的還會(huì)帶情感標(biāo)簽或主題標(biāo)簽。先跑一段體檢腳本看缺失率、時(shí)間跨度、文本長(zhǎng)度分布這三項(xiàng)直接決定后面清洗策略。import pandas as pd # 讀取數(shù)據(jù)集常見格式為 csv 或 xlsx df pd.read_csv(opinion_data.csv, encodingutf-8) # 字段體檢缺失率、時(shí)間范圍、文本長(zhǎng)度 print(字段列表:, df.columns.tolist()) print(缺失率:\n, df.isnull().mean().round(4)) print(時(shí)間范圍:, df[timestamp].min(), -, df[timestamp].max()) # 文本長(zhǎng)度分布判斷是否需要截?cái)?df[text_len] df[content].astype(str).str.len() print(df[text_len].describe())這段代碼的邏輯是先確認(rèn)列名對(duì)不對(duì)再算每列缺失比例最后看文本長(zhǎng)度。參數(shù)上encoding要跟文件實(shí)際編碼一致中文數(shù)據(jù)常見 utf-8 和 gbk 兩種讀出來(lái)亂碼就換。text_len的 describe 結(jié)果里如果 75 分位超過 512后面做向量化時(shí)就要考慮截?cái)喾駝t顯存或內(nèi)存會(huì)吃不消。時(shí)間范圍決定你能不能做按天聚合的趨勢(shì)圖跨度太短比如只有三天就不適合做預(yù)測(cè)只能做描述性分析。2.2 清洗與去重三個(gè)必須處理的臟數(shù)據(jù)形態(tài)輿情數(shù)據(jù)最臟的地方集中在三類重復(fù)轉(zhuǎn)發(fā)、廣告灌水、純符號(hào)無(wú)意義文本。重復(fù)轉(zhuǎn)發(fā)會(huì)讓某條內(nèi)容的熱度虛高廣告灌水會(huì)污染情感判斷純符號(hào)文本會(huì)讓分詞器報(bào)錯(cuò)。處理順序建議先去重、再過濾、最后做長(zhǎng)度截?cái)?。import re def clean_text(text): text str(text) # 去掉 URL 和 提及這兩類對(duì)情感判斷貢獻(xiàn)極低 text re.sub(rhttp\S|www\.\S, , text) text re.sub(r\w, , text) # 只保留中文、英文、數(shù)字和基本標(biāo)點(diǎn) text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) # 壓縮連續(xù)空格 text re.sub(r\s, , text).strip() return text df[clean_content] df[content].apply(clean_text) # 去重完全相同的文本只保留最早一條 df df.sort_values(timestamp).drop_duplicates(subset[clean_content], keepfirst) # 過濾長(zhǎng)度小于 5 的短文本 df df[df[clean_content].str.len() 5] print(清洗后樣本量:, len(df))clean_text里那條正則[^\u4e00-\u9fa5a-zA-Z0-9。、]是關(guān)鍵它把表情符號(hào)、特殊字符全部替換成空格避免后續(xù)分詞器遇到未知字符拋異常。去重時(shí)用keepfirst配合時(shí)間排序保留最早出現(xiàn)的那條這樣熱度統(tǒng)計(jì)不會(huì)因?yàn)橹貜?fù)轉(zhuǎn)發(fā)而失真。長(zhǎng)度閾值設(shè) 5 是個(gè)經(jīng)驗(yàn)值低于 5 個(gè)字的文本基本沒有分析價(jià)值設(shè)太高又會(huì)誤殺「太差了」這種短而有效的負(fù)評(píng)。2.3 中文分詞與停用詞jieba 的三種加載模式中文輿情分析繞不開分詞。jieba 提供三種模式精確模式、全模式、搜索引擎模式。輿情場(chǎng)景我一般用搜索引擎模式因?yàn)樗鼤?huì)把長(zhǎng)詞再切出短詞召回率更高適合后面做關(guān)鍵詞提取。import jieba import jieba.analyse # 加載自定義詞典把領(lǐng)域詞加進(jìn)去避免被切碎 jieba.load_userdict(domain_dict.txt) # 每行一個(gè)詞可帶詞頻 # 搜索引擎模式分詞 def cut_words(text): return jieba.lcut_for_search(text) df[words] df[clean_content].apply(cut_words) # 加載停用詞表 with open(stopwords.txt, encodingutf-8) as f: stopwords set(line.strip() for line in f) df[words_filtered] df[words].apply( lambda ws: [w for w in ws if w not in stopwords and len(w) 1] ) print(df[words_filtered].head(3))load_userdict加載的自定義詞典是提升分詞質(zhì)量最有效的手段把「退款流程」「客服響應(yīng)」這類領(lǐng)域短語(yǔ)加進(jìn)去能避免被切成「退款」「流程」兩個(gè)詞。停用詞表里除了「的」「了」「是」這類通用詞還要加上本數(shù)據(jù)集里高頻但無(wú)意義的詞比如平臺(tái)名、固定話題標(biāo)簽。len(w) 1過濾掉單字單字在輿情分析里噪聲太大。3. 情感分析與主題提取把文本變成可計(jì)算的指標(biāo)3.1 情感打分SnowNLP 與規(guī)則詞典的取舍情感分析有兩條路一條是用 SnowNLP 這類現(xiàn)成庫(kù)直接出 0 到 1 的情感分另一條是自建情感詞典做加權(quán)打分。前者上手快后者可控性強(qiáng)。輿情監(jiān)控里我一般先用 SnowNLP 跑一版基線再用詞典法做校正因?yàn)?SnowNLP 在反諷和雙重否定上容易翻車。from snownlp import SnowNLP def sentiment_score(text): try: return SnowNLP(text).sentiments # 返回 0~1越接近 1 越正面 except Exception: return 0.5 # 異常時(shí)給中性值避免整條流水線中斷 df[sentiment] df[clean_content].apply(sentiment_score) # 按天聚合平均情感分 df[date] pd.to_datetime(df[timestamp]).dt.date daily_sentiment df.groupby(date)[sentiment].mean() print(daily_sentiment.tail())sentiments返回的是概率值0.5 附近代表中性。異常處理里返回 0.5 是個(gè)兜底策略防止某條文本讓整個(gè) apply 中斷。按天聚合后的daily_sentiment就是趨勢(shì)圖的縱軸數(shù)據(jù)。這里要注意SnowNLP 對(duì)長(zhǎng)文本的判斷會(huì)偏向中性因?yàn)樗前凑涓怕世鄢说奈谋驹介L(zhǎng)越容易趨近 0.5所以如果數(shù)據(jù)里長(zhǎng)文本多建議先分句再取平均。3.2 關(guān)鍵詞提取TF-IDF 與 TextRank 的適用邊界關(guān)鍵詞提取用來(lái)回答「大家在討論什么」。TF-IDF 偏向高頻且獨(dú)特的詞TextRank 偏向在共現(xiàn)網(wǎng)絡(luò)里中心性高的詞。輿情場(chǎng)景里TF-IDF 適合找突發(fā)話題TextRank 適合找核心議題。import jieba.analyse # TF-IDF 提取 Top20 關(guān)鍵詞 tfidf_kw jieba.analyse.extract_tags( .join(df[clean_content].tolist()), topK20, withWeightTrue ) # TextRank 提取 Top20 關(guān)鍵詞 textrank_kw jieba.analyse.textrank( .join(df[clean_content].tolist()), topK20, withWeightTrue ) print(TF-IDF:, tfidf_kw[:10]) print(TextRank:, textrank_kw[:10])extract_tags的withWeightTrue會(huì)返回權(quán)重方便后面做詞云時(shí)按權(quán)重調(diào)字號(hào)。topK設(shè) 20 是個(gè)平衡值太少看不出主題分布太多會(huì)混入噪聲詞。兩個(gè)方法的結(jié)果可以取交集交集詞往往是既高頻又核心的議題詞適合放進(jìn)預(yù)警規(guī)則里。3.3 主題聚類LDA 的 topic 數(shù)怎么定當(dāng)關(guān)鍵詞不足以概括議題時(shí)用 LDA 做主題聚類。LDA 最大的坑是 topic 數(shù)拍腦袋定。我的做法是先跑 2 到 10 個(gè) topic看困惑度perplexity曲線的拐點(diǎn)再結(jié)合人工可解釋性定最終值。from sklearn.feature_extraction.text import CountVectorizer from sklearn.decomposition import LatentDirichletAllocation # 構(gòu)建詞頻矩陣限制最大特征數(shù)和文檔頻率 vectorizer CountVectorizer( max_features2000, max_df0.8, # 出現(xiàn)在 80% 以上文檔的詞丟掉 min_df5 # 出現(xiàn)在少于 5 篇文檔的詞丟掉 ) doc_term vectorizer.fit_transform(df[clean_content]) # 跑多個(gè) topic 數(shù)看困惑度 for n in [3, 5, 7, 10]: lda LatentDirichletAllocation(n_componentsn, random_state42, max_iter20) lda.fit(doc_term) print(ftopic{n}, perplexity{lda.perplexity(doc_term):.2f})max_df0.8和min_df5是過濾極端詞的常用組合前者去掉「今天」「大家」這類幾乎每篇都有的詞后者去掉只出現(xiàn)一兩次的生僻詞。困惑度越低越好但不要只看數(shù)值還要把每個(gè) topic 的 top 詞打印出來(lái)人工判斷是否可解釋。random_state42固定隨機(jī)種子保證每次跑結(jié)果一致方便復(fù)現(xiàn)。4. 趨勢(shì)預(yù)測(cè)與可視化從歷史曲線到未來(lái)三天4.1 時(shí)間序列建模ARIMA 的階數(shù)怎么選輿情熱度按天聚合后就是一條時(shí)間序列。ARIMA 是最常用的基線模型難點(diǎn)在 p、d、q 三個(gè)階數(shù)的確定。d 看差分次數(shù)p 和 q 看自相關(guān)和偏自相關(guān)圖。import pandas as pd from statsmodels.tsa.arima.model import ARIMA # 構(gòu)造熱度序列每天文本量 daily_count df.groupby(date).size().reset_index(namecount) daily_count[date] pd.to_datetime(daily_count[date]) series daily_count.set_index(date)[count] # 一階差分看平穩(wěn)性 diff series.diff().dropna() print(差分后均值:, diff.mean().round(4), 方差:, diff.var().round(4)) # 擬合 ARIMA(1,1,1) 作為基線 model ARIMA(series, order(1, 1, 1)) result model.fit() print(result.summary()) # 預(yù)測(cè)未來(lái) 3 天 forecast result.forecast(steps3) print(未來(lái)三天預(yù)測(cè):, forecast.values)order(1,1,1)里的三個(gè)參數(shù)分別是 AR 階數(shù)、差分次數(shù)、MA 階數(shù)。差分后方差明顯變小說(shuō)明 d1 合適。forecast(steps3)輸出未來(lái)三天的點(diǎn)預(yù)測(cè)實(shí)際用的時(shí)候還要看置信區(qū)間result.get_forecast(steps3).conf_int()能拿到上下界。輿情數(shù)據(jù)波動(dòng)大ARIMA 適合做短期基線超過一周的預(yù)測(cè)誤差會(huì)明顯放大。4.2 可視化情感趨勢(shì)與關(guān)鍵詞詞云可視化分兩塊一塊是時(shí)間維度的情感和熱度曲線一塊是關(guān)鍵詞詞云。曲線用 matplotlib詞云用 wordcloud中文字體要單獨(dú)指定否則會(huì)顯示成方塊。import matplotlib.pyplot as plt from wordcloud import WordCloud plt.rcParams[font.sans-serif] [SimHei] # 指定中文字體 plt.rcParams[axes.unicode_minus] False fig, ax1 plt.subplots(figsize(12, 5)) ax1.plot(daily_sentiment.index, daily_sentiment.values, colortab:blue, label情感均值) ax1.set_ylabel(情感分, colortab:blue) ax1.tick_params(axisy, labelcolortab:blue) ax2 ax1.twinx() ax2.bar(daily_count[date], daily_count[count], alpha0.3, colortab:orange, label文本量) ax2.set_ylabel(文本量, colortab:orange) plt.title(輿情情感與熱度趨勢(shì)) plt.tight_layout() plt.savefig(trend.png, dpi150) # 詞云 word_freq dict(tfidf_kw) wc WordCloud( font_pathSimHei.ttf, width800, height400, background_colorwhite ).generate_from_frequencies(word_freq) wc.to_file(wordcloud.png)font.sans-serif設(shè)成 SimHei 是解決中文亂碼的關(guān)鍵Linux 環(huán)境下如果沒有這個(gè)字體要換成系統(tǒng)里實(shí)際存在的中文字體路徑。雙軸圖里左軸畫情感曲線、右軸畫文本量柱狀圖能直觀看出「熱度漲但情感跌」這種危險(xiǎn)信號(hào)。詞云的generate_from_frequencies直接吃 TF-IDF 的權(quán)重字典字號(hào)自動(dòng)按權(quán)重分配。4.3 預(yù)警規(guī)則把閾值寫成可配置的字典預(yù)警不要硬編碼在代碼里抽成一個(gè)配置字典方便調(diào)整。常見規(guī)則有三條單日負(fù)評(píng)比例超過閾值、情感均值連續(xù)下降、關(guān)鍵詞突增。ALERT_RULES { negative_ratio: 0.4, # 負(fù)評(píng)占比超過 40% 觸發(fā) sentiment_drop_days: 3, # 情感連續(xù)下降 3 天觸發(fā) keyword_spike: 3.0 # 某關(guān)鍵詞出現(xiàn)頻率是均值 3 倍觸發(fā) } def check_alerts(daily_df, sentiment_series): alerts [] neg_ratio (daily_df[sentiment] 0.3).mean() if neg_ratio ALERT_RULES[negative_ratio]: alerts.append(f負(fù)評(píng)占比 {neg_ratio:.2%} 超閾值) # 連續(xù)下降判斷 recent sentiment_series.tail(ALERT_RULES[sentiment_drop_days] 1) if all(recent.diff().dropna() 0): alerts.append(情感連續(xù)下降) return alertsnegative_ratio設(shè) 0.4 是經(jīng)驗(yàn)值低于 0.3 的情感分算負(fù)評(píng)。連續(xù)下降判斷用diff()看每天的變化量是否都為負(fù)。這套規(guī)則的好處是閾值集中管理改一個(gè)數(shù)字就能調(diào)整靈敏度不用翻代碼。5. 避坑與排查五個(gè)讓流水線跑不通的典型問題5.1 中文亂碼編碼不一致導(dǎo)致讀取失敗現(xiàn)象是讀進(jìn)來(lái)的文本全是問號(hào)或方塊。原因是文件編碼和read_csv的encoding參數(shù)不匹配。解決辦法是先探測(cè)編碼用chardet檢測(cè)后再讀或者直接試 utf-8 和 gbk 兩種哪個(gè)不亂碼用哪個(gè)。寫文件時(shí)統(tǒng)一用encodingutf-8-sig帶 BOM 頭Excel 打開不亂碼。5.2 分詞結(jié)果全是單字自定義詞典沒加載成功現(xiàn)象是「退款流程」被切成「退」「款」「流」「程」。原因是load_userdict的路徑不對(duì)或者詞典文件編碼不是 utf-8。解決辦法是打印jieba.lcut(退款流程)驗(yàn)證如果還是單字檢查詞典文件每行格式是否為「詞 詞頻 詞性」最簡(jiǎn)單的格式是每行一個(gè)詞。加載后要重新初始化分詞器或者把load_userdict放在所有分詞操作之前。5.3 情感分全是 0.5SnowNLP 遇到空文本或純符號(hào)現(xiàn)象是大量文本情感分卡在 0.5。原因是清洗不徹底傳入了空字符串或純符號(hào)。解決辦法是在sentiment_score里加長(zhǎng)度判斷l(xiāng)en(text.strip()) 2直接返回 0.5 并跳過。另外 SnowNLP 對(duì)繁體中文支持差如果數(shù)據(jù)里有繁體要先做簡(jiǎn)繁轉(zhuǎn)換。5.4 ARIMA 報(bào)錯(cuò)「矩陣奇異」序列太短或全為常數(shù)現(xiàn)象是model.fit()拋 LinAlgError。原因是序列長(zhǎng)度不夠少于 10 個(gè)點(diǎn)或者值幾乎不變。解決辦法是先檢查series.nunique()如果小于 3 就沒法建模改用移動(dòng)平均做平滑展示。序列太短就降低階數(shù)用order(0,1,0)即一階差分當(dāng)基線。5.5 詞云中文顯示方塊字體路徑?jīng)]指定或字體不存在現(xiàn)象是詞云圖里中文全是方框。原因是font_path沒設(shè)或指向的字體文件不存在。解決辦法是在系統(tǒng)里找中文字體Linux 下常見路徑是/usr/share/fonts/下Windows 下是C:/Windows/Fonts/simhei.ttf。設(shè)完路徑后先用os.path.exists驗(yàn)證文件存在再傳給 WordCloud。6. 把預(yù)測(cè)結(jié)果接回業(yè)務(wù)一個(gè)可復(fù)用的日?qǐng)?bào)生成技巧前面五章把數(shù)據(jù)管道、情感分析、主題提取、趨勢(shì)預(yù)測(cè)和可視化都跑通了最后一章講怎么把這些串成一個(gè)每天自動(dòng)跑的日?qǐng)?bào)。核心思路是把所有中間結(jié)果落成文件再用模板拼裝這樣任何一步出問題都能單獨(dú)重跑不用整條鏈路重來(lái)。我一般會(huì)建一個(gè)output/目錄按日期分子目錄存當(dāng)天的清洗數(shù)據(jù)、情感聚合、關(guān)鍵詞和圖表。日?qǐng)?bào)正文用字符串模板生成關(guān)鍵指標(biāo)用 f-string 填進(jìn)去。下面是一個(gè)最小可用的日?qǐng)?bào)生成腳本。import os from datetime import date def generate_daily_report(target_date, daily_sentiment, daily_count, keywords, alerts): report_dir foutput/{target_date} os.makedirs(report_dir, exist_okTrue) # 落盤中間結(jié)果方便回溯 daily_sentiment.to_csv(f{report_dir}/sentiment.csv) daily_count.to_csv(f{report_dir}/count.csv, indexFalse) # 拼裝日?qǐng)?bào)正文 avg_sent daily_sentiment.loc[target_date] if target_date in daily_sentiment.index else 0.5 total daily_count[daily_count[date] target_date][count].sum() top_kw 、.join([w for w, _ in keywords[:5]]) report f輿情日?qǐng)?bào) {target_date} 樣本總量{total} 平均情感分{avg_sent:.3f} 高頻關(guān)鍵詞{top_kw} 預(yù)警信息{.join(alerts) if alerts else 無(wú)} with open(f{report_dir}/report.txt, w, encodingutf-8) as f: f.write(report) return report # 調(diào)用示例 today date.today() print(generate_daily_report(today, daily_sentiment, daily_count, tfidf_kw, [負(fù)評(píng)占比超閾值]))這段腳本的關(guān)鍵設(shè)計(jì)是「先落盤、再拼裝」。daily_sentiment.to_csv和daily_count.to_csv把中間結(jié)果存下來(lái)后面如果要查某天的原始數(shù)據(jù)直接讀 csv 就行不用重跑整個(gè)流水線。日?qǐng)?bào)正文用 f-string 拼avg_sent用.3f保留三位小數(shù)避免輸出一長(zhǎng)串浮點(diǎn)數(shù)。alerts為空時(shí)輸出「無(wú)」保證格式統(tǒng)一。參數(shù)上target_date建議用datetime.date對(duì)象而不是字符串這樣和 pandas 的日期索引能直接對(duì)齊。如果數(shù)據(jù)里時(shí)間戳帶時(shí)區(qū)要先統(tǒng)一轉(zhuǎn)成同一時(shí)區(qū)再取 date否則跨天聚合會(huì)錯(cuò)位。top_kw取前 5 個(gè)詞太多會(huì)撐爆一行太少又看不出主題。進(jìn)階用法有兩個(gè)方向。一是把日?qǐng)?bào)生成掛到定時(shí)任務(wù)上每天固定時(shí)間跑一次輸出目錄按日期歸檔一個(gè)月后就能回看整月的情感走勢(shì)。二是把預(yù)警規(guī)則和日?qǐng)?bào)結(jié)合當(dāng)alerts非空時(shí)在日?qǐng)?bào)標(biāo)題前加一個(gè)標(biāo)記方便快速篩選出需要人工介入的日子。我自己的習(xí)慣是每周回看一次預(yù)警記錄把誤報(bào)的規(guī)則閾值調(diào)一調(diào)跑上一個(gè)月閾值基本就貼合自己的數(shù)據(jù)分布了。血淚經(jīng)驗(yàn)是不要等到所有模塊都完美了才串流水線。先把清洗、情感、日?qǐng)?bào)這三步跑通哪怕預(yù)測(cè)模塊還是空的日?qǐng)?bào)里先放情感和關(guān)鍵詞也能用起來(lái)。后面再逐步把 ARIMA 預(yù)測(cè)和詞云加進(jìn)去每加一個(gè)模塊就單獨(dú)驗(yàn)證一次輸出比一次性全串起來(lái)再調(diào)試省太多時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取