簡(jiǎn)介基于GNN圖神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的Python完整源碼數(shù)據(jù)包面向圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)者和研究人員覆蓋從數(shù)據(jù)預(yù)處理、模型構(gòu)建到預(yù)測(cè)結(jié)果復(fù)現(xiàn)的完整流程。資源共32個(gè)文件包含19個(gè)Python腳本、4個(gè)Jupyter Notebook、4個(gè)npz數(shù)據(jù)文件及配置說(shuō)明、模型示意圖、許可文件等壓縮包僅8.34MB結(jié)構(gòu)清晰。Python腳本主要實(shí)現(xiàn)數(shù)據(jù)加載、圖模型定義與訓(xùn)練邏輯Notebook則提供可直接運(yùn)行的演示與復(fù)現(xiàn)入口兼顧學(xué)習(xí)與二次開發(fā)npz文件為實(shí)驗(yàn)用圖數(shù)據(jù)開箱即用配以說(shuō)明文檔和目錄組織易于嵌入現(xiàn)有項(xiàng)目。包內(nèi)集成PPNP等經(jīng)典GNN模型同時(shí)提供PyTorch與TensorFlow兩個(gè)版本的實(shí)現(xiàn)適合不同框架偏好的用戶并附有模型示意圖輔助理解網(wǎng)絡(luò)結(jié)構(gòu)。目前已有2252人學(xué)習(xí)下載對(duì)想快速上手圖神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的初學(xué)者和需要參考完整源碼的研究者都很有價(jià)值。1. 圖神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)為什么“關(guān)系”比“特征”更值錢做表格數(shù)據(jù)預(yù)測(cè)時(shí)大多數(shù)人默認(rèn)每行樣本是獨(dú)立的。但實(shí)際業(yè)務(wù)里用戶和用戶之間有社交關(guān)系設(shè)備和設(shè)備之間有調(diào)用鏈分子和分子之間有共價(jià)鍵——把這些關(guān)系丟掉等于把最值錢的信息扔在門口。GNN圖神經(jīng)網(wǎng)絡(luò)干的事情就是把這些“關(guān)系”直接編碼進(jìn)預(yù)測(cè)過(guò)程節(jié)點(diǎn)自己長(zhǎng)什么樣、它周圍鄰居是誰(shuí)、鄰居之間怎么連接三件事一起決定最終預(yù)測(cè)結(jié)果。這個(gè)方向不是趕時(shí)髦而是當(dāng)數(shù)據(jù)本身自帶連接結(jié)構(gòu)時(shí)傳統(tǒng)機(jī)器學(xué)習(xí)模型基本都會(huì)輸給GNN。本文從消息傳遞原理講起落到環(huán)境搭建、數(shù)據(jù)準(zhǔn)備、訓(xùn)練調(diào)參和避坑記錄帶你把這個(gè)Python完整源碼數(shù)據(jù)包真正跑通并用在自己業(yè)務(wù)上。適合剛接觸圖神經(jīng)網(wǎng)絡(luò)、想用Python快速落地節(jié)點(diǎn)分類或邊預(yù)測(cè)的工程師。2. 消息傳遞機(jī)制GNN到底在算什么最小模型怎么搭2.1 消息傳遞GNN唯一的核心運(yùn)算GNN的理論基礎(chǔ)可以濃縮成一句話每一個(gè)節(jié)點(diǎn)通過(guò)不斷聚合鄰居的信息來(lái)更新自己的表示。這個(gè)操作叫消息傳遞Message Passing所有GNN變體不管是GCN、GAT還是GraphSAGE本質(zhì)都在做同一件事鄰居節(jié)點(diǎn)把自己算好的向量發(fā)給中心節(jié)點(diǎn)中心節(jié)點(diǎn)拿這些向量做加權(quán)求和再經(jīng)過(guò)一次非線性變換得到自己的新向量。用一段不依賴任何深度學(xué)習(xí)框架的代碼來(lái)看最直觀import numpy as np def gcn_layer(A_hat, X, W): 一層GCN的前向傳播 A_hat: 加了自環(huán)并對(duì)稱歸一化后的鄰接矩陣形狀 (N, N) X: 節(jié)點(diǎn)特征矩陣形狀 (N, D) W: 本層可訓(xùn)練權(quán)重形狀 (D, F) 返回: 更新后的節(jié)點(diǎn)表示形狀 (N, F) return A_hat X W這段代碼里A_hat X就是在做消息聚合A_hat的每一行記錄了當(dāng)前節(jié)點(diǎn)應(yīng)該以多大權(quán)重去拿鄰居的特征乘完之后每個(gè)節(jié)點(diǎn)都拿到了“自己和鄰居的加權(quán)特征和”。接著再乘W做一次線性變換這就是一層GCN的全部?jī)?nèi)容。邏輯上你可以把它理解成“把鄰居信息匯總到一起再統(tǒng)一過(guò)一次線性層”。這里有個(gè)細(xì)節(jié)值得注意A_hat不是原始鄰接矩陣必須做歸一化。常見做法是對(duì)稱歸一化公式是D^(-1/2) A D^(-1/2)代碼實(shí)現(xiàn)如下def normalize_adjacency(A): 對(duì)鄰接矩陣做對(duì)稱歸一化防止節(jié)點(diǎn)度過(guò)高導(dǎo)致數(shù)值不穩(wěn)定 A A np.eye(A.shape[0]) # 加自環(huán)讓節(jié)點(diǎn)保留自身信息 degree np.sum(A, axis1) # 節(jié)點(diǎn)的度數(shù) degree_inv_sqrt np.power(degree, -0.5) degree_inv_sqrt[np.isinf(degree_inv_sqrt)] 0.0 D_inv_sqrt np.diag(degree_inv_sqrt) return D_inv_sqrt A D_inv_sqrt為什么必須加自環(huán)因?yàn)槿绻患又行墓?jié)點(diǎn)在聚合時(shí)只能拿到鄰居的信息自己的原始特征反而丟了這會(huì)導(dǎo)致預(yù)測(cè)效果明顯變差。為什么必須歸一化因?yàn)槎葦?shù)高的節(jié)點(diǎn)比如微博大V聚合了大量鄰居信息度數(shù)低的節(jié)點(diǎn)只有零星幾個(gè)鄰居兩者聚合后的向量尺度完全不同送入后續(xù)網(wǎng)絡(luò)時(shí)會(huì)造成訓(xùn)練不穩(wěn)定。2.2 主流GNN變體怎么選GCN、GAT、GraphSAGE理解消息傳遞之后選型就有了依據(jù)。三種最常用的GNN變體差別只在聚合鄰居時(shí)的“加權(quán)方式”上。GCN圖卷積網(wǎng)絡(luò)的權(quán)重是固定的完全由圖的拓?fù)浣Y(jié)構(gòu)決定度數(shù)高的節(jié)點(diǎn)鄰居貢獻(xiàn)被稀釋度數(shù)低的節(jié)點(diǎn)鄰居貢獻(xiàn)被放大。優(yōu)點(diǎn)是計(jì)算效率高、參數(shù)少適合圖結(jié)構(gòu)相對(duì)規(guī)整、沒(méi)有復(fù)雜權(quán)重的場(chǎng)景。缺點(diǎn)也很明顯——所有鄰居一視同仁不管它和你是不是同類。GAT圖注意力網(wǎng)絡(luò)把固定權(quán)重?fù)Q成了注意力機(jī)制模型自己學(xué)習(xí)每個(gè)鄰居的重要性權(quán)重。我在做社交網(wǎng)絡(luò)用戶分類時(shí)GAT通常比GCN高3到5個(gè)點(diǎn)因?yàn)楝F(xiàn)實(shí)中確實(shí)是“某些鄰居比另一些鄰居更重要”。代價(jià)是訓(xùn)練更慢、顯存消耗更大。GraphSAGE則走了另一條路不聚合全部鄰居而是每層隨機(jī)采樣固定數(shù)量比如25個(gè)的鄰居再做聚合。好處是天然支持大規(guī)模圖和 inductive 場(chǎng)景——新節(jié)點(diǎn)來(lái)了不用重新訓(xùn)練整個(gè)圖可以只算它周圍鄰居的表示。如果你的圖有上千萬(wàn)節(jié)點(diǎn)GraphSAGE是穩(wěn)妥起點(diǎn)。一個(gè)實(shí)際的選型建議是第一版用GCN把流程跑通建立基線如果效果不夠再換GAT和GraphSAGE對(duì)比。不要一上來(lái)就在三四個(gè)模型之間反復(fù)橫跳先跑通再優(yōu)化。3. 環(huán)境搭建與源碼數(shù)據(jù)包落地從Python裝到跑通第一個(gè)腳本3.1 環(huán)境準(zhǔn)備Python版本、PyTorch和DGL的兼容組合拿到這個(gè)Python完整源碼數(shù)據(jù)包第一步永遠(yuǎn)是配環(huán)境。GNN的生態(tài)里主流的圖深度學(xué)習(xí)庫(kù)是DGL和PyTorch Geometric配合PyTorch使用。其中被最多項(xiàng)目采用、踩坑成本最低的組合是Python 3.9 PyTorch 1.13/2.0 DGL 1.x。我一般不建議一上來(lái)就裝Python 3.12因?yàn)椴糠忠蕾噹?kù)的預(yù)編譯輪子還沒(méi)跟上容易在編譯環(huán)節(jié)浪費(fèi)時(shí)間。推薦在虛擬環(huán)境里安裝避免污染系統(tǒng)Pythonconda create -n gnn python3.9 -y conda activate gnn pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install dgl這里conda create指定Python版本為3.9是為了讓后續(xù)依賴庫(kù)有穩(wěn)定的二進(jìn)制包支持。安裝PyTorch時(shí)--index-url指定CUDA 11.8版本的安裝源如果你的機(jī)器只有CPU把這個(gè)地址去掉安裝CPU版即可。DGL的CPU版和GPU版在代碼層面沒(méi)有區(qū)別安裝GPU版只是為了訓(xùn)練加速。版本兼容是這邊最常見的翻車點(diǎn)。PyTorch 2.0發(fā)布后舊版本的DGL0.9.x直接無(wú)法導(dǎo)入最新PyTorch報(bào)錯(cuò)信息是undefined symbol或者OSError: libtorch_python.so。踩過(guò)這個(gè)坑之后我的習(xí)慣是先確定PyTorch版本再安裝與之匹配的DGL。在bash里執(zhí)行下面兩行花一分鐘確認(rèn)版本python -c import torch; print(torch.__version__, torch.version.cuda) python -c import dgl; print(dgl.__version__)3.2 數(shù)據(jù)包目錄結(jié)構(gòu)典型的GNN項(xiàng)目長(zhǎng)什么樣解壓數(shù)據(jù)包之后先別急著跑train.py。把目錄結(jié)構(gòu)看清楚比什么都重要。一個(gè)標(biāo)準(zhǔn)、可以直接上手的GNN項(xiàng)目目錄一般長(zhǎng)這樣project_root/ ├── README.md # 項(xiàng)目說(shuō)明和環(huán)境安裝步驟 ├── requirements.txt # 依賴清單用 pip install -r 一鍵安裝 ├── data/ # 原始數(shù)據(jù)和預(yù)處理腳本 │ ├── raw/ # 原始數(shù)據(jù)集比如CSV或JSON │ └── preprocess.py # 數(shù)據(jù)清洗和圖構(gòu)建腳本 ├── models/ # 模型定義 │ ├── gcn.py # GCN模型類 │ ├── gat.py # 注意力網(wǎng)絡(luò)模型類 │ └── sage.py # GraphSAGE模型類 ├── training/ │ ├── train.py # 訓(xùn)練主腳本 │ └── evaluate.py # 評(píng)估腳本 └── utils/ ├── graph_builder.py # 從表格數(shù)據(jù)構(gòu)建DGL圖 └── metrics.py # 評(píng)估指標(biāo)比如準(zhǔn)確率、F1拿到數(shù)據(jù)包后先看README.md確認(rèn)它要求哪一版Python和DGL再pip install -r requirements.txt。只看models/目錄下的文件你就能判斷這個(gè)項(xiàng)目的模型實(shí)現(xiàn)用的是DGL還是PyTorch Geometric以及支持哪幾種圖神經(jīng)網(wǎng)絡(luò)變體。3.3 跑通第一個(gè)訓(xùn)練腳本最小命令和參數(shù)說(shuō)明數(shù)據(jù)包到手后最快的驗(yàn)證方式是用內(nèi)置的小規(guī)模數(shù)據(jù)集跑一個(gè)最小的訓(xùn)練命令。以節(jié)點(diǎn)分類任務(wù)為例典型命令如下python training/train.py \ --dataset cora \ --model gcn \ --hidden-dim 16 \ --num-layers 2 \ --epochs 200--dataset cora指定Cora數(shù)據(jù)集GNN界最經(jīng)典的論文引用數(shù)據(jù)集2708篇論文7個(gè)類別--model gcn選擇GCN模型--hidden-dim表示隱藏層維度--num-layers是圖神經(jīng)網(wǎng)絡(luò)層數(shù)--epochs是訓(xùn)練輪數(shù)。跑通之后你會(huì)在終端里看到每一輪的loss和驗(yàn)證集準(zhǔn)確率。Cora這個(gè)規(guī)模下Epoch 50左右驗(yàn)證準(zhǔn)確率應(yīng)該穩(wěn)定在76%到82%之間。如果你看到準(zhǔn)確率一直在個(gè)位數(shù)打轉(zhuǎn)或者loss不下降先別懷疑模型——大概率是環(huán)境或數(shù)據(jù)處理出了問(wèn)題后面第5章會(huì)列出最常見的幾個(gè)坑。4. 從原始數(shù)據(jù)到圖結(jié)構(gòu)鄰接矩陣、特征矩陣與標(biāo)簽劃分的實(shí)操步驟4.1 把表格數(shù)據(jù)變成圖三種常見數(shù)據(jù)形態(tài)和對(duì)應(yīng)構(gòu)建方式現(xiàn)實(shí)項(xiàng)目里很少有現(xiàn)成的圖數(shù)據(jù)給你用。多數(shù)情況是手里有幾張數(shù)據(jù)庫(kù)導(dǎo)出的表需要自己把它們組織成圖。下面三種形態(tài)最典型覆蓋了絕大多數(shù)業(yè)務(wù)場(chǎng)景。第一種形態(tài)是“節(jié)點(diǎn)表 邊表”分離。節(jié)點(diǎn)表記錄每個(gè)實(shí)體的ID和特征邊表記錄實(shí)體間的關(guān)系。這種結(jié)構(gòu)是GNN最友好的輸入直接可以喂給DGL或PyGimport pandas as pd import dgl import torch # ids.csv: 用戶ID列和對(duì)應(yīng)的特征列 # edges.csv: 兩列表示用戶A關(guān)注了用戶B nodes pd.read_csv(data/raw/nodes.csv) edges pd.read_csv(data/raw/edges.csv) # 構(gòu)建無(wú)向圖節(jié)點(diǎn)ID需要做連續(xù)整數(shù)映射 node_ids nodes[id].unique() id_map {old: new for new, old in enumerate(node_ids)} src edges[src].map(id_map).values dst edges[dst].map(id_map).values g dgl.graph((torch.tensor(src), torch.tensor(dst))) g.ndata[feat] torch.tensor(nodes.drop(columns[id]).values, dtypetorch.float32)這里dgl.graph接收一個(gè)元組分別是源節(jié)點(diǎn)ID數(shù)組和目標(biāo)節(jié)點(diǎn)ID數(shù)組。因?yàn)镈GL要求節(jié)點(diǎn)ID必須是從0開始的連續(xù)整數(shù)所以必須先用id_map把原始的業(yè)務(wù)ID映射成整數(shù)索引。特征矩陣通過(guò)g.ndata[feat]掛到圖上后續(xù)模型直接用g.ndata[feat]取特征。這是一個(gè)高效且不容易出錯(cuò)的圖構(gòu)建流程。第二種形態(tài)是“從高維稀疏關(guān)系矩陣重建圖”。比如電商平臺(tái)的共現(xiàn)數(shù)據(jù)或者文本數(shù)據(jù)的詞共現(xiàn)矩陣本身是一個(gè)N乘N的稀疏矩陣。直接用scipy.sparse讀取然后用dgl.from_scipy轉(zhuǎn)為DGL圖from scipy import sparse import dgl adj sparse.load_npz(data/raw/co_occurrence.npz) g dgl.from_scipy(adj)第三種形態(tài)是“從連續(xù)特征計(jì)算KNN圖”。數(shù)據(jù)里沒(méi)有顯式的邊關(guān)系只有每個(gè)樣本的連續(xù)特征。常見做法是計(jì)算樣本間的余弦相似度或歐氏距離取每個(gè)樣本最相似的K個(gè)樣本建邊。我處理用戶行為畫像數(shù)據(jù)時(shí)經(jīng)常走這條路用sklearn找K近鄰from sklearn.neighbors import kneighbors_graph feat nodes.drop(columns[id]).values adj_matrix kneighbors_graph(feat, n_neighbors10, modeconnectivity) g dgl.from_scipy(adj_matrix)kneighbors_graph里n_neighbors10是鄰居數(shù)量modeconnectivity表示只保留連接關(guān)系不計(jì)算權(quán)重。K的選擇直接影響圖的質(zhì)量——K太小圖會(huì)分裂成多個(gè)不連通小團(tuán)K太大圖會(huì)變成一鍋粥所有節(jié)點(diǎn)都連在一起消息傳遞退化成了全局池化。一般可以先在15到30之間試探結(jié)合下游任務(wù)的驗(yàn)證集效果來(lái)定。4.2 鄰接矩陣的歸一化GCN能不能收斂的勝負(fù)手原始鄰接矩陣直接作為輸入GCN大概率會(huì)在前幾個(gè)epoch就產(chǎn)生梯度爆炸或梯度消失。原因是節(jié)點(diǎn)的特征經(jīng)過(guò)連乘之后數(shù)值尺度會(huì)迅速變大。必須對(duì)鄰接矩陣做歸一化。前面第2章里已經(jīng)給出了對(duì)稱歸一化的NumPy實(shí)現(xiàn)工程上DGL有內(nèi)置API可以直接調(diào)用不用自己造輪子import dgl.function as fn g dgl.add_self_loop(g) # 加自環(huán)保留節(jié)點(diǎn)自身信息 g dgl.add_self_loop(g).local_var() g.update_all(fn.copy_u(h, m), fn.sum(m, h))實(shí)際操作中用dgl.nn.GraphConv會(huì)幫你自動(dòng)處理歸一化邏輯不需要手動(dòng)加自環(huán)或歸一化。但如果你的模型是自定義消息傳遞層這一步千萬(wàn)不能漏。判斷獨(dú)立實(shí)現(xiàn)的對(duì)錯(cuò)有一個(gè)簡(jiǎn)單方法對(duì)比手動(dòng)實(shí)現(xiàn)和dgl.nn.GraphConv在相同數(shù)據(jù)上的前向輸出數(shù)值應(yīng)該基本一致浮點(diǎn)誤差范圍內(nèi)。4.3 標(biāo)簽劃分訓(xùn)練/驗(yàn)證/測(cè)試的切分方式?jīng)Q定了模型是否過(guò)擬合GNN的標(biāo)簽劃分和普通監(jiān)督學(xué)習(xí)最大的區(qū)別是不能簡(jiǎn)單隨機(jī)打亂。如果訓(xùn)練集和驗(yàn)證集共享了大量邊比如同一社區(qū)的節(jié)點(diǎn)一部分在訓(xùn)練集、一部分在驗(yàn)證集驗(yàn)證指標(biāo)會(huì)虛高因?yàn)槟阋呀?jīng)在訓(xùn)練時(shí)“見過(guò)”驗(yàn)證集節(jié)點(diǎn)的所有鄰居信息。這在工程上叫信息泄露會(huì)讓你的模型上線后表現(xiàn)遠(yuǎn)不如實(shí)驗(yàn)時(shí)那么好看。三種主流劃分策略供參考劃分策略做法適用場(chǎng)景隨機(jī)劃分對(duì)節(jié)點(diǎn)ID隨機(jī)打亂按比例切分圖結(jié)構(gòu)相對(duì)稀疏邊對(duì)預(yù)測(cè)影響弱按社區(qū)/連通分量劃分先跑社區(qū)發(fā)現(xiàn)算法再把整個(gè)社區(qū)分到同一集合社交網(wǎng)絡(luò)、推薦場(chǎng)景按時(shí)間劃分用前70%時(shí)間的邊訓(xùn)練后30%預(yù)測(cè)動(dòng)態(tài)圖、時(shí)序預(yù)測(cè)場(chǎng)景具體實(shí)現(xiàn)上隨機(jī)劃分用torch.randperm或sklearn.train_test_split就夠了。而按社區(qū)劃分可以用dgl.metis_partition把圖切成多個(gè)子圖再把切出來(lái)的子圖分給訓(xùn)練和驗(yàn)證num_parts 10 parts dgl.metis_partition(g, num_parts) part_ids torch.arange(num_parts) train_part part_ids[:7] # 7個(gè)社區(qū)用于訓(xùn)練 val_part part_ids[7:] # 3個(gè)社區(qū)用于驗(yàn)證 train_nodes torch.cat([parts[i].ndata[dgl.NID] for i in train_part]) val_nodes torch.cat([parts[i].ndata[dgl.NID] for i in val_part])dgl.metis_partition返回一個(gè)字典鍵是分區(qū)的編號(hào)值是對(duì)應(yīng)的子圖。每個(gè)子圖的ndata[dgl.NID]保存了原始節(jié)點(diǎn)的全局ID把它們收集起來(lái)就是該分區(qū)包含的所有節(jié)點(diǎn)。用這種方式切分訓(xùn)練集和驗(yàn)證集之間的跨集邊會(huì)大幅減少指標(biāo)更接近真實(shí)上線水平。4.4 特征工程的三個(gè)方向原始特征不夠時(shí)還能從哪里找特征圖神經(jīng)網(wǎng)絡(luò)的輸入特征是節(jié)點(diǎn)級(jí)的向量。如果你的業(yè)務(wù)數(shù)據(jù)只有ID和類別沒(méi)有數(shù)值特征直接輸入模型的效果會(huì)很差。三個(gè)行之有效的方向第一入度、出度、PageRank等圖結(jié)構(gòu)特征。這些特征描述了節(jié)點(diǎn)在圖中的結(jié)構(gòu)性位置實(shí)現(xiàn)起來(lái)成本極低用NetworkX或DGL幾行就能算出來(lái)但往往對(duì)預(yù)測(cè)效果提升明顯。第二節(jié)點(diǎn)embedding——比如用Node2Vec、DeepWalk等圖嵌入方法預(yù)先跑一遍把每個(gè)節(jié)點(diǎn)映射成低維稠密向量作為GNN輸入特征的一部分。這個(gè)方案特別好用先用無(wú)監(jiān)督方法把圖的結(jié)構(gòu)信息壓縮成向量再交給GNN去做有監(jiān)督預(yù)測(cè)兩種方法的優(yōu)勢(shì)互補(bǔ)。第三如果每個(gè)節(jié)點(diǎn)本身有一段文本比如論文摘要或商品描述可以做一次文本向量化用預(yù)訓(xùn)練模型或TF-IDF轉(zhuǎn)成固定維度向量作為附加特征。文本特征和圖結(jié)構(gòu)特征一起入模通常比單獨(dú)使用其中一種效果更好。5. 避坑記錄GNN預(yù)測(cè)項(xiàng)目里最容易翻車的五個(gè)細(xì)節(jié)與排查方式5.1 邊方向沒(méi)對(duì)齊構(gòu)建無(wú)向圖時(shí)漏了反向邊現(xiàn)象模型訓(xùn)練時(shí)loss下降極快但驗(yàn)證集準(zhǔn)確率非常低或者模型完全沒(méi)有任何預(yù)測(cè)能力。原因關(guān)系數(shù)據(jù)通常只記了一對(duì)節(jié)點(diǎn)的一次方向。比如“用戶A關(guān)注了用戶B”原始數(shù)據(jù)里只會(huì)有一行記錄。如果你直接用這行記錄建圖DGL建出來(lái)的是有向圖消息只能從A傳到B不能回來(lái)。很多GNN模型比如GCN默認(rèn)在無(wú)向圖上做對(duì)稱聚合方向不一致就導(dǎo)致信息流不通暢。解決在構(gòu)建圖時(shí)顯式加入反向邊同時(shí)去掉重復(fù)邊再做一次規(guī)范化import dgl import torch src torch.tensor(src) dst torch.tensor(dst) g dgl.graph((torch.cat([src, dst]), torch.cat([dst, src]))) g dgl.to_simple(g) # 去掉重復(fù)邊 g dgl.add_self_loop(g)用torch.cat把src和dst對(duì)調(diào)后拼接一次得到的就是無(wú)向圖的雙向邊集合。dgl.to_simple會(huì)自動(dòng)合并重復(fù)邊并把多重的邊的權(quán)重統(tǒng)計(jì)好。處理完可以打印g.number_of_edges()驗(yàn)證邊數(shù)大約是原始記錄數(shù)的兩倍左右。5.2 節(jié)點(diǎn)度數(shù)分布極不均衡導(dǎo)致預(yù)測(cè)結(jié)果偏向大v節(jié)點(diǎn)現(xiàn)象模型在驗(yàn)證集上的Accuracy看起來(lái)不錯(cuò)但按節(jié)點(diǎn)度數(shù)分組去看度數(shù)低的節(jié)點(diǎn)預(yù)測(cè)準(zhǔn)確率慘不忍睹。原因圖數(shù)據(jù)普遍存在冪律分布——只有少數(shù)節(jié)點(diǎn)擁有海量鄰居大量節(jié)點(diǎn)只有三五個(gè)鄰居。高集聚類了海量信息模型可以輕松從“鄰居”里獲得預(yù)測(cè)信號(hào)低度節(jié)點(diǎn)的鄰居信息太少模型最終只能靠自身特征硬猜。解決第一個(gè)手段是按度分桶統(tǒng)計(jì)指標(biāo)不要只看整體Accuracyimport torch pred torch.argmax(logits, dim1) labels g.ndata[label] degree g.in_degrees() for low, high in [(0, 10), (10, 50), (50, float(inf))]: mask (degree low) (degree high) acc (pred[mask] labels[mask]).float().mean() print(fdegree [{low:4}, {high:5}): accuracy {acc:.4f})代碼里g.in_degrees()得到每個(gè)節(jié)點(diǎn)的入度按區(qū)間分桶計(jì)算各自準(zhǔn)確率一眼看出模型對(duì)低度節(jié)點(diǎn)的表現(xiàn)。如果確實(shí)差太多改用GraphSAGE——它通過(guò)采樣限制高Degree節(jié)點(diǎn)的信息無(wú)限制擴(kuò)增對(duì)低度節(jié)點(diǎn)更友好。5.3 隨機(jī)劃分?jǐn)?shù)據(jù)導(dǎo)致標(biāo)簽信息泄漏現(xiàn)象訓(xùn)練集準(zhǔn)確率不錯(cuò)驗(yàn)證集準(zhǔn)確率也很高線上真實(shí)場(chǎng)景效果遠(yuǎn)不如實(shí)驗(yàn)——這是典型的信息泄露特征。但這里的泄漏發(fā)生在數(shù)據(jù)劃分階段不是特征工程。原因訓(xùn)練和驗(yàn)證節(jié)點(diǎn)之間仍然存在大量邊GNN的消息傳遞會(huì)通過(guò)邊把驗(yàn)證節(jié)點(diǎn)的標(biāo)簽信息經(jīng)過(guò)訓(xùn)練集節(jié)點(diǎn)的中介帶進(jìn)訓(xùn)練過(guò)程。這在半監(jiān)督場(chǎng)景下尤其明顯——GNN天然會(huì)用到圖中所有節(jié)點(diǎn)的特征信息。解決使用按社區(qū)劃分或按時(shí)間劃分。按照第4.3節(jié)的做法用dgl.metis_partition把圖切成訓(xùn)練、驗(yàn)證、測(cè)試三個(gè)子圖讓三個(gè)集合之間的邊盡可能少。調(diào)整后驗(yàn)證集指標(biāo)可能會(huì)掉3到5個(gè)點(diǎn)——不要慌這是去掉信息泄漏之后的真實(shí)水平線上效果反而會(huì)更可信。5.4 層數(shù)超過(guò)3層后性能不升反降過(guò)平滑問(wèn)題的典型特征現(xiàn)象把模型層數(shù)從2層加到4層、6層訓(xùn)練loss降了但驗(yàn)證集準(zhǔn)確率越來(lái)越差。直觀上看是“過(guò)擬合”但即便加了Dropout和Weight Decay也沒(méi)有改善。原因GNN的理論困境是“過(guò)平滑”。深層消息傳遞會(huì)讓所有節(jié)點(diǎn)的表示趨于一致——每個(gè)節(jié)點(diǎn)反復(fù)聚合自己鄰居和鄰居的鄰居最終和整個(gè)圖上的均值向量趨同。淺層GCN1到2層能最好地捕捉局部局部結(jié)構(gòu)層數(shù)越深全局均質(zhì)化越嚴(yán)重。解決不要盲目加深網(wǎng)絡(luò)。如果確實(shí)需要更大感受野比如要用到2跳以外的鄰居信息優(yōu)先調(diào)整擴(kuò)展鄰居范圍用更大的鄰接矩陣冪次或者給每一層加殘差連接。最簡(jiǎn)單可靠的工程做法是深度固定為2到3層把主要調(diào)參精力放在隱藏層寬度hidden_dim和Dropout比例上。經(jīng)驗(yàn)數(shù)據(jù)是Cora數(shù)據(jù)集上2層GCN的上限在80%附近加層數(shù)只會(huì)更差。5.5 DGL和PyTorch版本不匹配引發(fā)的運(yùn)行時(shí)崩潰現(xiàn)象import dgl正常但訓(xùn)練過(guò)程中一執(zhí)行dgl.graph就報(bào)錯(cuò)錯(cuò)誤堆棧指向torch.ops相關(guān)的內(nèi)容提示OSError或undefined symbol。原因DGL 0.9.x和PyTorch 2.0之間的二進(jìn)制接口發(fā)生了變動(dòng)舊版DGL編譯時(shí)鏈接的是舊版PyTorch符號(hào)新版PyTorch里這些符號(hào)被移除運(yùn)行到圖構(gòu)建操作時(shí)直接崩潰。解決這是環(huán)境問(wèn)題不是代碼問(wèn)題解決方式很直接——檢查當(dāng)前環(huán)境中兩者的版本把DGL升級(jí)到1.1以上或者把PyTorch降到與已有DGL兼容的版本pip install dgl -U python -c import dgl; print(dgl.__version__)如果項(xiàng)目代碼還依賴?yán)习姹镜腄GL API比如dgl.udf或某些舊版函數(shù)升級(jí)后會(huì)出現(xiàn)接口棄用警告。處理原則是優(yōu)先用新版DGL改掉棄用調(diào)用而不是回退到舊版PyTorch——后續(xù)無(wú)論裝新依賴還是做GPU遷移新版都省心很多。6. 一個(gè)可靠的調(diào)參順序先固定Seed再驗(yàn)證超參敏感性GNN項(xiàng)目真正花時(shí)間的不是寫模型而是讓超參數(shù)在一個(gè)可復(fù)現(xiàn)的基準(zhǔn)上調(diào)起來(lái)。我習(xí)慣先規(guī)定一個(gè)“黃金Seed”——通常是42。在訓(xùn)練腳本開頭固定隨機(jī)種子讓同一套參數(shù)每次跑出來(lái)的結(jié)果基本一致才有資格談?wù){(diào)參import random import numpy as np import torch seed 42 random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)固定完隨機(jī)種子后再逐一考察對(duì)最終結(jié)果影響最顯著的四組超參數(shù)。按經(jīng)驗(yàn)排序?qū)W習(xí)率 隱藏層維度 Dropout比例 權(quán)重衰減。下面的表格是從實(shí)際調(diào)參中得到的一組典型敏感性參考超參數(shù)低值表現(xiàn)適中值推薦高值風(fēng)險(xiǎn)學(xué)習(xí)率0.0005時(shí)收斂慢150輪后才進(jìn)入平臺(tái)期0.005到0.010.05以上loss震蕩劇烈甚至發(fā)散隱藏層維度8維時(shí)表征能力不足準(zhǔn)確率低約8個(gè)點(diǎn)16至32維64維以上提升有限顯存和訓(xùn)練時(shí)間翻倍Dropout0時(shí)訓(xùn)練集準(zhǔn)確率極高、驗(yàn)證集低過(guò)擬合0.5至0.60.8以上模型欠擬合驗(yàn)證集也掉點(diǎn)權(quán)重衰減0時(shí)訓(xùn)練后期驗(yàn)證集準(zhǔn)確率波動(dòng)5e-4至1e-31e-2以上模型過(guò)于平滑預(yù)訓(xùn)練風(fēng)格退化驗(yàn)證方法上有明確的區(qū)分超參數(shù)選擇看驗(yàn)證集最終匯報(bào)看測(cè)試集。訓(xùn)練過(guò)程中每個(gè)Epoch打印驗(yàn)證集指標(biāo)選驗(yàn)證集最好的模型保存權(quán)重最后再用測(cè)試集做一次匯報(bào)。不要拿測(cè)試集反復(fù)調(diào)參——調(diào)上三次測(cè)試集的指標(biāo)就沒(méi)參考價(jià)值了。GNN的調(diào)參和普通深度模型不一樣的地方在于它極度依賴“圖”本身的構(gòu)建質(zhì)量。一個(gè)好的鄰接矩陣頂?shù)蒙蠋资纬瑓?shù)搜索。我自己的習(xí)慣是調(diào)參前先花時(shí)間做特征工程和圖的規(guī)范化研究鄰接矩陣的度分布確認(rèn)訓(xùn)練/驗(yàn)證節(jié)點(diǎn)的劃分沒(méi)有泄漏再去動(dòng)模型和學(xué)習(xí)率——順序反了用再精細(xì)的調(diào)參也是白費(fèi)力氣。這條路我踩了不少坑希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取