什么是 GNN/圖神經(jīng)網(wǎng)絡(luò)？

圖神經(jīng)網(wǎng)絡(luò)是一類 ”用于處理可以表示為圖的數(shù)據(jù)“ 的人工神經(jīng)網(wǎng)絡(luò)。我們通常能看到的例子有: 社交網(wǎng)絡(luò)的商品的推薦，蛋白質(zhì)三維結(jié)構(gòu)的預(yù)測(cè)和芯片設(shè)計(jì)優(yōu)化等等。到目前為止，之所以圖神經(jīng)網(wǎng)絡(luò)能夠攻克了這些涉及領(lǐng)域比較核心的問(wèn)題，包括其涉及的理論知識(shí)， 模型設(shè)計(jì)，benchmark 數(shù)據(jù)集效果驗(yàn)證等等一系列工作， 都能反映出了它結(jié)合圖數(shù)據(jù)表達(dá)的能力和神經(jīng)網(wǎng)絡(luò)模型泛化的能力。

那我們又要基于什么樣的前提，在 GNN 的范疇開始我們自己的探索和應(yīng)用呢? 我希望通過(guò)對(duì)兩個(gè)“假設(shè)”的描述 ，讓大家更了解這個(gè)前沿技術(shù)背后的動(dòng)機(jī)。

第一個(gè)假設(shè)：關(guān)于數(shù)據(jù)樣本的分布、頻率和空間位置表示

6 年前，谷歌 AI 趣味實(shí)驗(yàn)的一個(gè)展示平臺(tái)上 有一個(gè)機(jī)器學(xué)習(xí)任務(wù)非常吸引我。他們當(dāng)時(shí)的目標(biāo)是通過(guò)?叫聲分辨出?的種類。最左邊所有的小圖片，每一個(gè)代表北美一種?類叫聲的聲紋信息， 右邊則是我們找到的對(duì)應(yīng)的“鴛鴦”的照片。這個(gè)機(jī)器學(xué)習(xí)可視化項(xiàng)目，通過(guò)不使用標(biāo)記訓(xùn)練的 t-SNE，將高維聲紋信息轉(zhuǎn)換為二維的空間位置來(lái)展示數(shù)據(jù) 并且驗(yàn)證了相似的種群有相似的叫聲這個(gè)假設(shè)。

放在現(xiàn)在來(lái)看，我們有理由相信。當(dāng)時(shí)研究人員的夢(mèng)想 是可以用深度學(xué)習(xí)的模型去解決的， ?類有成千上萬(wàn)種，一種?的不同叫聲也有很大的差別， 只要我們有大量的數(shù)據(jù)樣本和標(biāo)簽可以去做訓(xùn)練，這個(gè)事情就是可行的。

我們知道深度學(xué)習(xí)，能解決這樣直觀但又復(fù)雜的事情， 恰恰是因?yàn)槲覀冋J(rèn)定了這樣的假設(shè); 并且著眼于如何處理大量的數(shù)據(jù)，使用更深層、更精妙的神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)，來(lái)自動(dòng)挖掘出數(shù)據(jù)的規(guī)律，并最終給出判斷。

假設(shè)二：一個(gè)種群有一個(gè)大致的活動(dòng)范圍

假如我們把問(wèn)題換做：我想知道在哪一個(gè)城市可以聽到這樣的?叫聲呢? 解答這個(gè)問(wèn)題的方法是使用圖算法。我們可以看到數(shù)據(jù)中記錄的位置信息，屬于地理位置的不同區(qū)塊; 根據(jù)數(shù)據(jù)采集的密度決定區(qū)塊的大小，把小的區(qū)塊與種群關(guān)聯(lián)， 再用社群發(fā)現(xiàn)的算法，得出不同物種的空間分布。

這個(gè)生物地理的問(wèn)題，其實(shí)給定另一個(gè)假設(shè)，即一個(gè)種群有一個(gè)大致的活動(dòng)范圍。只不過(guò)這樣的假設(shè)比之前樣本特征分布的假設(shè)，更加容易以一種顯式的方式體現(xiàn)。趨向于普遍事實(shí)的“假設(shè)”是可以被作為數(shù)據(jù)存儲(chǔ)下來(lái)的， 比如我們常說(shuō)的知識(shí)圖譜中的三元組關(guān)系是對(duì)某一個(gè)事實(shí)關(guān)系的描述一樣。

圖神經(jīng)網(wǎng)絡(luò)

而圖神經(jīng)網(wǎng)絡(luò)模型，恰恰是在這兩個(gè)前提假設(shè)的融合之上建立的。如果我們也能夠確信，我們手上的數(shù)據(jù)蘊(yùn)含了這樣的假設(shè)， 即樣本特征分布的假設(shè)與邏輯關(guān)系的假設(shè)， 我們一定可以去嘗試，并且有信心能構(gòu)建出有效的 GNN 模型。

回到今天的主題，當(dāng)我們有數(shù)據(jù)集需要做模型訓(xùn)練時(shí)，我們是如何對(duì)其進(jìn)行訓(xùn)練集、驗(yàn)證集測(cè)試集的切分? 我們又是怎樣對(duì)大到無(wú)法放入內(nèi)存的數(shù)據(jù)進(jìn)行分批次的訓(xùn)練?

如果放在 GNN 的場(chǎng)景下，我們需要考慮的是，如何切分圖數(shù)據(jù)集，又如何為 GNN 模型分批加載子圖。要知道在研究和應(yīng)用上，GNN 是機(jī)器學(xué)習(xí)領(lǐng)域最火熱的方向，各式各樣的理論和方法層出不窮。有一點(diǎn)可以確信的是，無(wú)論從理論還是工程方面，這兩個(gè)步驟并沒有太高深，卻也是 GNN 項(xiàng)目中比較重要的部分。

我也會(huì)在最后通過(guò) TigerGraph 云實(shí)例，演示我們的圖機(jī)器學(xué)習(xí)工作臺(tái)，并在一個(gè)運(yùn)用 GAT 模型進(jìn)行反欺詐檢測(cè)的 Demo 中，展示這兩個(gè)步驟的作用。

圖數(shù)據(jù)切分

首先，我們來(lái)討論如何對(duì)圖數(shù)據(jù)進(jìn)行切分:

對(duì)于有監(jiān)督機(jī)器學(xué)習(xí)模型，我們對(duì)樣本的變量都會(huì)有一個(gè)獨(dú)立同分布的假設(shè)。通過(guò)這個(gè)假設(shè)我們可以隨機(jī)的按比例去切分訓(xùn)練集和驗(yàn)證集，用于調(diào)整模型的擬合，并在測(cè)試集上觀察泛化的效果。或者可以按照時(shí)間發(fā)生的先后順序去切分， 因?yàn)槲覀兿Ｍ碌臄?shù)據(jù)的特征同樣能被模型識(shí)別到。然而通常來(lái)說(shuō)，一定會(huì)遇到樣本的分布發(fā)生變化; 樣本存在分組; 有標(biāo)記樣本數(shù)量的平衡性等現(xiàn)象。

按照統(tǒng)計(jì)經(jīng)驗(yàn)的方式切分，模型會(huì)在真實(shí)的數(shù)據(jù)上發(fā)生變化，影響了實(shí)際業(yè)務(wù)的判斷。而這樣的現(xiàn)象，當(dāng)我們用圖的思維去構(gòu)建數(shù)據(jù)時(shí)，會(huì)更加顯而易?的發(fā)現(xiàn)?？梢约僭O(shè)一個(gè)生活中的例子來(lái)構(gòu)建一個(gè)圖機(jī)器學(xué)習(xí)任務(wù):

我們希望通過(guò)人群訪問(wèn)地理位置的記錄去預(yù)測(cè)場(chǎng)所的標(biāo)簽。這似乎與之前的種群分類的問(wèn)題很像， 但顯然我們不能直接通過(guò)之前的圖算法給出結(jié)論: 因?yàn)闃?biāo)簽本身是有含義的，并且每個(gè)地點(diǎn)可能有多個(gè)標(biāo)簽。

那如果我們?yōu)閭鹘y(tǒng)機(jī)器學(xué)習(xí)的模型提供圖特征呢? 比如我們把【人群】的特征，歸并到【地理位置】中去， 我們會(huì)在切分?jǐn)?shù)據(jù)的時(shí)候發(fā)現(xiàn)一系列的問(wèn)題。可能我們會(huì)發(fā)現(xiàn)訓(xùn)練集中【人群】的多少，訪問(wèn)時(shí)間段等信息與【場(chǎng)所】沒有太強(qiáng)的相關(guān)性 ;或者在驗(yàn)證集上【地理位置】的特征的分布發(fā)生了偏移; 更重要的，我們?nèi)绾伪ＷC測(cè)試集上新的數(shù)據(jù)，【地理位置】更新的生命周期，涉及到的【訪問(wèn)】關(guān)系 不會(huì)顯著減少? 我們嘗試各種方法:延?樣本的時(shí)間跨度、在數(shù)據(jù)集上做交叉驗(yàn)證，縮短模型上線后的運(yùn)行周期，甚至嘗試剔除【人群】相關(guān)的變量。

這顯然不是我們希望看到的，在【人群】這類特征上來(lái)看，按時(shí)間切分顯然是不合適的。

我們是否應(yīng)該重新考慮修改圖模型本身呢? 答案是肯定的，我們可以嘗試把人群的特征作為【地理位置】間【轉(zhuǎn)移】的關(guān)系進(jìn)行建模。這樣，我們的選擇就變多了:我們可以首先得到一個(gè)同構(gòu)圖，人群移動(dòng)的信息就被包含在了地點(diǎn)之間【轉(zhuǎn)移】的關(guān)系里面，就像種群遷移一樣。我們還可以將轉(zhuǎn)移所需的時(shí)間，作為距離和關(guān)聯(lián)性的特征，也放在邊關(guān)系里。試想騎手們?cè)谮s單子和上了一天班的你坐地鐵回家，一定會(huì)產(chǎn)生不同的分布。甚至，我們還可以建立多條關(guān)系比如所有早高峰，午餐高峰等不同時(shí)間段的統(tǒng)計(jì)等等。這樣構(gòu)成的網(wǎng)絡(luò)，就包含了【人群】帶來(lái)的真正有用的信息。

回到剛剛的切分?jǐn)?shù)據(jù)的問(wèn)題本身，我們可以思考一下為什么需要【地理位置】的標(biāo)簽?zāi)? 其中一個(gè)最直接的原因是，大部分的地理位置標(biāo)簽我們是沒法直接拿到的，并且也正是我們希望模型給出預(yù)測(cè)的。

比如開辟一個(gè)新地塊的【地理位置】標(biāo)簽，或者說(shuō) 【人群】活動(dòng)較少的地方這些【地理位置】的標(biāo)簽，就不會(huì)像大家常去的有 POI 的地方容易拿到標(biāo)簽。在這種情況下，按照地理位置的”活躍度“切分?jǐn)?shù)據(jù)，恰恰是最合理的。

那么對(duì)于可以表示為圖的數(shù)據(jù)，還有哪些切分方式呢?

我們可以看到 OGB這個(gè)專?為GNN模型準(zhǔn)備的公開數(shù)據(jù)集，規(guī)范了一些切分方式。之前提到的人群遷移的這個(gè)例子，就是借鑒了這個(gè)數(shù)據(jù)集中【產(chǎn)品分類任務(wù)】的構(gòu)建關(guān)系和切分的方法。當(dāng)然從實(shí)際出發(fā)，我們也可以用不同的方式切分?jǐn)?shù)據(jù)集，讓他們同時(shí)落在一張圖或者完全不相關(guān)的圖上。這些切分方法，其實(shí)并沒有在意樣本的數(shù)據(jù)分布是否均勻和時(shí)間發(fā)生的順序，而是根據(jù)實(shí)際情況出發(fā)，在建立關(guān)聯(lián)關(guān)系的過(guò)程中，顯示的把邏輯表述出來(lái)，數(shù)據(jù)本身的變化和無(wú)法及時(shí)獲取的問(wèn)題得以規(guī)避。最終，我們把發(fā)現(xiàn)分布的事交給各式各樣的圖神經(jīng)網(wǎng)絡(luò)模型，發(fā)揮他們不同的泛化能力。

總結(jié)一下，在圖上做機(jī)器學(xué)習(xí)的任務(wù)，“切分?jǐn)?shù)據(jù)” 這一步驟的目的，并非為了讓模型更容易訓(xùn)練， 而是讓模型訓(xùn)練的邏輯假設(shè)更加清晰，樣本主體的特征保持穩(wěn)定，模型結(jié)果更容易驗(yàn)證，并且最終投入生產(chǎn)應(yīng)用。

模型數(shù)據(jù)載入

接下來(lái)，我們來(lái)看一下在訓(xùn)練階段 GNN模型對(duì)我們的數(shù)據(jù)載入有哪些要求。

從基本的模塊來(lái)看，圖神經(jīng)網(wǎng)絡(luò)模型和其他神經(jīng)網(wǎng)絡(luò)模型一樣可以堆疊層數(shù)，但通常會(huì)有一個(gè)置換等變層。這一層的目標(biāo)，就是收集模型訓(xùn)練樣本的鄰居，把他們的信息傳遞過(guò)來(lái)。根據(jù)模型的不同，可能是單跳的鄰居，也可能是多跳的鄰居。聚合時(shí)，可以用固定權(quán)重去聚合這些信息，也可以是一個(gè)參數(shù)的形式來(lái)學(xué)習(xí)鄰居之間的重要程度。

從這個(gè)過(guò)程來(lái)看，圖神經(jīng)網(wǎng)絡(luò)，和其它一般的神經(jīng)網(wǎng)絡(luò)不一樣的是: 如果我們的輸入是圖片、聲音和文字這樣的高維數(shù)據(jù)，我們可以想方設(shè)法做一些預(yù)處理來(lái)減少輸入維度。而對(duì)于組成網(wǎng)絡(luò)的數(shù)據(jù)而言，因?yàn)槲覀兊某踔允窍ＭM可能地學(xué)習(xí)到圖拓?fù)浣Y(jié)構(gòu)。我們很難在模型以外預(yù)處理他們(雖然也是有辦法的)。

這就導(dǎo)致像 Pytorch / Tensorflow 這樣的框架需要去做除了計(jì)算以外的事情，比如特征索引和鄰居索引的工作。

從數(shù)據(jù)集的?度來(lái)看，我們必須正視拓?fù)浣Y(jié)構(gòu)對(duì) GNN 模型架構(gòu)的影響。大批量數(shù)據(jù)集本身，是沒有辦法放入一臺(tái)機(jī)器的內(nèi)存中的。對(duì)于深度學(xué)習(xí)，分批次的載入數(shù)據(jù)到更快的計(jì)算單元的內(nèi)存(GPU)， 是讓深度學(xué)習(xí)模型的訓(xùn)練擴(kuò)展到大量數(shù)據(jù)至關(guān)重要的步驟。而大型的圖數(shù)據(jù)集，尤其是密度很高的圖數(shù)據(jù)集， 我們還需要額外的處理方式：比如通過(guò)鄰居采樣的方式去規(guī)避鄰域爆炸的問(wèn)題。

當(dāng)然，不是將數(shù)據(jù)進(jìn)行分批就一勞永逸了。我們?nèi)孕枰紤]數(shù)據(jù)傳輸效率問(wèn)題。舉一個(gè) PyTorch 的數(shù)據(jù)載入模塊 DataLoader 為例，這個(gè)圖表模擬了模型在進(jìn)行分批訓(xùn)練時(shí)，當(dāng)載入速度(比如2秒)和批次消耗速度(比如每個(gè)批次的正向和反向傳播只需要 100 毫秒) 相差過(guò)大時(shí)，整體的訓(xùn)練速度會(huì)比平衡時(shí)慢兩倍多。

如果說(shuō)，我的載入速度能降到700 毫秒， 但是我開了 7 個(gè) worker，這樣的話就可以把消耗和載入速度平衡了。我們還要考慮每個(gè)批次的載入速度差異，差異過(guò)大，即使有很多worker 和管道，也會(huì)降低訓(xùn)練的速度。這樣看來(lái)，在關(guān)聯(lián)信息的圖上做這樣的控制，保證批次數(shù)據(jù)的載入速度和穩(wěn)定性也是十分重要的。

從架構(gòu)層面看，我們會(huì)發(fā)現(xiàn)特征索引和圖的索引是 GNN 模型中不可避免的工作。

我們看到 PyG（基于PyTorch的圖神經(jīng)網(wǎng)絡(luò)架構(gòu) ） 在對(duì) GNN 的實(shí)例描述中，提及了這樣幾點(diǎn)發(fā)現(xiàn)：

● 獲取具有足夠 CPU DRAM 來(lái)同時(shí)存儲(chǔ)圖形和特征，是非常具有挑戰(zhàn)性的；

● 使用數(shù)據(jù)并行性進(jìn)行訓(xùn)練，需要在每個(gè)計(jì)算節(jié)點(diǎn)中復(fù)制圖特征和圖拓?fù)洌?/p>

● 圖和特征很容易就超過(guò)了單臺(tái)機(jī)器的內(nèi)存。

因此他們額外抽象出了 FeatureStore, GraphStore 這樣遠(yuǎn)程的抽象層，由開發(fā)者決定如何連接提供有效的圖特征采樣的外部存儲(chǔ)。作為同時(shí)具有擴(kuò)展性和計(jì)算性能的圖數(shù)據(jù)庫(kù)，我們也明白這是TigerGraph需要出力的地方， 并同時(shí)達(dá)到一個(gè)實(shí)時(shí)的、安全的、穩(wěn)定的、更方便獲取特征的平臺(tái)，加速整個(gè) GNN 項(xiàng)目的演化和上線。

審核編輯：劉清