99久久全国免费观看_国产一区二区三区四区五区VM_久久www人成免费看片中文_国产高清在线a视频大全_深夜福利www_日韩一级成人av

徐土豆
認證:優(yōu)質(zhì)創(chuàng)作者
所在專題目錄 查看專題
《學習geometric deep learning筆記系列》第一篇,Non-Euclidean Structure Data之我見
《Geometric Deep Learning學習筆記》第二篇, 在Graph上定義卷積操作,圖卷積網(wǎng)絡
《Geometric Deep Learning學習筆記》第三篇,GCN的空間域理解,Message Passing以及其含義
Shift-GCN網(wǎng)絡論文筆記
Shift-GCN中Shift的實現(xiàn)細節(jié)筆記,通過torch.index_select實現(xiàn)
作者動態(tài) 更多
給定計算預算下的最佳LLM模型尺寸與預訓練數(shù)據(jù)量分配
05-19 09:33
大模型推理時的尺度擴展定律
05-18 10:32
世界多胞體與世界模型
05-13 09:42
獎勵模型中的尺度擴展定律和獎勵劫持
05-12 08:41
MeCo——給預訓練數(shù)據(jù)增加源信息,就能減少33%的訓練量并且提升效果
05-08 09:13

《Geometric Deep Learning學習筆記》第三篇,GCN的空間域理解,Message Passing以及其含義

在上一篇文章中[1],我們介紹了Graph Convolution Network的推導以及背后的思路等,但是,其實我們會發(fā)現(xiàn),在傅立葉域上定義出來的GCN操作,其實也可以在空間域上進行理解,其就是所謂的消息傳遞機制,我們在本篇文章將會接著[1],繼續(xù)介紹Message Passing機制。本文轉(zhuǎn)載自徐飛翔的“《Geometric Deep Learning學習筆記》第三篇,GCN的空間域理解,Message Passing以及其含義

版權聲明:本文為博主原創(chuàng)文章,遵循 CC 4.0 BY-SA 版權協(xié)議,轉(zhuǎn)載請附上原文出處鏈接和本聲明。

Message Passing與GCN

消息傳遞(Message Passing) 正如其名,指的是目的節(jié)點的鄰居,如Fig 1所示,紅色節(jié)點的鄰居正是藍色節(jié)點,這些鄰居節(jié)點根據(jù)一定的規(guī)則將信息,也就是特征,匯總到紅色節(jié)點上,就是所謂的信息傳遞了。

讓我們舉個信息匯聚的最簡單的例子,那就是逐個元素相加。假設我們的每個節(jié)點的特征為,那么有:

其中,表示的是節(jié)點的鄰居節(jié)點。

Fig 1. 關于消息傳遞的一個例子其中藍色節(jié)點是紅色節(jié)點的一階直接鄰居。

通常來說,我們會加入一個線性變換矩陣,以作為匯聚節(jié)點特征的特征維度轉(zhuǎn)換(或者說是映射)。有:

加入激活函數(shù)后有:

其實式子(1.3)可以用更為緊致的矩陣形式表達,為:

其中為鄰接矩陣,接下來我們以Fig 2的拓撲結構舉個例子進行理解。

Fig 2. 一個圖的拓撲結構例子,其中D是度數(shù)矩陣,A是鄰接矩陣,L是拉普拉斯矩陣。

此時假設我們的輸入特征為10維,輸出特征為20維,那么我們有:

那么進行運算的過程如:

Fig 3. 輸出矩陣的行表示節(jié)點,列表示特征維度。

Fig 4. 鄰接矩陣乘上特征矩陣,相當于進行鄰居節(jié)點選擇。

我們不難發(fā)現(xiàn),其實的結果乘上鄰接矩陣的目的其實在于選在鄰居節(jié)點,其實本質(zhì)就是在于鄰居節(jié)點的信息傳遞。因此信息傳遞的公式可以用更為緊致的式子(1.4)進行描述。但是我們注意到,如Fig 5的綠色框所示的,每一行的節(jié)點總數(shù)不同,將會導致每個目的節(jié)點匯聚的信息尺度不同,容易造成數(shù)值尺度不統(tǒng)一的問題,因此實際計算中常常需要用標準化進行處理,這正是[1]中提到的對拉普拉斯矩陣進行標準化的原因。

Fig 5. 注意綠色框,其每一行的節(jié)點總數(shù)不同會導致數(shù)值不統(tǒng)一尺度的問題。

除了標準化的問題之外,式子(1.4)還存在一些需要改進的地方,比如沒有引入節(jié)點自身的信息,一般來說,比如二維卷積,像素中心往往能提供一定的信息量,沒有理由不考慮中心節(jié)點自身的信息量,因此一般我們會用自連接將節(jié)點自身連接起來,如Fig 6所示。

Fig 6. 引入節(jié)點自身的信息。

因此,鄰接矩陣就應該更新為:

而度數(shù)矩陣更新為:

為了標準化鄰接矩陣A AA使得每行之和為1,我們可以令:

也就是鄰居節(jié)點的特征取平均,這里對這個過程同樣制作了個詳細解釋的圖。

Fig 7. 進行標準化,使得不受節(jié)點度數(shù)不同的影響。

我們可以看到,通過式子(1.7),我們對鄰接矩陣進行了標準化,這個標準化稱之為random walk normalization。然而,在實際中,動態(tài)特性更為重要,因此經(jīng)常使用的是symmetric normalization [2,3],其不僅僅是對鄰居節(jié)點的特征進行平均了,公式如:

同樣,這里我制作了一個運算過程圖來解釋。

Fig 8. 對稱標準化示意圖。其中的axis=0應該修正成axis=1,源文件丟失了,暫時沒空重新制圖。

對拉普拉斯矩陣進行對稱標準化,有:

這就是為什么在[1]中提到的拉普拉斯矩陣要這樣標準化的原因了。

所以,經(jīng)過了對稱標準化之后,我們的式子(1.4)可以寫成:

其中熟悉吧,這個正是根據(jù)頻域上ChebNet一階近似得到的結果來的GCN表達式,因此GCN在空間域上的解釋就是Message Passing。

Reference

[1].https://blog.csdn.net/LoseInVain/article/details/90171863

[2].https://people.orie.cornell.edu/dpw/orie6334/lecture7.pdf

[3].https://math.stackexchange.com/questions/1113467/why-laplacian-matrix-need-normalization-and-how-come-the-sqrt-of-degree-matrix

聲明:本內(nèi)容為作者獨立觀點,不代表電子星球立場。未經(jīng)允許不得轉(zhuǎn)載。授權事宜與稿件投訴,請聯(lián)系:editor@netbroad.com
覺得內(nèi)容不錯的朋友,別忘了一鍵三連哦!
贊 0
收藏 1
關注 52
成為作者 賺取收益
全部留言
0/200
成為第一個和作者交流的人吧
主站蜘蛛池模板: 国产欧美日本一区二区三区 | 啊v视频| 亚洲欧洲日韩淙合久久 | 午夜国产 | 日本A级作爱片金瓶双艳 | 乱人伦人成品精国产在线 | 国产亚洲精品麻豆一区二区 | 国产一区二区三区综合 | 超碰在线a | 中文字幕无码乱码人妻系列蜜桃 | 欧美ⅴa | 夜夜高潮夜夜爽夜夜爱爱一区 | 亚洲国产精品久久久久日本竹山梨 | 免费看毛片网站 | 国产成人精品免费视频大全办公室 | 国产女同2互磨高潮在线观看 | 免费黄在线看 | 精品国产鲁一鲁一区二区三区 | 国产91精品亚洲一区二区三区 | 欧美视频二区 | 亚卅在线有码无码免费 | 欧美熟妇色xxxx | av在线免费观看网站 | 91羞羞 | 欧美黑人粗暴多交高潮水最多 | 亚洲一二三四2021不卡 | 日韩中文字幕亚洲一区二区va在线 | 火影大胸美女被黄网站 | 爆乳情帝国网综合社区 | 国产清纯白嫩初高生在线观看91 | Jαpαn丰满人妻HDXXXX | 亚洲国产成人无码AV在线播放 | 亚洲热久久 | 无码精品国产DVD在线观看9久 | 成人免费毛片片v | 国产高清999 | 天堂在线www资源在线 | 久久久91精品国产一区二区精品 | 操操综合网 | 久久日韩国产精品免费 | 久久综合久久自在自线精品自 |