本文轉自徐飛翔的“在深度學習中，對于特征融合方式的思考——論pointwise addition和concatenate的異同”
版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。
Point-wise addition
逐個位相加，用數學表達為:現有特征向量,
，為了融合這兩個特征向量，直接進行對應元素的相加，既是
,
。進行這個操作的前提當然是這兩個向量的維度是相同的，如果是不同維度，則可以通過線性變換
轉換成同維向量，其中
。
Concatenate
向量拼接，則是一個更為通用的特征融合方法，數學表達為：現有特征向量 ,
，將其在同一個階[2]的進行拼接，有融合特征向量
。拼接完后，經常可以用線性映射，轉換成
，進行這一步的操作目的是能夠和前者point-wise addition的進行同維度的比較。
兩者關聯與異同
前面介紹的兩種操作，其實是有聯系的，結論先拋出了，就是： 是
的特殊形式，前者可以用學習的方式，用后者表示出來，用另一種說法就是，
是
加了一定先驗假設的結果。為什么這樣說呢？我們先觀察一種情況：
比較兩種特征融合的方式，并且進行線性映射后的結果，有：
這個時候我們可以發現，通過學習過程中的自動參數調整，在的情況下，總是有辦法表達成
中的結果的，原因就是可以通過設置
情形下的
的某些值相同，還是舉原來的具體例子說明：
,此時只需要
，就可以表達成和
完全一樣的結果，讀者可以自行驗證。
就結論而言，因為情況下參數量完全足以
住
的，因此通過學習過程，完全是可以進行表達的，因此后者是前者的特殊形式，是添加了先驗知識的特征融合方法。
那么，這個先驗知識是什么呢？筆者認為因為是在相同維度的特征空間中進行的，相加代表特征向量的平移，因此這個先驗知識可能是假設這兩類特征具有相似性，比如模態比較接近，性質比較相同的特征。當然這個只是筆者猜測，并無文獻參考，歡迎各位斧正，謝謝。
Update 2019/10/26:評論區有朋友問：
“point-wise addition 是 concatenate的特殊形式”的結果似乎只在均將融合后的特征線性映射成標量后才成立，但是這兩種融合方法之后不一定要經過這種處理吧？而且，這種線性映射會減少大量信息，似乎不甚合理？
我覺得這個問題其實是不成立的，因為原文里面舉的例子是映射成為標量只是為了舉例方便而已，實際上，映射成其他高維矢量也是沒問題的，比如說：在Pointwise addition的情況：
在的情況中，我們有：
那么如果需要退化到的情況的話，我們的
可以為：
因為我們有八個未知量，而只有兩個方程，因此這是個病態問題，其實我們有多組解的，不管怎么樣，我們總是可以用concatenate去退化到addition的情況的，不管是映射到標量還是矢量。
Reference
[1]. Li K, Zou C, Bu S, et al. Multi-modal feature fusion for geographic image annotation[J]. Pattern Recognition, 2018, 73: 1-14.
[2]. https://blog.csdn.net/dcrmg/article/details/79017146