北交桑基韜：“超”人的機器學習，非語義特徵的得與失

作者 | 桑基韜

整理 | 維克多

人工智能目前最大的“攔路虎”是不可信賴性，以深度學習為基礎的算法，在實驗室環境下可以達到甚至超過人類的水平，但在很多實際應用場景下的性能無法保證，而且存在對抗魯棒性、解釋性、公平性等問題。

4月8日，在AI TIME青年科學家——AI 2000學者專場論壇上，北京交通大學計算機科學系教授、系主任 桑基韜 在報吿《“超”人的機器學習：非語義特徵的得與失》中，從兩類虛假相關性角度解釋了這種現象：

機器學習其實不管是目標，還是學習方式，都是類人的，是對人的知識蒸餾。這種知識蒸餾會出現兩種情況：學的不夠好，稱為虛假相關性-1（欠蒸餾）；學的太好了，稱之為虛假相關性-2（過蒸餾）。

欠蒸餾，因為數據不完備，模型只學習到了訓練數據的局部相關性，會存在分佈外泛化和公平性等問題；過蒸餾是機器學習到了人難以感知/理解的模式，影響到了模型的對抗魯棒性和解釋性。

此外，桑教授還提出了將虛假相關性統一，探索非語義特徵的學習和利用。以下是演講全文，AI科技評論做了不改變原意的整理：

今天分享多媒體分析特別是計算機視覺中非語義特徵的現象，分為三個部分： 得、失和失而復得。 報吿內容受了很多工作的啟發，其中有一些是我不成熟的思考，希望能和大家交流討論。

1

得：“超”人的機器學習和非語義特徵

回顧人工智能和機器學習的發展史，在圍繞和人類經典任務PK的過程中，AI已經超越了人類的表現。從1997年國際象棋深藍”以3.5:2.5戰勝人類國際象棋世界冠軍卡斯帕羅夫，到2021年AlphaFold蛋白質結構預測超過人類，都在表明，AI已經可以模擬分析、推理、決策等人類重要能力。

但在“超人”的能力之外，也體現了AI在對抗攻擊下的脆弱性。 上圖第二張圖片，人類加了一些噪聲之後，同樣一個網絡卻給出了兩種截然不同的答案：elephant與koala。

不僅是圖像分類，對於對抗攻擊下的決策、表示，AI也非常脆弱。例如，通過加入一些對抗噪聲，以上圖片經過神經網絡能得到完全一致的特徵表示，也就是人視覺不同、對抗攻擊後表示完全相同。目前，對抗攻擊有很多作惡的地方，例如無人駕駛中攻擊路標識別；刷卡機中攻擊人臉識別。

回顧對抗樣本的發展，在2014年，Szegedy首次提出對抗樣本問題的10年前，2003年就有欺騙算法，也叫敵手模型，攻擊垃圾郵件檢測器。2014年提出的深度學習對抗樣本，重要的特點是其強調“人類察覺不到擾動”。此後，對抗樣本研究發展，呈現“貓鼠遊戲”的狀態，沒有絕對成功的攻擊，也沒有絕對的防禦。

2017年有兩個工作值得一提，對抗樣本實體化，在各個視角欺騙神經網絡的現實世界3D物體；通用對抗噪聲UAP，對於不同的樣本添加通用的噪聲，都可以讓模型出錯。

2019年MIT Madry團隊的工作給了我們很大啟發： 對抗噪聲本質是模型特徵，對抗樣本的分類器可以泛化到攻擊類測試樣本。 具體而言，Madry通過兩個實驗得出兩個結論：

1.對抗噪聲可以作為目標類特徵。如上圖，是一張乾淨的小狗圖片，通過加入“代表貓（特徵）”的對抗噪聲，讓AI將其識別成貓。基於這些對抗攻擊污染後的對抗樣本訓練的貓分類器在識別乾淨貓圖像的任務中，卻有不錯的泛化。這就是利用對抗噪聲訓練的目標類分類器可以較好地泛化於真實的目標類樣本。

2.非魯棒特徵對模型泛化性有貢獻。把圖像分成兩類特徵，一類是人可以理解，稱為魯棒特徵，另一類是噪聲，稱為非魯棒特徵。當把圖像非魯棒特徵去掉時，只利用這一部分特徵去進行訓練時候，會發現模型在樣本上的準確性、泛化性是下降的。因此，可以得出結論非魯棒特徵對模型泛化性有貢獻，有些信息人類不易理解但可以輔助模型推斷。

除了對抗噪聲能夠體現人與AI算法的不同，是否關注物體的形狀和紋理也是區別之一。如上圖，在處理一個8*8拼圖的圖片時，人類很難識別出物體本來的面目；如果是4*4，我們勉強能看出邊緣。因此，人在判斷物體的時候，其實是需要藉助形狀信息。但是對於CNN模型，當形狀信息缺失的時候，完全可以根據紋理進行準確的判斷。

同時，該現象在頻域裏也有表現。如上圖，高頻重建的圖像人眼幾乎無法識別，模型卻能準確預測類別。這篇論文中指出：數據包含兩類信息，一類是語義信息，一類是以高頻為代表的非語義信息。

在這兩類信息裏，人只能利用語義信息進行判斷，模型同時可以利用這兩部分信息。這篇論文和Madry團隊論文中的觀點引發了激烈的討論：這部分信息是過擬合的噪聲，還是真實任務的特徵？我更傾向於後者，下面提供幾個證據。

1.對抗樣本的遷移性，其實就説明了非語義特徵可以跨模型、跨數據集。換句話説，它不是針對模型和數據集過擬合的。

2.非哺乳動物的四色視覺，也表明一種視覺的信息對於某些物種，可能是不可見、不可感知的，但是對於其他物種是可感知的，而且是非常重要的。例如紫外光譜人不可感知，但鳥類可以看見，其中包含了鳥類求偶的真實特徵。

3.AlphaFold：蛋白質摺疊中的非語義特徵。學者發現，摺疊配置依賴於分佈於整個多肽鏈的交互指紋，而交互指紋由於其全局分佈性，結構非常複雜，人難以用規則進行定義。但其對於預測是有效的。因此，交互指紋這種非語義特徵，顯然對於蛋白質摺疊的任務是有益的。

以上這些非語義特徵的存在，也是當前很多機器學習任務超過人類的一個原因。

2

失：兩類虛假相關性和可信賴機器學習

從另外角度看，這種非語義特徵有哪些問題？從一種假設説起：“把機器學習看成對人的知識蒸餾”。這一假設可以用監督學習進行理解，監督學習要求“人去打標籤”，然後模型會基於標籤去學習從樣本到標籤的映射。在無監督和自監督任務中，其實也是人為去設定目標和學習機制。換句話説，機器學習其實不管是目標，還是學習方式，都是類人的，是對人的知識蒸餾。

但這種知識蒸餾有時會出現兩種情況：學的不夠好，稱為虛假相關性-1（欠蒸餾）；學的太好了，稱之為虛假相關性-2（過蒸餾）。

其中，虛假的相關性是指統計機器學習基於訓練數據中存在的相關性學習特徵構建模型，其中某些相關性特徵在系統和人使用過程中會出現錯誤。

這種欠蒸餾可以從機器學習過擬合的角度理解，因為數據不完備，模型學習到了訓練數據的局部相關性。這會導致分佈外泛化問題，訓練集和測試集來自不同分佈時，測試性能大幅下降，“聰明的漢斯”、“坦克都市傳奇”都是分佈外泛化的例子。

2017年，ICLR一篇最佳論文提出隨機標籤現象也可理解為欠蒸餾的體現，即隨機打亂訓練集樣本標籤，泛化gap隨隨機標籤比例上升而增加，導致測試性能下降。這反映了深度網絡甚至可以記憶訓練集中的噪聲信息，但這種噪聲不是任務的本質特徵，無法保證泛化性能。

總結一下，欠蒸餾會導致模型學習到一些任務無關特徵，即訓練集強關聯，但測試集無法泛化。我們嘗試對任務無關特徵給出更為嚴謹的定義，並分析它的性質。如上圖，從數據生成的角度，從標籤Y到樣本X的生成過程中間引入一個變量G。G分成兩部分，一部分是和任務相關的生成變量，也就是説當變量改變的時候，整個任務都會改變；另一部分是，它不會影響Y的分佈，但是會影響x的呈現，例如對於生成“狗”的任務裏面，模型會關注狗的位置，尺寸、光照等和任務無關的變量。這其實是對IID的放鬆，更符合數據集的實際分佈情況。

任務無關特徵除了有泛化性問題，在因果框架中，還可以看做混淆變量，同時如果這種特徵帶有社會屬性，還可以看做偏見變量，會導致公平性問題。

前面提到過蒸餾是機器學習到了人難以感知/理解的模式，我們將其定義為非語義特徵。簡單來説，這種非語義特徵是模型可利用的、人類難以理解的信息。值得指出的是， 目前對於非語義特徵尚沒有統一的認識，我們正嘗試結合人類視覺感知特點和信息理論建立一個嚴謹的、可以量化的定義。 目前可以藉助非語義特徵的兩種表現形式來理解：從內容結構角度可稱為弱結構化特徵，比如高頻、小奇異值對應的信息都是人難以感知的；從模型知識角度即對應了Madry論文中提到的非魯棒特徵，可大致理解為攻擊模型產生的對抗噪聲。

上圖（左）是在亞馬遜眾包平台上請工人對字符驗證碼進行識別的例子。我們在裏面加入了8種程度的對抗噪聲，可以看出人類和OCR識別算法的變化：最高尺度的噪聲對人類沒有變化，但由於擾動了非語義信息，算法性能會下降很快。

上圖（右） 是加入高斯白噪聲的情況。可以看到，人和算法雖然隨着噪聲程度的增加都有下降，但是人受影響會更大。原因可能是，當白噪聲的等級增加，人類所主要依賴的語義信息就被遮蓋掉了，但是模型可以同時挖掘非語義信息進行輔助判斷。

過蒸餾，其實還影響到了模型的解釋性，有研究發現，對抗魯棒模型可能依賴語義特徵進行推斷，因此具有更好的梯度解釋性。

這兩種虛假相關性擴展到可賴機器學習有哪些啟示？可信賴機器學習大概對應了可信計算的應用層。它有兩個核心的概念：按照預期的目標執行，按照預期的方式執行。按照預期的目標要求任務理解準確，但只通過訓練數據描述的任務往往不夠全面、準確；以預期的方式執行，要求執行準確，即推斷過程可理解、推斷結果可預測。

如上圖，上述兩個目標和兩類虛假相關性有一個大致的對應關係。基於兩類虛假相關性可以將視覺信息劃分為四個象限，而可信賴機器學習希望模型只利用第一象限的信息：即任務相關的語義特徵。

我們提出一個 可信賴機器學習框架，以最終讓模型依賴任務相關的語義特徵。 有三步，第一步是傳統的訓練器，目的是在測試數據可以泛化，學到任務相關的特徵，這部分特徵可以滿足不需要和人進行交互的系統應用場景。第二部分是解釋器，目標是人可以理解，從任務相關特徵進一步提取出面向語義的特徵，可以同時滿足和人的交互；第三部分是算法測試，目標是評估真實性能+診斷髮現bug。我們注意到，把機器學習當成軟件系統的話，其實缺少了軟件工程裏成熟的測試和調試的模塊， 引入 測 試模塊， 能 進一步針對性地發現模型中利用的兩類虛假相關特徵，與訓練器和解釋器形成閉環，通過測試 - 調試共同保證機器學習算法從實驗室級向工業級的 可信賴應用。 在這一框架下，我們 對應 在三個階段探索了一些基礎問題，並圍繞 視覺識別 、多模態預訓練、用户建模等應用場景開展了一些研究工作，這些工作我們 整理成 開源代碼包供調用，並會 集成到一個 統一 測試 - 診斷 - 調試平台上， 將作為工具發佈，以供對可信賴性有需求的算法設計、開發和使用人員 使用 。

3

失而復得：虛假相關性的統一和非語義特徵學習

根據以上的討論，圍繞非語義特徵，實際存在兩個矛盾。一是 “棄之可惜，用之不可信” 。非語義特徵丟掉很可惜，但拿來用又有風險。有用之處在於：模型可以利用非語義特徵輔助推斷，完全移除非語義特徵使模型泛化性下降。風險在於：使用非語義特徵的模型存在對抗魯棒性、解釋性等機器學習的可信賴問題。

第二個矛盾是：機器學習能力“超”人 ，但學習目標和方式“類”人。非語義特徵包含了人類難以感知、機器可以利用的信息，而學習目標和方式是類人，比如深度神經網絡受人類視覺系統啟發，包括層次化網絡結構、感受野逐層增加、簡單細胞、複雜細胞等。

圍繞“棄之可惜，用之不可信”矛盾，以泛化性和對抗魯棒性為例，它背後代表的是兩類虛假相關性之間的矛盾：泛化性的提高很大程度上來自非語義特徵的利用，而在目前訓練範式下，限制非語義特徵會影響泛化性。

有沒有可能將兩類虛假相關性進行統一？我們提出一個假設，對抗魯棒性問題不是因為模型利用了非語義特徵，而是因為沒有很好地利用非語義特徵，非語義特徵在提供有限泛化性貢獻的同時，增加了被對抗攻擊的風險。

我們也從頻域入手，暫且將高頻信息大致對應非語義特徵。如上圖，相比中低頻，特徵提取後，高頻分量的類間距比較小，對最終分類的貢獻也就比較弱。而實際上，在特徵提取前，原始圖像的高頻分量中存在着相當的類判別信息。如下圖，原始圖像不同頻率的HOG特徵分佈情況，右邊是高頻，左邊是中低頻。

經過特徵提取之後，可以明顯看出：高頻信息被抑制了，而中低頻經過特徵提取得到了增強。這吿訴我們， 高頻信息對於模型泛化性的貢獻是有限的。

但是和對抗魯棒性有很強的關聯性。如上圖中間是無目標對抗攻擊過程的動圖，可以看出對抗攻擊有一個階段明顯沿高頻分量的分佈方向移動，換句話説，高頻分量很可能引導了對抗攻擊在特徵空間的行為。

這裏我們有一個初步的假設，對抗攻擊過程可能分為兩個階段： 第一階段 ，它會尋找正交於數據流形的決策邊界，並跨過類決策邊界 ； 在第二個階段對抗攻擊繼續 向目標類中心集中。 我們 最近發現 這個假設和 兩個階段 互信息的變化 有很強的一致性 ，後續有進一步的結果，我們會專門進行 介紹。 從這個角度來看 ， 高頻信息代表的非語義特徵，在模型訓練過程中並沒有得到重視， 非語義特徵不是天然容易被攻擊，只是它沒有被學習得很好， 導致了 對抗攻擊 有機可乘。

圍繞“能力超人，學習類人”矛盾，對於非語義特徵的學習和提取，可能要區別對待單獨設計。這裏以受人類視覺處理系統的層次化網絡設計為例。今天的CNN設計，嘗試借鑑逐層的網絡結構，包括感受野逐層變化。如上圖可視化的呈現，相比中低頻特徵，高頻特徵逐層差異小、感受野相對固定幾乎是全局的。我們初步的實驗發現，淺層、大卷積核更有利於高頻特徵學習。

最後，人類為什麼會聚焦語義信息，而忽略非語義信息？我們“猜測”是進化的低成本目標所致。一個是學習代價小：人類的學習首先通過羣體大數據積累形成結構先驗，然後個體小樣本遷移，從而能夠舉一反三。上圖的實驗中我們發現高頻特徵的學習需要消耗較多的樣本，在典型的小樣本學習設置下，模型無法實現良好擬合。另一個是推斷代價小：完成一個任務所需要調用的神經元儘可能少，然而我們發現高頻神經元總激活消耗大且不同高頻神經元激活的差異大造成利用率低。高頻特徵處理的這些特點都和生物神經系統的低成本進化方向是相違背的。

我們知道AlphaGo的能量消耗相當於一個人的5萬倍，如果我們拋開對於低成本的約束，對於非語義特徵的學習和提取似乎也應該突破“類人”的約束。這啟發我們 根據所處理信息的特點，重新設計模型結構；參考其他生物神經系統，啟發設計模型結構等。 如果我們認可非語義特徵的存在，機器學習關於數據集、模型結構、損失函數、優化方法等的先驗假設是否都存在着新的理解和可能？同時，如何平衡類人和超人以避免非語義特徵在現階段帶來的不可信賴風險？如果是需要人理解/交互的任務，我們希望是“類人”方式，定義好邊界；如果是需要新知識發現的任務，就可以允許“超人”，大膽探索人所不能。當然，也有可能，對於非語義特徵，只是目前不可理解，希望通過更多人投入相關研究，我們理解了背後的原理和機制後，不僅能可靠地利用這些信息設計機器學習算法和系統，更能拓展和提高我們自己的認知。