神經網絡訓練中的拓撲演化
以 卷積層- ReLU層 累積結構為代表的CNN訓練過程中，我們可以注意到，在訓練的早起，各層的對輸入圖像的激活情況是比較隨機的，表現為佈滿斑點而稠密。隨着訓練的進行，激活表現的更加稀疏且集中。在訓練完成後，各層的filter激活在情況上也表現為些許的不同：底層Conv濾波器的激活更分散，而高層Conv的激活表現的更為集中（localized）
這一感官上的變化趨勢，可以使用一些數學工具進行量化。
基本拓撲概念
拓撲數據分析(Topological Data Analysis, TDA)
想象一下我們要表示一組100維的數據集 
. 除了使用n個100維的向量，我麼可以在這100維的空間中，根據這n個數據點之間的拓撲特性和關係，唯一性的確定這個數據集.
描述數據點之間的拓撲關係的辦法有很多種，最基礎的描述辦法是單純復形(Simplicial Complexes). 也就是對數據空間中的各個點取半徑為特定值( 
)的球體，根據這些球體相交的情況，按照不同的定義形成 鏈(chains)、環(cycles)等結構.
上圖中，右側是最簡單的半徑 
下的維托里斯-裏普斯復形(Vietoris–Rips Complex), 當連個相鄰點之間的球體相交但是互不包含中心點時，形成鏈，如果鍊形成封閉，就形成環，三角形甚至更高維度的結構。這些基本結構都被稱為單純形，單純形進一步組合成單純復形。左邊是切赫復形(Čech Complex)，只在相鄰的d+1 個球體之間的交非空時才形成環。
在固定了半徑 和復形規則之後，這個多維空間中的復形就稱為了數據集的唯一性描述。
持續同調(Persistent Homology)
上文中我麼定義了復形，其定義跟半徑 有直接關係。對同一個數據集，如果我麼從0開始逐步增大半徑 , 那麼復形結構就會發生變化。復形中的單純形會隨着半徑 的變化出現和消亡。如果我麼在以 為橫座標的座標圖上繪製這些單純形的生命週期橫線段（A~D），也就構成了 持續性條碼(Persistence Barcode, E). 進而，根據每條條形碼的出現點和持續情況，可以繪製出持續圖(Persistence Diagram, E):
在持續圖上，離斜角線越遠的點，表示其結構持續時間越長，也就是同調結構越穩定。
持續圖景(Persistence Landscapes)
在持續圖中，每個拓撲元素結構對應點的橫座標和縱座標分別為 出生 和 消亡（下圖左上）. 如果我們把座標變換一下，可以轉換成右上圖（以及對應結構的持續條形碼）. 下行則為持續圖景的二維和三維形式樣。
持續圖景代表了當前單純復形的貝蒂數(Betti number). 持續圖景可以理解為持續同調的feature map 和 核(Kernel).
從神經網絡構建拓撲結構
從神經網絡結構中選取一定的節點A（某一層的神經元，濾波器等），輸入一組數據 
, 計算這些節點之間的相關性，構成相關性向量，相當於把神經網絡結構和訓練狀態映射到度量空間 
. 在此基礎之上可以構建持續同調，並計算出對應的拓撲參數.
固定網絡結構和訓練狀態，在距離 增大的過程中，我們得到不同的單純復形 
.
在對應的一系列持續圖中，我們可以定義其中的“洞”(Cavity)的生命週期，也就可以計算其中洞的平均生命週期 和平均中值生命期（平均持續密度） 
:
應用
從經驗來看，訓練好的網絡激活情況跟剛開始訓練的不一樣，過擬合的網絡激活情況也表現出特定的模式，這些都可以在拓撲結構參數上表現出來。
隨着模型準確率的增加，模型各層的拓撲結構複雜性增加；對於同一組數據，模型各層的激活拓撲結構複雜性會隨着層數的增加而降低。 這種變化規律為我們描述模型性能提供了一種不依賴測試數據的 拓撲角度的度量。也就是説，這些拓撲結構參數藴含了模型在訓練集和測試集上性能表現的差異 
.
參考
- Wasserman, Larry. "Topological data analysis." Annual Review of Statistics and Its Application 5 (2018): 501-532.
- ^ Chazal, Frédéric, and Bertrand Michel. "An introduction to topological data analysis: fundamental and practical aspects for data scientists." Frontiers in Artificial Intelligence 4 (2021).
- Chambers, Erin W., et al. "Vietoris–rips complexes of planar point sets." Discrete & Computational Geometry 44.1 (2010): 75-90.
- Kim, J. , et al. "Homotopy Reconstruction via the Cech Complex and the Vietoris-Rips Complex." (2019).
- Bubenik, P. . "Statistical topological data analysis using persistence landscapes." (2012).
- Duke, R. A. . "The genus, regional number, and Betti number of a graph." Canadian Journal of Mathematics 18(1966):817-822.
- Corneanu, C. , et al. "Computing the Testing Error without a Testing Set." 2020.
- Wheeler, M. , J. Bouza , and P. Bubenik . "Activation Landscapes as a Topological Summary of Neural Network Performance." (2021).