該論文發(fā)表于 IEEE Transactions on Image Processing 2024（CCF A類）,，題目為《SelfGCN: Graph Convolution Network with Self-Attention for Skeleton-Based Action Recognition》,。

合肥大學的吳志澤副教授為論文的第一作者，合肥大學的湯衛(wèi)思教授為本文通訊作者,。

論文鏈接：

https://ieeexplore.ieee.org/document/10618962

論文概要

當前傳統(tǒng)的圖卷積網(wǎng)絡(luò)（GCNS）在基于骨架的動作識別領(lǐng)域取得了顯著的成果,，但它們主要關(guān)注局部節(jié)點依賴關(guān)系，難以捕捉長距離的節(jié)點關(guān)系,。此外,，目前的現(xiàn)有方法通常對所有幀使用相同的骨架拓撲，限制了對時空特征的建模能力,。

為了解決這些問題,，本文提出了一種新的圖卷積神經(jīng)網(wǎng)絡(luò)SelfGCN，主要通過兩個核心模塊克服上述局限性,。圖卷積與自注意力混合特征模塊（MFSG）,，并行引入圖卷積和自注意力機制，分別負責捕獲局部和全局的節(jié)點依賴,，通過雙向交互機制,，在通道維度和空間維度進行特征互補。時間特定空間自注意力模塊（TSSA）,，基于自注意力機制建模骨架序列中每一幀節(jié)點的空間關(guān)系,，提取每一幀的獨特空間特征，彌補統(tǒng)一拓撲結(jié)構(gòu)的不足,。SelfGCN在NTU RGB+D,，NTU RGB+D120和 Northwestern-UCLA三個主流數(shù)據(jù)集上均達到或超過了現(xiàn)有最新方法的精度。

研究背景

人類動作識別作為計算機視覺領(lǐng)域的一個重要任務(wù),，基于骨架的動作識別逐漸成為一種非常有效的解決方法,，相較于傳統(tǒng)的RGB視頻數(shù)據(jù)，骨架數(shù)據(jù)減少了環(huán)境因素的干擾,，同時能夠更加高效地表示人體運動的結(jié)構(gòu)化變化,。

近年來圖卷積網(wǎng)絡(luò)（GCN）在骨架動作識別領(lǐng)域取得了顯著進展，相較于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）,，圖卷積網(wǎng)絡(luò)可以更加充分地利用關(guān)節(jié)之間的連接信息,。但是現(xiàn)有的GCN方法通常使用預定義的骨架拓撲,，無法有效處理跨越長距離的節(jié)點關(guān)系,，同時現(xiàn)有方法大多采用統(tǒng)一的拓撲結(jié)構(gòu)對所有時間幀進行建模。因此,，如何克服上述問題成為了待解決的研究需求,。

研究方法

本文提出了一種新的圖卷積網(wǎng)絡(luò)架構(gòu)SelfGCN，它結(jié)合了圖卷積和自注意力機制,，旨在解決現(xiàn)有基于GCN的骨架識別方法中的一些問題,，主要包含混合特征、時間特定空間自注意力、多尺度時間卷積三個模塊,，三個模塊相互串聯(lián),、互補協(xié)作，共同優(yōu)化骨架序列的時空特征表示,，提升動作識別的準確性,。

圖1 SelfGCN網(wǎng)絡(luò)的整體架構(gòu) (a) SelfGCN網(wǎng)絡(luò)的流程 (b) SelfGC 塊的組成與結(jié)構(gòu) (c) 圖卷積與自注意力混合特征（MFSG）模塊 (d) 時間特定空間自注意力（TSSA）模塊 (e) 多尺度時間卷積（MS-TC）模塊的結(jié)構(gòu)

（1）圖卷積與自注意力混合特征模塊（MFSG）

圖卷積模塊：SelfGCN采用類似于CTR-GCN的方法，同時學習共享拓撲和通道特定的相關(guān)性,。通過相關(guān)性建模函數(shù)

M(⋅)

來模擬兩個頂點之間的拓撲關(guān)系,，可以表示為：

其中 σ(⋅) 表示激活函數(shù)，P(⋅) 是平均池化操作,，P(ψ(x_i)) 和 P(ω(x_j)) 分別表示經(jīng)過線性變換和池化操作后的兩個節(jié)點的特征,。之后再使用線性變化 ?(⋅) 增加通道維度，獲取通道特定的相關(guān)性 C_A ：

CA_ij 反映了頂點 v_i 和 v_j 之間的通道特定拓撲關(guān)系,。將通道的特定相關(guān)性 C_A 與領(lǐng)接矩陣形式的共享拓撲 A 相結(jié)合,，得到特定通道的拓撲關(guān)系 R ：

其中 α 是一個可訓練的標量參數(shù)，用于調(diào)整通道拓撲的改進強度,。最后通過得到的通道特定拓撲R和高級特征X′,，以通道方式對空間特征進行提取：

其中,，ρ(⋅) 是用于將輸入特征轉(zhuǎn)換為高級特征的線性變換函數(shù),，A_G 是聚合函數(shù)，R_i 是通道的拓撲結(jié)構(gòu),，X'_:,:,i 是通道的變換輸入特征,，? 表示連接操作。通過這種方式,，SelfGCN 可以有效地從不同通道聚合關(guān)節(jié)特征,，同時捕捉局部和全局的空間特征。

自注意力模塊：為了彌補圖卷積在建模長距離的關(guān)節(jié)關(guān)系上的缺陷,，引入具有全局感受野的自注意力機制用于捕獲關(guān)節(jié)間的全局依賴關(guān)系,，補充圖卷積處理的局部關(guān)系。本文使用圖卷積模塊經(jīng)過線性變化的特征作為 query 和 key ,，分別表示為 X1=ψ(X) 和 X2=ω(X) ,。

同時為了與CTR-GCN的通道拓撲結(jié)構(gòu)保持一致，本文為每個通道獨立地使用自注意力機制來建模通道內(nèi)關(guān)節(jié)的全局關(guān)系,。對于第 i 個通道,，自注意力權(quán)重 SA_i 通過以下公式計算：

其中 SA_i 表示第 i 個通道內(nèi)關(guān)節(jié)間的全局關(guān)系，X_j^:,:,i 表示變換后的輸入特征的第 i 個通道特征,，T 是時間幀的數(shù)量,。最后將關(guān)系矩陣 SA_i 與相應通道的輸入特征相乘,，即可以得到每個通道的全局空間特征。通過自注意力模塊,，SelfGCN能夠有效地捕捉關(guān)節(jié)間的全局依賴關(guān)系,。

混合特征模塊：混合特征模塊將圖卷積和自注意力并行結(jié)合，以擴展空間感受野,，這種設(shè)計允許同時對輸入特征進行圖卷積和自注意力建模,，增強了模型對空間特征的捕捉能力。在圖卷積分支和自注意力分支之間實現(xiàn)了雙向交互,，以實現(xiàn)通道和空間維度之間的信息互補,。

使用自注意力模塊的空間建模結(jié)果進行通道注意力計算，包括平均池化,、兩個連續(xù)的 1x1 卷積,，以及后續(xù)的 GELU 激活函數(shù)，最后通過 sigmoid 函數(shù)生成通道注意力結(jié)果 C_f ：

將通道注意力結(jié)果應用于通道特定的拓撲關(guān)系 R,，使用 R_f 和變換后的輸入特征 X′ 聚合每個通道的特征,，并將它們連接起來作為圖卷積模塊的輸出 OutG 。對圖卷積模塊的建模結(jié)果應用空間注意力,，包括池化操作,、 1x1 卷積和 sigmoid 函數(shù)，再將空間注意力應用于自注意力模塊得到建模結(jié)果 OutS ：

最后,，將兩個模塊的建模結(jié)果 OutG 和 OutS 相加,，即可以得到MFSG模塊的輸出。

（2）時間特定空間自注意力模塊（TSSA）

TSSA模塊旨在解決傳統(tǒng)的圖卷積網(wǎng)絡(luò)在處理骨架特征序列時,，對所有幀使用相同的拓撲結(jié)構(gòu),，忽略了每幀內(nèi)時序特定的空間關(guān)系。TSSA模塊通過捕捉每幀內(nèi)關(guān)節(jié)之間的獨特空間關(guān)系,，而不是對所有幀使用統(tǒng)一的拓撲結(jié)構(gòu),。

首先對輸入的骨架特征 X 通過兩個線性變化 ?(⋅) 和 φ(⋅) 將其轉(zhuǎn)換為高級特征：

其中 X_a 和 X_b 分別表示經(jīng)過兩個不同線性變化后的特征，W₁ 和 W₂ 則是權(quán)重矩陣,。然后再通過點積計算單幀內(nèi)每個節(jié)點之間的相關(guān)性,，得到一個關(guān)系矩陣 TA ，計算公式如下：

最后在每個通道中計算輸入矩陣和關(guān)系矩陣之間的點積,，再沿著時間維度 T 連接每幀的空間建模結(jié)果,，最后可以獲得最終的時間特定空間建模結(jié)果 Z_T ：

（3）SelfGCN網(wǎng)絡(luò)構(gòu)建

SelfGCN網(wǎng)絡(luò)通過結(jié)合MFSG模塊和TSSA模塊以及MS-TC模塊，形成了具有自注意力的圖卷積網(wǎng)絡(luò)塊（SelfGC block）,。這種網(wǎng)絡(luò)塊被堆疊L層,，以構(gòu)建基于骨架的人體動作識別網(wǎng)絡(luò),。TSSA模塊的輸出特征乘以一個可學習的系數(shù) β ,，其中 β 用于調(diào)整時序特定空間特征的重要性,，然后加到MFSG模塊的輸出特征上：

經(jīng)過L層的空間和時序建模后，最終的輸出特征通過全局平均池化層和全連接層,，以獲得動作分類的分數(shù),。

研究結(jié)果

作者主要將SelfGCN在NTU RGB+D、NTU RGB+D120和Northwestern-UCLA三個主流的基準數(shù)據(jù)集上進行了評估,。如表1,、表2、表3所示,，在NTU RGB+D數(shù)據(jù)集的X-Sub標準上達到了93.1%的Top-1準確率,，是目前最好的結(jié)果。在NTU RGB+D120數(shù)據(jù)集的X-Sub標準上與PSUMNet和InfoGCN(4s)并列第一,，而在X-Set標準上,，SelfGCN以91%的Top-1準確率單獨排名第一。在Northwestern-UCLA數(shù)據(jù)集上,，SelfGCN達到了96.8%的Top-1準確率,，超過了排名第二的InfoGCN（96.6%）。

此外,，通過圖2中展示的在基線模型中加入TSSA模塊和MFSG模塊之后混淆矩陣的變化,，也可以直觀地看到TSSA和MFSG模塊對模型性能的影響，在減少特定類型錯誤和提高特定動作識別準確度方面提升較為明顯,。

圖2 混淆矩陣對比 (a) 基線模型 (b) 加入TSSA模塊后的模型 (c) 使用MFSG模塊作為空間建模方法的模型

結(jié)論

本文提出了SelfGCN,，一種結(jié)合圖卷積和自注意力機制的骨架動作識別模型。通過引入混合特征模塊（MFSG）和時間特定空間自注意力模塊（TSSA）,，SelfGCN 能同時建模局部和全局依賴,，并通過多尺度時間卷積（MS-TC）增強時序特征學習。實驗結(jié)果表明,，SelfGCN 在多個骨架數(shù)據(jù)集上優(yōu)于現(xiàn)有方法,，展示了其強大的性能和可擴展性。該模型為骨架動作識別領(lǐng)域提供了新的思路,，并推動了圖卷積與自注意力機制的結(jié)合應用,。

 

撰稿人：徐煜濤

審稿人：周成菊