1009
0
2024-11-27
2024-11-27
本文的標(biāo)題為《EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals》,，作者團(tuán)隊(duì)為哈爾濱工業(yè)大學(xué)計(jì)算機(jī)學(xué)院李海峰教授團(tuán)隊(duì),。該論文提交至NeurIPS 2024并錄用，探討了通用且可靠的腦電圖（EEG）信號(hào)特征表示的預(yù)訓(xùn)練Transformer模型EEGPT（EEG Pretrained Transformer）,。
論文鏈接：https://openreview.net/forum?id=lvS2b8CjG5
EEGPT是一種新提出的,、具有1000萬(wàn)參數(shù)的預(yù)訓(xùn)練Transformer模型，旨在為EEG信號(hào)的特征提取提供通用而可靠的表示,。本文提出用于通用 EEG 特征提取的EEGPT 模型,，設(shè)計(jì)了雙自監(jiān)督學(xué)習(xí)方法,，結(jié)合時(shí)空表示對(duì)齊和掩碼重建，提高特征質(zhì)量和模型收斂性,，為 EEG 信號(hào)處理提供有效的創(chuàng)新解決方案,。與其他自監(jiān)督學(xué)習(xí)方法相比，EEGPT通過(guò)引入時(shí)空表示對(duì)齊技術(shù),，構(gòu)建了一個(gè)自監(jiān)督任務(wù),，專注于高信噪比和豐富語(yǔ)義信息的EEG表示。這種方法有效緩解了從低信噪比的原始信號(hào)提取特征時(shí)常見(jiàn)的質(zhì)量問(wèn)題,。此外,，EEGPT的分層結(jié)構(gòu)能夠分別處理空間和時(shí)間信息，從而降低計(jì)算復(fù)雜性,，提高對(duì)腦機(jī)接口（BCI）應(yīng)用的靈活性和適應(yīng)性,。實(shí)驗(yàn)結(jié)果驗(yàn)證了EEGPT在多種下游任務(wù)中的有效性和可擴(kuò)展性，達(dá)到了最先進(jìn)的性能,。
研究背景
EEG動(dòng)態(tài)反映大腦功能狀態(tài),，廣泛應(yīng)用于情緒識(shí)別、運(yùn)動(dòng)想象分類等多個(gè)領(lǐng)域,。目前EEG研究面臨數(shù)據(jù)層面的多樣性,、模型層面的專業(yè)化和預(yù)訓(xùn)練及遷移學(xué)習(xí)方法的局限性，面臨的挑戰(zhàn)包括低信噪比,、高個(gè)體間變異性以及EEG信號(hào)的任務(wù)依賴性變化,。這些問(wèn)題使得從EEG信號(hào)中提取穩(wěn)健的通用表示變得復(fù)雜，當(dāng)前EEG研究多針對(duì)特定任務(wù)或數(shù)據(jù)集設(shè)計(jì),，缺乏通用性和跨任務(wù)能力,。
自監(jiān)督學(xué)習(xí)在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)和語(yǔ)音分析等領(lǐng)域展現(xiàn)了顯著優(yōu)勢(shì),，許多最先進(jìn)的模型通過(guò)自監(jiān)督學(xué)習(xí)在大數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,，并針對(duì)特定應(yīng)用進(jìn)行微調(diào)，從而有效降低了對(duì)大量標(biāo)記數(shù)據(jù)的需求,。盡管近年來(lái)在EEG分析中應(yīng)用自監(jiān)督學(xué)習(xí)技術(shù)取得了良好效果,，但現(xiàn)有的掩碼自編碼器技術(shù)難以捕捉EEG數(shù)據(jù)的時(shí)序依賴，限制了遷移學(xué)習(xí)的效果,，尤其是在處理低SNR信號(hào)時(shí)的特征提取質(zhì)量,。
研究方法
EEGPT提出了一種基于時(shí)空一致性的雙自監(jiān)督EEG通用表示方法，主要包括以下幾個(gè)關(guān)鍵技術(shù)要點(diǎn)：
EEGPT的結(jié)構(gòu)如圖1所示,。模型將EEG信號(hào)（M個(gè)通道和T個(gè)時(shí)間點(diǎn)）分為若干個(gè)patch,，并通過(guò)局部時(shí)空嵌入將每個(gè)patch作為token嵌入，然后分別分為有無(wú)掩碼的patch使用時(shí)空表示對(duì)齊和掩碼重建,。最后,，線性探測(cè)方法用于應(yīng)用在下游任務(wù)中。
1. 時(shí)空表示對(duì)齊
掩碼自動(dòng)編碼器是一種去噪自動(dòng)編碼器來(lái)學(xué)習(xí)特征,，通過(guò)將被隨機(jī)patch掩碼遮擋的信號(hào)輸入到編碼器中,，解碼器預(yù)測(cè)掩碼patch的原始嵌入，如公式1所示：
其中⊙表示逐元素乘積,，是掩碼塊,，and 分別是編碼器和解碼器，是學(xué)習(xí)表示,，是相似性度量,。通過(guò)最小化損失函數(shù)，模型學(xué)習(xí)輸入信號(hào)的最佳表示,。,，在類BERT模型中編碼器和解碼器沒(méi)有分割，沒(méi)有明確表示,，本文在EEGPT模型中添加了時(shí)空表示對(duì)齊分支來(lái)顯式表達(dá),，這也就是雙自監(jiān)督方法，能夠鼓勵(lì)編碼表示具有更大程度的語(yǔ)義,，提高編碼質(zhì)量和泛化能力,，如公式2所示：
時(shí)空表示對(duì)齊方法將預(yù)測(cè)特征和動(dòng)量編碼器的輸出對(duì)齊，增強(qiáng)了編碼器提取魯棒特征的能力，確保編碼器的輸出包含高質(zhì)量的全局特征,。本文采用編碼器和預(yù)測(cè)器來(lái)解耦空間和時(shí)間特征,，能夠降低計(jì)算復(fù)雜度。
編碼器
編碼器整合了來(lái)自掩碼patch的空間信息,，公式3描述了編碼器（ENC）如何處理時(shí)間j處的所有掩碼,，并產(chǎn)生相應(yīng)的輸出特征。
預(yù)測(cè)器
如公式4所示,，預(yù)測(cè)器（PRED）利用來(lái)自編碼器掩碼部分的特征,，結(jié)合時(shí)間位置信息，來(lái)預(yù)測(cè)完整的編碼特征,。本文采用了旋轉(zhuǎn)位置嵌入方法來(lái)生成,，引入相對(duì)位置和時(shí)間信息。為了生成屬于M的預(yù)測(cè)特征,，使用可學(xué)習(xí)的向量查詢作為查詢標(biāo)記,，在自監(jiān)督訓(xùn)練中鼓勵(lì)編碼器提取token之間相關(guān)性信息。
動(dòng)量編碼器
動(dòng)量編碼器與編碼器的結(jié)構(gòu)相同,，每次訓(xùn)練迭代后,，編碼器的參數(shù)以的系數(shù)累積到動(dòng)量編碼器中，如公式5所示,。
并使用基于均方誤差（MSE）的對(duì)齊損失來(lái)實(shí)現(xiàn)時(shí)空表示對(duì)齊,，LN表示層歸一化，有助于減輕極值和協(xié)變量偏移的影響,，如公式6所示,。
2. 掩碼重構(gòu)
基于掩碼的重建方法將重建器生成的重建patch與原始的patch進(jìn)行對(duì)齊。
重建器
如公式7所示,，重建器（REC）利用編碼器編碼的M部分的特征和預(yù)測(cè)器預(yù)測(cè)的M部分的特征,，以及時(shí)間位置，生成重建的patch ,。
掩碼重建時(shí)使用基于均方誤差的重建損失來(lái)實(shí)現(xiàn)的,，如公式8所示。
最后通過(guò)將和相加構(gòu)建完整的預(yù)訓(xùn)練損失,。
3. 局部時(shí)空嵌入
局部時(shí)空嵌入方法首先在時(shí)空維度上對(duì)EEG信號(hào)進(jìn)行分塊和嵌入編碼,，然后將其輸入編碼器，如圖2所示,。首先對(duì)EEG信號(hào)進(jìn)行分割,，在時(shí)空維度上劃分為大小相等的塊，如公式10所示,。
其中d表示patch的時(shí)間長(zhǎng)度,， 是時(shí)間patch的數(shù)量,。此后結(jié)合嵌入信息線性地嵌入patch，構(gòu)造一個(gè)集合其中包含所有可學(xué)習(xí)的通道嵌入向量和從通道名稱到通道嵌入向量,，使得模型能夠適應(yīng)多個(gè)數(shù)據(jù)集,，提高通道適應(yīng)性。最后得到的token由patch線性嵌入后得到,，如公式11所示,。
基于自監(jiān)督學(xué)習(xí)任務(wù)，提取的patch特征是互相可預(yù)測(cè)的,，可以忽略較小尺度的噪聲信息,。該方法旨在提取跨越更大尺度的宏觀特征，這些特征更容易識(shí)別且認(rèn)為是有意義的特征,。
4. 線性探測(cè)方法
在下游任務(wù)中,，使用預(yù)訓(xùn)練的編碼器并連接額外的模塊來(lái)進(jìn)行分類。如圖3所示,，該方法凍結(jié)預(yù)訓(xùn)練模型中的參數(shù),，僅更改附加線性模塊中的參數(shù)。該模塊包括用于對(duì)齊EEG和模型之間通道的自適應(yīng)空間濾波器（1*1卷積）,，以及將特征映射到網(wǎng)絡(luò)最后一層的輸出logits的線性層,，連接多分類頭進(jìn)行多分類任務(wù)。
實(shí)驗(yàn)設(shè)計(jì)
本文進(jìn)行了多項(xiàng)實(shí)驗(yàn),，以評(píng)估EEGPT在不同EEG任務(wù)中的表現(xiàn),。實(shí)驗(yàn)數(shù)據(jù)集包括多種EEG信號(hào)來(lái)源,，如PhysioMI,、HGD和M3CV等，每個(gè)數(shù)據(jù)集涵蓋了不同的任務(wù)和主題,。實(shí)驗(yàn)評(píng)估了EEGPT在運(yùn)動(dòng)想象分類,、事件相關(guān)電位檢測(cè)和睡眠階段檢測(cè)等任務(wù)上的性能。
1. 數(shù)據(jù)集
預(yù)訓(xùn)練數(shù)據(jù)集包括：
下游任務(wù)數(shù)據(jù)集包括：
2. 實(shí)驗(yàn)設(shè)置
模型設(shè)置
EEGPT模型的實(shí)現(xiàn)采用了vision transformer（VIT）結(jié)構(gòu)，設(shè)置了S個(gè)可學(xué)習(xí)的摘要標(biāo)記（類似于分類標(biāo)簽[CLS]標(biāo)記）,，使用58個(gè)電極,，如圖4所示。采樣率為256Hz,，輸入信號(hào)的時(shí)間長(zhǎng)度為1024,。每個(gè)patch的時(shí)間長(zhǎng)度為64，對(duì)應(yīng)250ms的時(shí)間窗口,。訓(xùn)練時(shí)對(duì)50%的時(shí)間維度和80%的通道維度進(jìn)行掩碼遮掩,。
預(yù)訓(xùn)練策略
對(duì)于每個(gè)預(yù)訓(xùn)練數(shù)據(jù)集隨機(jī)抽取10%的樣本作為驗(yàn)證集。如表6所示,，訓(xùn)練了8個(gè)不同編碼長(zhǎng)度,、模型層數(shù)、摘要標(biāo)記的變體,。訓(xùn)練過(guò)程中,，使用AdamW優(yōu)化器，采用OneCycle學(xué)習(xí)率策略（初始學(xué)習(xí)率為2.5e-4,，最大學(xué)習(xí)率為5e-4,，最小學(xué)習(xí)率為3.13e-5），訓(xùn)練200輪次,，在8張Nvidia 3090 GPU上進(jìn)行64和16位混合精度訓(xùn)練,。
評(píng)估策略
對(duì)于TUAB和TUEV數(shù)據(jù)集的分割，遵循于BIOT模型的策略,。其余數(shù)據(jù)集使用留一法（Leave-One-Subject-Out, LOSO）進(jìn)行驗(yàn)證,，其中Sleep-EDFx遵循6:2:2的分割比例并使用十折交叉驗(yàn)證，KaggleERN使用四折交叉驗(yàn)證,，并對(duì)下游任務(wù)使用線性探測(cè)方法,。例如在睡眠階段檢測(cè)任務(wù)中,，使用4層transformer編碼器模型作為分類器，每0.25s輸出一次模型結(jié)果,，以處理30s的長(zhǎng)任務(wù),。為保證實(shí)驗(yàn)可靠性，將每個(gè)實(shí)驗(yàn)重復(fù)三次并計(jì)算標(biāo)準(zhǔn)偏差,。
基線指標(biāo)
對(duì)于TUAB和TUEV數(shù)據(jù)集,，使用來(lái)自BIOT模型的相同基線。在其它任務(wù)中,，使用預(yù)訓(xùn)練的BENDR,、BIOT和LaBraM作為基線。以下指標(biāo)用于比較：平衡準(zhǔn)確率（Balanced Accuracy, BAC）,、AUC-ROC曲線下面積（AUROC）,、加權(quán)F1、科恩卡帕系數(shù)（Cohen’s Kappa）,，其中AUROC用于二分類任務(wù),，加權(quán)F1僅用于多分類任務(wù)。
結(jié)果分析
實(shí)驗(yàn)結(jié)果表明,，EEGPT在多個(gè)數(shù)據(jù)集上的表現(xiàn)均優(yōu)于現(xiàn)有基線模型,。結(jié)果如表2、表3所示,，在TUAB數(shù)據(jù)集上,，EEGPT的性能與BIOT模型相當(dāng)，在TUEV數(shù)據(jù)集上,，EEGPT比BIOT模型提高了9.5%的平衡準(zhǔn)確率,，加權(quán)F1提高了6.9%。
同時(shí)也在其他下游任務(wù)數(shù)據(jù)集上與BENDR,、LaBraM進(jìn)行了比較實(shí)驗(yàn),，結(jié)果如表4所示,，EEGPT的性能也顯著優(yōu)于其他模型,，證明了其在多任務(wù)EEG信號(hào)處理中的有效性。在所有任務(wù)上,，EEGPT模型與BENDR,、BIOT和LaBraM相比都取得了具有競(jìng)爭(zhēng)力的結(jié)果。這表明EEGPT在時(shí)空維度上學(xué)習(xí)了一致的表征特征,，使得該模型能夠更廣泛地應(yīng)用于多種范式任務(wù),，實(shí)現(xiàn)更好的分類性能。
結(jié)論
EEGPT通過(guò)創(chuàng)新的雙自監(jiān)督學(xué)習(xí)方法和時(shí)空表示對(duì)齊技術(shù),，顯著提升了EEG信號(hào)的特征提取能力,。該模型是具有1000多萬(wàn)個(gè)參數(shù)的自監(jiān)督EEG預(yù)訓(xùn)練Transformer模型,，能夠用于學(xué)習(xí)通用的EEG特征，通過(guò)采用雙自監(jiān)督方法進(jìn)行預(yù)訓(xùn)練（包括時(shí)空表示對(duì)齊和基于掩碼的重建）,。時(shí)空表示對(duì)齊將是否使用掩碼的特征patch進(jìn)行對(duì)齊,，提高了EEG表征的質(zhì)量?；谘诖a的重建是利用EEG信號(hào)所表現(xiàn)出的空間和時(shí)間一致性,，在兩個(gè)維度上提取互補(bǔ)特征，通過(guò)層次結(jié)構(gòu)首先從短期EEG信號(hào)中提取穩(wěn)定的空間表示,，再捕獲長(zhǎng)期EEG信號(hào)之間的時(shí)間相關(guān)性,。實(shí)驗(yàn)結(jié)果驗(yàn)證了其在運(yùn)動(dòng)想象、睡眠階段檢測(cè)和ERP類型分類等多種下游任務(wù)中的優(yōu)越表現(xiàn),，展示了其廣泛的應(yīng)用前景和潛力,，為生物信號(hào)處理和人工智能應(yīng)用提供了新的解決方案。未來(lái)的研究可以進(jìn)一步探索EEGPT在更復(fù)雜的腦機(jī)接口和神經(jīng)科學(xué)研究中的潛在應(yīng)用,。
附錄：近2年腦電信號(hào)大模型的相關(guān)論文對(duì)比
（需要的話可以在下方對(duì)應(yīng)論文,，加上我們的往期推文鏈接）
《Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI》：受大語(yǔ)言模型的啟發(fā)，提出了一個(gè)名為大腦大模型（LaBraM）的統(tǒng)一 EEG 基礎(chǔ)模型,，旨在從大量EEG數(shù)據(jù)中學(xué)習(xí)通用特征表示,。模型通過(guò)分割 EEG 信號(hào)為通道補(bǔ)丁和向量量化神經(jīng)頻譜預(yù)測(cè)，能夠有效處理不同電極配置和信號(hào)長(zhǎng)度,。在來(lái)自約 20 個(gè)數(shù)據(jù)集的大約 2500 小時(shí)的各種類型的 EEG 信號(hào)上進(jìn)行預(yù)訓(xùn)練,，能處理不同電極配置和長(zhǎng)度的 EEG 數(shù)據(jù)。
《NEUROLM: A UNIVERSAL MULTI-TASK FOUNDATION MODEL FOR BRIDGING THE GAP BETWEEN LANGUAGE AND EEG SIGNALS》：提出多任務(wù)基礎(chǔ)模型NeuroLM,，旨在整合語(yǔ)言和EEG信號(hào),，以提高情感識(shí)別和認(rèn)知狀態(tài)分析的準(zhǔn)確性，將 EEG 信號(hào)視為外語(yǔ),，融入大語(yǔ)言模型框架,。通過(guò)文本對(duì)齊的神經(jīng)標(biāo)記器編碼EEG信號(hào)、多通道自回歸預(yù)訓(xùn)練和多任務(wù)指令調(diào)整,，實(shí)現(xiàn)多任務(wù)學(xué)習(xí)和推理,。
《FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling》：提出 FoME （腦電圖基礎(chǔ)模型），開(kāi)創(chuàng)性地采用時(shí)間-頻率融合嵌入技術(shù)和自適應(yīng)時(shí)間-橫向注意力縮放（ATLAS）機(jī)制處理EEG信號(hào),，捕捉其復(fù)雜的時(shí)空動(dòng)態(tài),，適應(yīng)不同數(shù)據(jù)集，并結(jié)合CNN和Transformer增強(qiáng)了對(duì)局部和全局特征的學(xué)習(xí)能力,，促進(jìn)穩(wěn)健的多通道建模,。
《Brant - X: A Unified Physiological Signal Alignment Framework》：提出Brant - X模型，用于對(duì) EEG 與其他生理信號(hào)之間的相關(guān)性進(jìn)行建模,，解決了多種生理信號(hào)間對(duì)齊的問(wèn)題,。利用 EEG 基礎(chǔ)模型,，通過(guò)兩級(jí)對(duì)齊策略（補(bǔ)丁級(jí)和序列級(jí)）分別處理局部和整體特征，并引入特征提取和對(duì)齊算法,，有效對(duì)齊 EEG 與其他信號(hào)（EOG,、ECG、EMG）的語(yǔ)義,，以及適應(yīng)多任務(wù)學(xué)習(xí)的方法同時(shí)處理多個(gè)生理信號(hào)任務(wù)以提高性能,。
《EEGPT: Pretrained Transformer for Universal and Reliable Representation of EEG Signals》：提出用于通用 EEG 特征提取的EEGPT 模型，設(shè)計(jì)了雙自監(jiān)督學(xué)習(xí)方法,，結(jié)合時(shí)空表示對(duì)齊和掩碼重建,，提高特征質(zhì)量和模型收斂性，為 EEG 信號(hào)處理提供有效的創(chuàng)新解決方案,。
《EEGPT: Unleashing the Potential of EEG Generalist Foundation Model by Autoregressive Pre-training》：提出自回歸EEG 預(yù)訓(xùn)練模型,，通過(guò)引入電極建模策略、開(kāi)發(fā)自回歸預(yù)訓(xùn)練方法以及實(shí)施帶有可學(xué)習(xí)電極圖網(wǎng)絡(luò)的多任務(wù)遷移學(xué)習(xí)范式,，捕捉了EEG信號(hào)中固有的順序和時(shí)間依賴關(guān)系,。
相關(guān)鏈接
論文鏈接：https://openreview.net/forum?id=lvS2b8CjG5
PPT匯報(bào)鏈接：
https://nips.cc/media/neurips-2024/Slides/93793.pdf
撰稿人：陳宗楠
審稿人：潘家輝
