国产v亚洲v天堂无码久久无码_久久久久综合精品福利啪啪_美女扒开尿口让男人桶_国产福利第一视频在线播放_滨崎步无码AⅤ一区二区三区_三年片免费观看了_大屁股妇女流出白浆_泷川苏菲亚无码AV_我想看我想看一级男同乱伦_国产精品午夜福利免费视频,gogo国模全球大胆高清摄影图,2008门艳照全集视频,欧美午夜在线精品品亚洲AV中文无码乱人伦在线播放

Patten Recognition 丨基于β標(biāo)簽平滑自蒸餾的跨被試遷移學(xué)習(xí)在 P300分類中的應(yīng)用

該論文發(fā)表于Pattern Recognition(中科院一區(qū),IF=7.5),題目為《Self-distillation with β label smoothing-based cross-subject transfer learning for P300 classification》,。

華東理工大學(xué)博士后李舒蕊為論文第一作者,,華東理工大學(xué)金晶教授為論文通訊作者。

論文鏈接:https://www.sciencedirect.com/science/article/pii/S0031320324008653

論文概要

P300 拼寫(xiě)器是腦機(jī)接口(BCI)最著名的系統(tǒng)之一,,它通過(guò)解碼大腦活動(dòng)為用戶提供了一種與環(huán)境交流的新方式,。然而,大多數(shù)基于P300的BCI系統(tǒng)需要很長(zhǎng)的校準(zhǔn)階段來(lái)開(kāi)發(fā)特定被試的模型,,這可能既不方便又耗時(shí),。此外,由于個(gè)體間存在顯著的差異,,實(shí)施跨被試 P300 分類仍具有挑戰(zhàn)性,。為了解決這些問(wèn)題,本研究提出了一種免校準(zhǔn)的 P300 信號(hào)檢測(cè)方法,。具體來(lái)說(shuō),,本研究結(jié)合自蒸餾(Self-Distillation)和β標(biāo)簽平滑(β Label Smoothing)技術(shù),以增強(qiáng)模型泛化和整體系統(tǒng)性能,這不僅可以從其他被試的腦電圖 (EEG) 數(shù)據(jù)中提煉出有效信息知識(shí),,還可以有效減少個(gè)體差異所帶來(lái)的影響,。在公開(kāi)可用的OpenBMI數(shù)據(jù)集上進(jìn)行的結(jié)果表明,與現(xiàn)有方法相比,,所提出的方法在統(tǒng)計(jì)學(xué)上實(shí)現(xiàn)了顯著更高的性能,。值得注意的是,本研究的方法在無(wú)需校準(zhǔn)的情況下,,字符識(shí)別準(zhǔn)確率高達(dá) 97.37%,。信息傳輸率和可視化分析進(jìn)一步證實(shí)了其有效性。這種方法對(duì)腦機(jī)接口應(yīng)用的未來(lái)發(fā)展提供了重要前景,。

研究背景

腦機(jī)接口(BCI)系統(tǒng)通過(guò)解碼神經(jīng)活動(dòng)并將其轉(zhuǎn)化為控制指令,,為用戶提供了一種無(wú)需肌肉參與的交互途徑。該技術(shù)在通信,、康復(fù)和娛樂(lè)等領(lǐng)域具有廣闊應(yīng)用前景,,尤其為肌萎縮側(cè)索硬化癥(ALS)等神經(jīng)肌肉疾病患者提供了新的生活改善方案。黎曼幾何方法在 BCI 領(lǐng)域的應(yīng)用推動(dòng)了新型分類器的發(fā)展,,實(shí)現(xiàn)了更快的P300響應(yīng),,深度學(xué)習(xí)技術(shù)的突破也為BCI系統(tǒng)帶來(lái)了新機(jī)遇。盡管這些研究取得了有效成果,,但不同被試之間存在個(gè)體差異,,且同一被試在不同時(shí)段的腦電數(shù)據(jù)也有所差異,這些影響并沒(méi)有得到有效解決,。圖1(a)展示了不同被試的 P300 波幅和潛伏期存在顯著個(gè)體差異,,且同一被試的腦電數(shù)據(jù)在不同時(shí)段也呈現(xiàn)分布差異,圖 1(b) 進(jìn)一步揭示多源被試的兩類數(shù)據(jù)存在嚴(yán)重重疊,,表明傳統(tǒng)離線訓(xùn)練的 P300 系統(tǒng)存在耗時(shí)且泛化能力不足的問(wèn)題,。近年來(lái),現(xiàn)有研究嘗試通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型提升跨被試性能,,然而,,傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型普遍存在過(guò)擬合和預(yù)測(cè)置信度過(guò)高的問(wèn)題,導(dǎo)致校準(zhǔn)性能下降,。

為了解決這些問(wèn)題,,本研究提出基于域泛化的跨被試遷移學(xué)習(xí)框架(圖1(c)),將自蒸餾與 β 標(biāo)簽平滑正則化方法相結(jié)合,,命名為SDB-Deepnet方法,,可以提取更多的判別性特征,并將學(xué)到的知識(shí)遷移到新的被試中且無(wú)需任何校準(zhǔn),。具體貢獻(xiàn)如下:

(1)利用深層卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建無(wú)需校準(zhǔn)的P300檢測(cè)模型,;

(2)通過(guò)自蒸餾框架提取跨被試有效知識(shí),,結(jié)合β標(biāo)簽平滑緩解數(shù)據(jù)分布差異和過(guò)擬合問(wèn)題;

(3)所提出的方法在從 54 名被試收集的公開(kāi)可用的OpenBMI 數(shù)據(jù)集上進(jìn)行評(píng)估,。實(shí)驗(yàn)結(jié)果表明,,所提出的方法比基線方法有顯著的改進(jìn)。

圖1 模型框架

方法

BCI 系統(tǒng)可分為信號(hào)采集,、特征提取和分類識(shí)別三個(gè)關(guān)鍵階段,,但由于被試之間的個(gè)體差異和同一被試不同時(shí)間段的腦電數(shù)據(jù)也有差異的影響,需要實(shí)現(xiàn)高效分類任務(wù)的整體框架與訓(xùn)練策略,。

A.標(biāo)簽平滑正則化

作為輸出正則化器,,引入標(biāo)簽平滑正則化 (LSR)來(lái)提高網(wǎng)絡(luò)的泛化能力和學(xué)習(xí)效率,可以給每個(gè)非真實(shí)標(biāo)簽類別一個(gè)小而相等的概率,,從而降低過(guò)擬合的風(fēng)險(xiǎn),。Softmax 函數(shù)用作激活函數(shù),對(duì)最后一層的輸出進(jìn)行歸一化,,生成與輸入類別匹配概率相關(guān)的依賴概率分布,。給定模型的第k類概率可通過(guò)Softmax函數(shù)進(jìn)行如下計(jì)算:

其中,zk 為前一層的第 k 個(gè)原始分?jǐn)?shù),,K 為類別總數(shù),。對(duì)數(shù)幾率輸出由最后一個(gè)全連接層生成。對(duì)對(duì)數(shù)幾率輸出應(yīng)用Softmax 函數(shù),,以獲取每個(gè)類別的概率得分,。真實(shí)標(biāo)簽分布可表示為 q(k∣x),為簡(jiǎn)化表述,,記作 q(k),。模型通過(guò)最小化對(duì)應(yīng)的交叉熵?fù)p失進(jìn)行訓(xùn)練,損失函數(shù)定義為:

硬標(biāo)簽 yi 的分布可表示為:當(dāng) k=yi 時(shí),,q(y∣x)=1,;當(dāng) k≠yi 時(shí),q(k∣x)=0,。在標(biāo)簽平滑機(jī)制中,,平滑標(biāo)簽取代了獨(dú)熱向量標(biāo)簽,。平滑標(biāo)簽分布 q′(k) 與標(biāo)簽分布 q(k) 的關(guān)系可寫(xiě)為:

其中,,α 為平滑參數(shù),u(k) 為均勻分布,,且 u(k)=1/K,。基于平滑標(biāo)簽的交叉熵?fù)p失如下:

上述公式也可表示為:

因此,,標(biāo)簽平滑對(duì)應(yīng)的模型損失函數(shù)可寫(xiě)為:

其中,,KL 為 KL 散度,H(u) 為固定均勻分布 u 的熵。

標(biāo)簽平滑正則化(LSR)方法,,通過(guò)將獨(dú)熱硬標(biāo)簽替換為平滑標(biāo)簽,,調(diào)整標(biāo)簽分布,向非真實(shí)類別分配概率,,優(yōu)化交叉熵?fù)p失,,使模型有效利用類間信息,提升分類任務(wù)穩(wěn)健性,,增強(qiáng)對(duì)未知數(shù)據(jù)的適應(yīng)性,。

B.知識(shí)蒸餾

知識(shí)蒸餾(KD)用于從大型深度神經(jīng)網(wǎng)絡(luò)(教師模型)提取知識(shí)并遷移至小型網(wǎng)絡(luò)(學(xué)生模型),以提升學(xué)生模型泛化能力,。實(shí)際上,,知識(shí)蒸餾為學(xué)生模型訓(xùn)練提供了更多信息,優(yōu)化了其性能,。鑒于訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)可能在概率分布峰值過(guò)度集中而損失信息,,有研究提出溫度可以縮放軟化概率,此時(shí),,知識(shí)蒸餾損失LKD通過(guò) KL 散度損失匹配學(xué)生ps=softmax(as/T)與教師pt=softmax(at/T)的軟化輸出,,公式如下:

其中,as,、at為學(xué)生與教師網(wǎng)絡(luò)的原始分?jǐn)?shù),,T為固定溫度超參數(shù),用于調(diào)控教師網(wǎng)絡(luò)軟化輸出,。T值增加會(huì)使Softmax概率分布更均勻,,捕獲更多信息。學(xué)生網(wǎng)絡(luò)通過(guò)以下?lián)p失函數(shù)訓(xùn)練:

超參數(shù) β 權(quán)衡兩種損失,,LSL為學(xué)生網(wǎng)絡(luò)輸出與真實(shí)標(biāo)簽的交叉熵?fù)p失,。基于上述損失,,有研究將知識(shí)蒸餾視為改進(jìn)的標(biāo)簽平滑正則化,,可對(duì)網(wǎng)絡(luò)分類器層正則化。同時(shí),,標(biāo)簽平滑與知識(shí)蒸餾相關(guān),,當(dāng)溫度T設(shè)為 1 時(shí),可重新審視教師模型的隨機(jī)精度與平滑溫度,。

C.構(gòu)造框架

本研究提出結(jié)合 β 平滑正則化方法的自蒸餾框架 SDB-Deepnet,。自蒸餾無(wú)需復(fù)雜教師模型,減少訓(xùn)練開(kāi)銷,,訓(xùn)練中教師與學(xué)生網(wǎng)絡(luò)共享架構(gòu),??蚣芗?xì)節(jié)如圖 2,分為輸入層,、特征提取與分類層,、預(yù)測(cè)器和損失項(xiàng)。原始腦電數(shù)據(jù)先拼接,,預(yù)處理后尺寸為試次數(shù) × 通道數(shù) × 時(shí)間點(diǎn)數(shù),,輸入數(shù)據(jù)尺寸為NT×NC×NF(NT為訓(xùn)練試次總數(shù),NC為通道數(shù),,NF為時(shí)間點(diǎn)數(shù)),,輸入網(wǎng)絡(luò)獲得概率pt和ps。關(guān)鍵步驟為標(biāo)簽平滑策略,,將獨(dú)熱硬標(biāo)簽轉(zhuǎn)為平滑標(biāo)簽向量,,再根據(jù)教師模型概率對(duì)學(xué)生模型的輸出排序,得到排序概率p's,。

圖2 SDB-Deepnet 算法的圖形說(shuō)明

圖2展示了所設(shè)計(jì)算法的組成及方法,。在輸入層,對(duì)多個(gè)被試的腦電數(shù)據(jù)進(jìn)行預(yù)處理和連接,,以構(gòu)建輸入數(shù)據(jù),。pt 是教師模型的輸出,ps 是學(xué)生模型的輸出,,p's 是根據(jù)指數(shù)移動(dòng)平均 (EMA) 對(duì)學(xué)生模型的排序序列,。將兩個(gè)損失項(xiàng)(CE Loss和SD Loss)組合在一起,以端到端的方式優(yōu)化基礎(chǔ)模型,,其中 CE Loss是具有獨(dú)熱真實(shí)值的交叉熵?fù)p失,,SD Loss是具有 β 分布標(biāo)簽的自蒸餾損失。

在本研究中,,教師和學(xué)生具有相同的神經(jīng)網(wǎng)絡(luò),,稱為基礎(chǔ)模型,特征提取層的基礎(chǔ)模型是 DeepNet,。以深度卷積神經(jīng)網(wǎng)絡(luò) DeepNet 為基礎(chǔ)模型,,其自蒸餾部分的教師與學(xué)生網(wǎng)絡(luò)共享架構(gòu)(含四種卷積層和全連接層,見(jiàn)圖 3),。

圖3 Deepnet模型的圖形說(shuō)明

以 DeepNet 為例:先經(jīng) 25 個(gè) (1, 4) 時(shí)間維度 2D 卷積,,再經(jīng) 25 個(gè) (62, 1) 空間維度 2D 卷積,用 ELU 激活函數(shù),,接 (1, 2) 最大池化(步長(zhǎng) 2)降采樣,,最后 dropout rate設(shè) 0.25,。經(jīng)四個(gè)卷積模塊(ConvPool-1 至 ConvPool-4)后,,數(shù)據(jù)輸入分類器,。學(xué)生模型的標(biāo)準(zhǔn)交叉熵?fù)p失 LCE 可以表示為:

其中,q(k) 是獨(dú)熱標(biāo)簽向量的第k個(gè)元素,,ps(k) 是學(xué)生模型輸出的分布,,接著是學(xué)生模型與基于Softmax函數(shù)輸出的 β 分布標(biāo)簽之間的損失。標(biāo)簽平滑部分包括對(duì)輸出進(jìn)行排序,、創(chuàng)建排序后的 β 平滑標(biāo)簽,,以及計(jì)算負(fù)對(duì)數(shù)似然(NLL)損失。本研究沒(méi)有采用公式(5)中描述的均勻分布u,,而是為標(biāo)簽平滑策略分配一個(gè) β 分布,。相應(yīng)的分布Q(k)如下:

其中,K 是類別總數(shù),,c(c=1,…,K)是正確標(biāo)簽,。b1≤?≤bm 是來(lái)自 β (a,1) 的一組隨機(jī)變量,其中m 是小批量大小,,a 對(duì)應(yīng)與 β 分布相關(guān)的超參數(shù),。由于本研究是二分類問(wèn)題,K設(shè)置為2,。為了分配合適的權(quán)重,,本研究還充分利用訓(xùn)練過(guò)程中設(shè)計(jì)的指數(shù)移動(dòng)平均(EMA)預(yù)測(cè),獲取試驗(yàn)(從小到大)的標(biāo)簽,,如圖 2 所示,。總之,,通過(guò) EMA 預(yù)測(cè)得到的置信度較高的樣本將接受較少的標(biāo)簽平滑,,反之亦然。同時(shí),,對(duì)學(xué)生模型的輸出應(yīng)用排序操作,,得到排序后的分布p's(k)。自蒸餾的KL散度可以用NLL損失代替,,其描述如下:

因此,,訓(xùn)練分類器的綜合損失可以表示為:

超參數(shù)γ用于調(diào)控兩種損失間的權(quán)衡,本研究中將γ設(shè)定為0.1,。對(duì)于知識(shí)蒸餾(KD)方法,,其通過(guò)師生學(xué)習(xí)機(jī)制輔助學(xué)生網(wǎng)絡(luò)學(xué)習(xí)判別性特征,進(jìn)而提升學(xué)生模型性能,。因此,,經(jīng)多次迭代更新流程后,作為分類器的學(xué)生模型最終被用于識(shí)別其他被試的P300信號(hào),。

實(shí)驗(yàn)和結(jié)果

本研究采用公開(kāi)的ERP數(shù)據(jù)集(命名為OpenBMI數(shù)據(jù)集)進(jìn)行方法驗(yàn)證,,該數(shù)據(jù)集采集自 54 名健康被試(S01-S54),。數(shù)據(jù)集包含不同日期的兩個(gè)階段,每個(gè)階段包括離線和在線部分,。本研究?jī)H使用 ERP 階段的第一階段(session 1)進(jìn)行分析,。

實(shí)驗(yàn)前,被試需坐在扶手椅上,,實(shí)驗(yàn)過(guò)程中要求被試放松并盡量減少眼動(dòng)和肌肉活動(dòng),。圖 4展示了 P300 拼寫(xiě)器界面,包含6行6列共 36個(gè)符號(hào)(A-Z,、1-9 及空格),。

圖4 P300拼寫(xiě)器界面

實(shí)驗(yàn)中每個(gè)目標(biāo)字符呈現(xiàn) 5 輪,每輪包含 12 次刺激閃爍(試次),,刺激間隔(ISI)為135 毫秒,,刺激持續(xù)時(shí)間80毫秒。采用隨機(jī)序列呈現(xiàn)和熟悉面孔圖像作為刺激,,總時(shí)間間隔為:(135ms+80ms)×12×5=12.9秒,。包含目標(biāo)字符的閃爍定義為目標(biāo)試次(含P300信號(hào)),否則為非目標(biāo)試次(圖 4 左下),。被試需通過(guò)注視屏幕上的目標(biāo)字符拼寫(xiě)包含 33個(gè)字符的句子("NEURAL_NETWORKS_AND_DEEP_LEARNING"),。

A.數(shù)據(jù)采集與預(yù)處理

數(shù)據(jù)采集62 通道 EEG 信號(hào),采樣率 1000Hz,,參考電極(鼻根)和接地電極(AFz),。對(duì)選定的EEG信號(hào)應(yīng)用四階巴特沃斯濾波器進(jìn)行0.5Hz-40Hz的帶通濾波,然后從每個(gè)通道的刺激呈現(xiàn)中提取-200ms到800ms的時(shí)間特征,,將EEG信號(hào)下采樣至100Hz,,并通過(guò)減去 -200ms 到 0ms 刺激前間隔的平均振幅來(lái)執(zhí)行基線校正。最終得到特征向量尺寸為(54×1980)×62×80,,即(被試數(shù)×試次數(shù))×通道數(shù) × 時(shí)間點(diǎn)數(shù),。

B.實(shí)驗(yàn)設(shè)置和結(jié)果

圖5 54折交叉驗(yàn)證深度學(xué)習(xí)模型單被試框架

圖 5 展示了所選訓(xùn)練樣本示例。本研究使用第一階段(橙色框)的離線數(shù)據(jù),,并執(zhí)行留一被試交叉驗(yàn)證(LOO-CV),。使用自適應(yīng)矩估計(jì)(ADAM)優(yōu)化器優(yōu)化損失函數(shù),初始學(xué)習(xí)率η設(shè)為5e−4,,權(quán)重衰減設(shè)為1e−3,,并采用 0.25 的dropout rate。本實(shí)驗(yàn)將每個(gè)被試獨(dú)立分類的批量大小設(shè)為 64 ,,訓(xùn)練迭代次數(shù)設(shè)為 100,。采用t分布隨機(jī)鄰域嵌入(t-SNE)方法來(lái)顯示投影后的腦電圖試次,一個(gè)類與其他類分離的實(shí)例越多,相關(guān)功能的性能就越好,。

表1 各深度學(xué)習(xí)算法平均字符識(shí)別準(zhǔn)確率和信息傳輸率

表 1 中所提出的方法在五輪后達(dá)到了最高的分類準(zhǔn)確率,,分別比BASIC-CNN、EEGNet,、ShallowNet、DS-P3SNet和DeepNet平均高出5.55%,、3.43%,、4.46%、3.32% 和 0.8%,。

圖6 各算法字符識(shí)別準(zhǔn)確率和對(duì)應(yīng)箱線圖

使用與被試無(wú)關(guān)的深度學(xué)習(xí)方法時(shí),,超過(guò)一半的被試在五輪后準(zhǔn)確率可達(dá) 100%。此外,,在跨被試分類任務(wù)中,,DeepNet 在四種基線方法中取得了最佳結(jié)果。

圖7 t-SNE二維數(shù)據(jù)可視化

紅點(diǎn)表示從目標(biāo)樣本中獲得的特征,,藍(lán)點(diǎn)表示從非目標(biāo)樣本中獲得的特征,。圖 7(a)分別描繪了應(yīng)用SDB-Deepnet 前后特征分布的 t-SNE 可視化結(jié)果??梢杂^察到,,在原始分布中,兩類特征相互重疊,,而在SDB-Deepnet 方法中邊界清晰,,這表明所提出的方法可以有效地實(shí)現(xiàn)領(lǐng)域不變特征表示。圖 7(b)展示了使用DeepNet和SDB-Deepnet 方法,,以與被試無(wú)關(guān)的方式對(duì)三名代表性參與者(S8,、S33 和 S50)的可視化結(jié)果。根據(jù)置信橢圓的重疊情況,,可以得出結(jié)論,,在SDB-Deepnet中,不同類別變得更加集中且更容易區(qū)分,。

表2 各傳統(tǒng)機(jī)器學(xué)習(xí)算法平均字符識(shí)別準(zhǔn)確率和信息傳輸率

經(jīng)過(guò)五輪后,,所有被試使用 LDA、LR,、RF 和 xDAWN的平均分類準(zhǔn)確率分別為89.54%,、80.96%、54.26% 和 88.91%,,這些方法的平均信息傳輸率分別為15.28 bits/min,、12.96 bits/min、7.17 bits/min和 15.06 bits/min,。所提出的方法獲得了最高的準(zhǔn)確率,,在五輪后分別比LDA,、LR、RF和xDAWN平均高出 7.83%,、16.41%,、43.11% 和 8.46%。

表3 使用不同數(shù)量被試時(shí)的性能

隨著訓(xùn)練數(shù)據(jù)的增加,,分類準(zhǔn)確率相應(yīng)提高,,使用 53 名被試的訓(xùn)練集取得了最高的性能。使用標(biāo)準(zhǔn) 21個(gè)通道(缺少通道FPz)在五輪后的字符識(shí)別準(zhǔn)確率和標(biāo)簽預(yù)測(cè)準(zhǔn)確率分別為 96.28% 和 90.50%,,相應(yīng)的信息傳輸率分別為 16.69 bits/min和 14.66 bits/min,。因此,本實(shí)驗(yàn)選擇了所有 62個(gè)通道進(jìn)行分析,。

為證明正則化和知識(shí)蒸餾(KD)方法在 P300 檢測(cè)中的有效性,,本研究以與被試無(wú)關(guān)的方式,擴(kuò)展了其他方法來(lái)泛化深度網(wǎng)絡(luò)模型,。通過(guò)將LSR作為一個(gè)隨機(jī)準(zhǔn)確性的虛擬教師模型來(lái)執(zhí)行無(wú)教師知識(shí)蒸餾(TF-KD),。教師模型的輸出分布定義如下:

其中,u(k) 是手動(dòng)設(shè)計(jì)的均勻分布,,超參數(shù) a 設(shè)為 0.99,。將學(xué)生模型設(shè)為 DeepNet,同時(shí)將教師模型更改為Shallow-Deep,。

表5 各算法與被試無(wú)關(guān)分類方式下的平均字符識(shí)別準(zhǔn)確率和信息傳輸率

SDB-Deepnet 在五輪后達(dá)到 97.37% 的最高準(zhǔn)確率,,同時(shí)產(chǎn)生 25.41 bits/min的最佳信息傳輸率。根據(jù)表 5 的結(jié)果,,與擴(kuò)展方法相比,,所提方法有統(tǒng)計(jì)學(xué)上的顯著提升,這證明了當(dāng)前正則化和 KD 方法在 P300 分類任務(wù)中展現(xiàn)出良好的性能,。

表6 SDB-Deepnet三個(gè)模塊的消融研究

第一個(gè)實(shí)驗(yàn)(w/o SD)中,,移除自蒸餾,采用 β 平滑機(jī)制對(duì)模型訓(xùn)練進(jìn)行正則化,;第二個(gè)實(shí)驗(yàn)(w/o BLS)中,,移除 β 平滑機(jī)制,保留自蒸餾機(jī)制,;第三個(gè)實(shí)驗(yàn)(w/o BD)中,,去除 β 標(biāo)簽平滑機(jī)制,改用標(biāo)簽平滑正則化(LSR)計(jì)算用于模型訓(xùn)練的平滑標(biāo)簽,。從SDB-Deepnet 中移除自蒸餾方法后,,分類準(zhǔn)確率(p<0.001)和 ITR(p<0.001)顯著降低,五輪 P300 分類任務(wù)后,準(zhǔn)確率下降 7.78%,,ITR 下降 1.98 bits/min,。而 β 標(biāo)簽平滑機(jī)制的貢獻(xiàn)小于自蒸餾,五輪后分類準(zhǔn)確率僅下降 0.34%/0.08bits/min,,無(wú)顯著下降,。當(dāng)用標(biāo)簽平滑正則化機(jī)制替代 β 平滑正則化機(jī)制時(shí),準(zhǔn)確率(p<0.01)和 ITR(p<0.01)顯著提升,。

總結(jié)

本研究提出一個(gè)融合自蒸餾與β標(biāo)簽平滑正則化機(jī)制的SDB-Deepnet框架,,在模型自身內(nèi)部提取知識(shí)來(lái)提升訓(xùn)練網(wǎng)絡(luò)的有效性,無(wú)需任何額外大型復(fù)雜網(wǎng)絡(luò)的指導(dǎo),,將 β 平滑正則化機(jī)制融入該框架,,通過(guò)最小化 β 分布與網(wǎng)絡(luò)預(yù)測(cè)分布的Kullback-Leibler散度,,進(jìn)一步減少類內(nèi)差異,,通過(guò)從多個(gè)被試中提取共有的 P300 信息來(lái)提升泛化能力,探索了訓(xùn)練跨被試模型的可行性,。實(shí)驗(yàn)結(jié)果證明了所提 SDB-Deepnet方法的有效性,,該方法在無(wú)需任何校準(zhǔn)數(shù)據(jù)的情況下實(shí)現(xiàn)了優(yōu)越的分類性能。未來(lái)工作將進(jìn)一步探索平滑參數(shù)自適應(yīng)的可能性,,將構(gòu)建不同的損失函數(shù)以懲罰關(guān)系中的結(jié)構(gòu)差異,,并將 ERP 特征作為先驗(yàn)信息來(lái)指導(dǎo)網(wǎng)絡(luò)優(yōu)化,從而提升模型性能,,也會(huì)將其擴(kuò)展到快速序列視覺(jué)呈現(xiàn)任務(wù),。


登錄用戶可以查看和發(fā)表評(píng)論, 請(qǐng)前往  登錄 或  注冊(cè),。
SCHOLAT.com 學(xué)者網(wǎng)
免責(zé)聲明 | 關(guān)于我們 | 用戶反饋
聯(lián)系我們: