第47屆認(rèn)知科學(xué)年度會(huì)議(Cognitive Science Society Annual Conference,簡(jiǎn)稱(chēng) CogSci 2025)將于 2025 年 7 月 30 日至 8 月 2 日在美國(guó)舊金山的Marriott Marquis酒店隆重舉行。CogSci是認(rèn)知科學(xué)領(lǐng)域極具權(quán)威性和影響力的國(guó)際旗艦會(huì)議之一,,同時(shí)也是CCF(中國(guó)計(jì)算機(jī)學(xué)會(huì))和CAAI(中國(guó)人工智能學(xué)會(huì))推薦的B類(lèi)會(huì)議,。在此次會(huì)議上,腦機(jī)交互與混合智能團(tuán)隊(duì)有4篇研究成果被錄用,取得了豐碩成果。
1.基于先驗(yàn)提示的多模態(tài)步態(tài)抑郁癥識(shí)別框架
2024級(jí)研究生徐昱濤在周成菊老師指導(dǎo)下,研究成果《Prior-Prompt-Based GCN for Depression Recognition Through Gait Observation》被錄用為口頭報(bào)告并進(jìn)行全文發(fā)表,,基于先驗(yàn)提示的圖卷積網(wǎng)絡(luò)(PP-GCN),通過(guò)融合骨架與文本多模態(tài)信息,,顯著提升了步態(tài)抑郁癥檢測(cè)的準(zhǔn)確性,。該研究首次將大型語(yǔ)言模型生成的先驗(yàn)知識(shí)與關(guān)節(jié)角度特征相結(jié)合,為解決傳統(tǒng)方法難以捕捉抑郁癥患者細(xì)微步態(tài)差異的難題提供了全新方案,。主要貢獻(xiàn)包括:
(1)傳統(tǒng)基于步態(tài)的抑郁癥檢測(cè)方法依賴(lài)骨架坐標(biāo)數(shù)據(jù),,但抑郁癥患者的步態(tài)特征往往存在擺臂幅度減少、步速緩慢等細(xì)微差異,,僅憑坐標(biāo)信息難以精確捕捉,,缺乏對(duì)先有醫(yī)學(xué)先驗(yàn)知識(shí)的有效利用。該框架利用GPT-4生成針對(duì)不同身體部位的步態(tài)描述文本,,將醫(yī)學(xué)先驗(yàn)知識(shí)轉(zhuǎn)化為可計(jì)算的文本特征,。再通過(guò)骨架-文本特征對(duì)齊,強(qiáng)化模型對(duì)抑郁相關(guān)步態(tài)細(xì)節(jié)的敏感性,,減少誤判,。
圖1 基于生成動(dòng)作提示模塊(GAP)和角度特征提取模塊(AFM)的PP-GCN網(wǎng)絡(luò)框架圖
(2)抑郁癥患者的關(guān)節(jié)運(yùn)動(dòng)模式與健康人群存在顯著統(tǒng)計(jì)學(xué)差異,但傳統(tǒng)方法依賴(lài)的坐標(biāo)數(shù)據(jù)難以直接表征這些特征,。該框架通過(guò)角度特征提取模塊(AFM),,以手、肘,、膝,、足為錨點(diǎn),計(jì)算其與相鄰關(guān)節(jié)的余弦相似度,量化動(dòng)作僵硬程度,,將角度信息與坐標(biāo)數(shù)據(jù)結(jié)合,,提升模型對(duì)于關(guān)節(jié)處細(xì)微差異的捕捉能力。
(3)在D-Gait數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,,PP-GCN框架在抑郁癥步態(tài)識(shí)別任務(wù)上超過(guò)了現(xiàn)有的基于骨架數(shù)據(jù)的單模態(tài)SOTA方法,,取得了57.91%的F1-score。通過(guò)消融實(shí)驗(yàn)證明了選擇ViT-L/14文本編碼器效果最佳,,單獨(dú)使用生成動(dòng)作提示模塊(GAP)或角度特征提取模塊(AFM)時(shí),,模型性能均有所下降,雙模塊協(xié)同使召回率提升至73.59%,。這一成果為抑郁癥的早期識(shí)別與公共場(chǎng)所隱蔽檢測(cè)提供了技術(shù)支撐,,僅需普通攝像頭采集步態(tài),避免傳統(tǒng)腦電,、眼動(dòng)檢測(cè)的設(shè)備依賴(lài)和患者抵觸,結(jié)合心理量表評(píng)估結(jié)果,,可輔助醫(yī)生快速篩查高風(fēng)險(xiǎn)人群,,緩解醫(yī)療資源壓力。
2.基于多任務(wù)EEG和Agent Transformer的抑郁癥篩查研究
2023 級(jí)研究生溫奧君在黃海云老師指導(dǎo)下,,研究成果《Advancing Adolescent Depression Detection through Multi-Task EEG Signals and Biosignal Learning》被錄用為海報(bào)展示并進(jìn)行全文發(fā)表,。該研究提出了一種創(chuàng)新性的多任務(wù)框架,通過(guò)結(jié)合注意力任務(wù)和靜息任務(wù)的腦電圖(EEG)信號(hào),,利用Biosignal Learning和Agent Transformer(BLAT)模型實(shí)現(xiàn)了青少年抑郁癥的高效檢測(cè),。主要貢獻(xiàn)包括:
(1)該研究通過(guò)創(chuàng)新的生物信號(hào)標(biāo)記化模塊,將多通道EEG信號(hào)轉(zhuǎn)換為統(tǒng)一的“sentence”結(jié)構(gòu),,并通過(guò)Agent Transformer高效處理這些復(fù)雜信號(hào),,顯著提升了抑郁癥檢測(cè)的準(zhǔn)確率。
圖2 BLAT模型架構(gòu)圖
(2)實(shí)驗(yàn)涉及100名青少年參與者,,包括50名抑郁癥患者和50名健康對(duì)照組成員,。通過(guò)BLAT模型對(duì)多任務(wù)EEG信號(hào)進(jìn)行分類(lèi),在獨(dú)立測(cè)試集上實(shí)現(xiàn)了85%的準(zhǔn)確率,,顯著優(yōu)于其他現(xiàn)有模型,。
表1 不同模型的分類(lèi)性能
(3)研究結(jié)果表明,多任務(wù)EEG信號(hào)的整合能夠捕捉抑郁癥患者與健康對(duì)照組之間的細(xì)微差異,,為早期干預(yù)和個(gè)性化治療提供了科學(xué)依據(jù),。這一成果為青少年抑郁癥的早期篩查提供了新的技術(shù)路徑,有望推動(dòng)相關(guān)技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用,。
表2 不同任務(wù)組合的分類(lèi)性能
3. 基于單通道EEG信號(hào)的波形感知自動(dòng)睡眠分期模型
2023 級(jí)研究生鄭澤昆在王斐副教授指導(dǎo)下,,研究成果《DilatedSleepNet: A Novel EEG Waveform-Aware Model for Single-Channel Automatic Sleep Staging》被錄用為海報(bào)展示并進(jìn)行全文發(fā)表。該研究提出了一種新穎的多尺度膨脹卷積策略,能夠有效捕捉腦電(EEG)信號(hào)中的波形特征,,實(shí)現(xiàn)基于單通道 EEG 輸入的精確睡眠階段分類(lèi),。主要貢獻(xiàn)如下:
(1)該研究提出了一種基于單通道 EEG 信號(hào)的自動(dòng)睡眠分期方法DilatedSleepNet,該方法在僅使用單通道數(shù)據(jù)的情況下表現(xiàn)出色,。具體結(jié)構(gòu)如下圖所示:
圖3 DilatedSleepNet的模型框架圖
(2)我們引入了分層時(shí)間膨脹網(wǎng)絡(luò)(Hierarchical Temporal Dilation Network)與多尺度時(shí)間膨脹集成模塊(Multi-Scale Temporal Dilation Integrator),,能夠有效提取睡眠過(guò)程中關(guān)鍵的頻率信息與頻率轉(zhuǎn)換特征。標(biāo)準(zhǔn)卷積和膨脹卷積的感受野區(qū)別如下圖所示,。
圖4 標(biāo)準(zhǔn)卷積與空洞卷積感受野的對(duì)比分析
(3) 我們?cè)谌齻€(gè)公開(kāi)數(shù)據(jù)集上系統(tǒng)評(píng)估了 DilatedSleepNet 的性能,,如下表所示,模型在各數(shù)據(jù)集上分別達(dá)到了 86.8%,、83.2% 和 85.4% 的分類(lèi)準(zhǔn)確率,。實(shí)驗(yàn)結(jié)果表明,DilatedSleepNet 在多個(gè)數(shù)據(jù)集上展現(xiàn)出優(yōu)越的泛化能力與魯棒性,,為睡眠相關(guān)疾病的診斷與研究提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ),。
表3 DilatedSleepNet(本研究方法)與其他方法的對(duì)比分析
4. 基于多尺度卷積神經(jīng)網(wǎng)絡(luò)和對(duì)抗判別領(lǐng)域自適應(yīng)的跨受試者P300腦電解碼研究