2441
16
1
2021-11-10 17:00:41
2021-11-10
近期團(tuán)隊(duì)有兩篇中文論文被計(jì)算機(jī)學(xué)報(bào)錄用：
1. 知識蒸餾研究綜述
作者：黃震華， 楊順志,，林 威,， 倪 娟,，孫圣力,，陳運(yùn)文,，湯 庸
摘要：高性能的深度學(xué)習(xí)網(wǎng)絡(luò)通常是計(jì)算和參數(shù)密集型的,，難以應(yīng)用于資源受限的邊緣設(shè)備.為了能夠在低資源設(shè)備上運(yùn)行深度學(xué)習(xí)模型,，需要研發(fā)高效的小規(guī)模網(wǎng)絡(luò).知識蒸餾是獲取高效小規(guī)模網(wǎng)絡(luò)的一種新興方法,，其主要思想是將學(xué)習(xí)能力強(qiáng)的復(fù)雜教師模型中的“知識”遷移到簡單的學(xué)生模型中.同時(shí),，它通過神經(jīng)網(wǎng)絡(luò)的互學(xué)習(xí)、自學(xué)習(xí)等優(yōu)化策略和無標(biāo)簽,、跨模態(tài)等數(shù)據(jù)資源對模型的性能增強(qiáng)也具有顯著的效果.基于在模型壓縮和模型增強(qiáng)上的優(yōu)越特性,，知識蒸餾已成為深度學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)和重點(diǎn).本文從基礎(chǔ)知識,理論方法和應(yīng)用等方面對近些年知識蒸餾的研究展開全面的調(diào)查，具體包含以下內(nèi)容：(1)回顧了知識蒸餾的背景知識,，包括它的由來和核心思想,；(2)解釋知識蒸餾的作用機(jī)制；(3)歸納知識蒸餾中知識的不同形式,，分為輸出特征知識,、中間特征知識、關(guān)系特征知識和結(jié)構(gòu)特征知識,；(4)詳細(xì)分析和對比了知識蒸餾的各種關(guān)鍵方法,，包括知識合并,、多教師學(xué)習(xí)、教師助理,、跨模態(tài)蒸餾,、相互蒸餾、終身蒸餾以及自蒸餾,；(5)介紹知識蒸餾與其它技術(shù)融合的相關(guān)方法,，包括生成對抗網(wǎng)絡(luò)、神經(jīng)架構(gòu)搜索,、強(qiáng)化學(xué)習(xí),、圖卷積、其它壓縮技術(shù),、自動編碼器,、集成學(xué)習(xí)以及聯(lián)邦學(xué)習(xí)；(6)對知識蒸餾在多個(gè)不同領(lǐng)域下的應(yīng)用場景進(jìn)行了詳細(xì)的闡述,；(7)討論了知識蒸餾存在的挑戰(zhàn)和未來的研究方向.
2. 會話場景下基于特征增強(qiáng)的圖神經(jīng)推薦方法
作者：黃震華,， 林小龍，孫圣力,，湯 庸,，陳運(yùn)文
摘要：基于圖神經(jīng)網(wǎng)絡(luò)的會話推薦（簡稱圖神經(jīng)會話推薦）是近年來 推薦系統(tǒng)領(lǐng)域的一個(gè)研究重點(diǎn)和熱點(diǎn)，這主要是因?yàn)樗鼈円肓藭拡D拓?fù)浣Y(jié)構(gòu)信息來提高物品和會話特征表示的準(zhǔn)確性,，因而 ,，在一定程度上提升了 會話推薦的性能。然而,，現(xiàn)有圖神經(jīng)會話推薦方法仍然存在兩方面的不足,，從而影響其性能 ：1）它們所構(gòu)建的會話圖中物品間的相關(guān)性權(quán)重均是在模型訓(xùn)練之前就預(yù)先指定并保持固定不變，導(dǎo)致不能準(zhǔn)確捕捉物品間的相關(guān)性 ,；2）它們只從單個(gè)會話的物品序列中產(chǎn)生物品和會話的局部特征,，而缺乏從整個(gè)會話數(shù)據(jù)集出發(fā)，全局考慮不同物品之間以及不同會話之間的相關(guān)性,，并由此來生成物品和會話的全局特征,，從而充分表示物品和會話的語義特征。為此,，本文 提出了一種新穎的會話場景下基于特征增強(qiáng)的圖神經(jīng)推薦方法FA-GNR（Feature Augmentation based Graph Neural Recommendation）,。FA-GNR方法首先基于單個(gè)會話構(gòu)建物品間相關(guān)性權(quán)重可學(xué)習(xí)優(yōu)化的會話圖，并借鑒GRU（Gated Recurrent Unit）神經(jīng)網(wǎng)絡(luò)來產(chǎn)生物品局部特征,，同時(shí)基于會話數(shù)據(jù)集,，通過GloVe（Global Vectors）詞嵌入方法產(chǎn)生物品全局特征，從而融合物品的局部和全局特征來生成其語義特征。然后,，F(xiàn)A-GNR方法基于物品語義特征,，利用局部注意力機(jī)制來產(chǎn)生會話的局部特征，同時(shí)基于物品的全局特征,，并通過全局注意力機(jī)制來產(chǎn)生會話的全局特征,，從而融合會話的局部和全局特征來生成其語義特征。最后,，在物品和會話語義特征的基礎(chǔ)上,，F(xiàn)A-GNR方法通過交叉熵?fù)p失來學(xué)習(xí)給定會話下不同物品的點(diǎn)擊概率分布。在多個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,，F(xiàn)A-GNR方法的推薦性能優(yōu)于目前主流的方法,。
