1012
2023-12-22 10:23:13
轉(zhuǎn)載自：微信公眾號(hào) |專委會(huì)秘書處 CCF數(shù)據(jù)庫專委
公眾號(hào)文章鏈接：https://mp.weixin.qq.com/s/9ZF3TyBGETb26wgnMOx0MQ
Few-Shot Relation Prediction of Knowledge Graph via Convolutional Neural Network with Self-Attention
Data Science and Engineering (DSE)是由中國計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,，數(shù)據(jù)庫專業(yè)委員會(huì)承辦,，施普林格·自然(Springer Nature)集團(tuán)出版的開放獲取(OA)期刊。本篇文章精選自DSE第2023年第8卷第4期發(fā)文,，由中新賽克贊助文章處理費(fèi),。
文章介紹
知識(shí)圖譜（Knowledge Graph, KG）已經(jīng)成為智能問答和推薦系統(tǒng)等多種應(yīng)用的重要基礎(chǔ)。然而,，KG中的某些關(guān)系僅包含有限的相關(guān)三元組,，使得小樣本關(guān)系預(yù)測方法成為亟待研究的問題。目前基于KG嵌入（Knowledge Graph Embedding）的方法需要足夠的訓(xùn)練三元組來學(xué)習(xí)實(shí)體和關(guān)系的表示,，而最近的一些研究工作引入實(shí)體的鄰居和上下文等背景信息,、學(xué)習(xí)小樣本場景中的實(shí)體和關(guān)系特征，但部分場景中的背景信息并不可用,。從實(shí)際應(yīng)用的角度看,，可觀察到的少量三元組中包含著未被完全利用的屬性特征,。因此，KG的小樣本關(guān)系預(yù)測仍面臨兩個(gè)方面的挑戰(zhàn)：如何描述實(shí)體和關(guān)系間的相關(guān)性,，如何從觀察到的少量三元組中學(xué)習(xí)實(shí)體的隱藏屬性特征,？為解決上述研究工作存在的問題，本文提出基于自注意力卷積神經(jīng)網(wǎng)絡(luò)的KG關(guān)系預(yù)測（Convolutional Neural Network with Self-Attention Relation Prediction, CARP）模型,，用于預(yù)測新的關(guān)系事實(shí),，如圖1所示。首先,，為了學(xué)習(xí)關(guān)系的屬性特征,，本文利用CNN從少量觀察到的三元組中構(gòu)建具有自注意力的特征編碼器，通過賦予所觀察到三元組的不同權(quán)重來描述它們之間的相關(guān)性,，以凸顯其屬性特征,。進(jìn)一步，通過將觀察到的三元組集合與數(shù)字圖像的不可分割性及平移特征不變性進(jìn)行類比,，構(gòu)建特征編碼器,，將CNN與基于自注意力的相關(guān)性相結(jié)合，學(xué)習(xí)關(guān)系的屬性特征。然后，利用嵌入網(wǎng)絡(luò)融合所學(xué)習(xí)到的特征,，學(xué)習(xí)三元組的表示向量,。最后，本文給出CARP模型的損失函數(shù)和訓(xùn)練算法。本文的主要貢獻(xiàn)總結(jié)如下：
（1）提出從觀察到的少量三元組中學(xué)習(xí)屬性特征的方法，以增強(qiáng)關(guān)系表示。
（2）通過限制屬性特征空間,，給出CARP模型訓(xùn)練的損失函數(shù)。
（3）在3個(gè)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn),，結(jié)果表明,，CARP模型能有效完成KG的小樣本關(guān)系預(yù)測任務(wù)，且優(yōu)于最優(yōu)的對(duì)比模型,。
模型框架
CARP模型包括用于學(xué)習(xí)屬性特征的特征編碼器,、以及用于匹配觀察到的不完整三元組的匹配處理器兩個(gè)模塊，模型框架如圖1所示,。
圖1. CARP模型框架特征編碼器模塊旨在挖掘具有相同關(guān)系的多個(gè)三元組中頭實(shí)體和尾實(shí)體共享的屬性特征,，以及頭尾實(shí)體對(duì)共享的關(guān)系屬性特征，從而生成并選擇正確的三元組,。首先將實(shí)體和關(guān)系的表示映射到特征向量空間,，并使用可縮放點(diǎn)積計(jì)算注意力權(quán)重。然后使用L層CNN學(xué)習(xí)屬性特征,，進(jìn)一步利用高斯分布表示其概率分布,，通過重參數(shù)化策略對(duì)特征進(jìn)行采樣,，獲得屬性特征的最終表示。匹配處理器模塊旨在將參考集中的頭尾實(shí)體間的相關(guān)性映射到查詢集中,，利用向量距離對(duì)頭尾實(shí)體及關(guān)系進(jìn)行聚類,，從而得到最可能的實(shí)體關(guān)系、完成關(guān)系預(yù)測,。
實(shí)驗(yàn)效果
本文在NELL-One,、FB-One和Wiki-One三個(gè)數(shù)據(jù)集上對(duì)提出的CARP模型進(jìn)行了實(shí)驗(yàn)測試，其中,，NELL-One基于通過智能代理從新聞中收集結(jié)構(gòu)化知識(shí)的NELL系統(tǒng),，Wiki-One基于由百科全書式知識(shí)構(gòu)成的通用結(jié)構(gòu)化知識(shí)庫Wikidata。此外,，本文使用類似方法從社交知識(shí)所構(gòu)成的大型協(xié)作知識(shí)庫Freebase中提取數(shù)據(jù),，構(gòu)建了FB-One數(shù)據(jù)集,。具體而言,，首先排除逆關(guān)系，然后從每個(gè)關(guān)系中選擇50~500個(gè)三元組,，作為小樣本關(guān)系預(yù)測任務(wù)的數(shù)據(jù)集,，每個(gè)小樣本關(guān)系預(yù)測任務(wù)由與其對(duì)應(yīng)、具有相同關(guān)系的三元組構(gòu)成,。在這3個(gè)數(shù)據(jù)集上,，分別包含67、131和183個(gè)小樣本關(guān)系預(yù)測任務(wù),。本文將小樣本關(guān)系預(yù)測任務(wù)的訓(xùn)練集,、測試集和驗(yàn)證集按照51/5/11、98/11/22和133/16/34的比例劃分,。表1給出以上數(shù)據(jù)集的統(tǒng)計(jì)信息,。
表1. 數(shù)據(jù)集統(tǒng)計(jì)信息首先，我們在3個(gè)數(shù)據(jù)集上進(jìn)行3/5-shot關(guān)系預(yù)測,，MRR,、Hits@1、Hits@5和Hits@10等指標(biāo)的測試結(jié)果如表2所示,。本文提出的CARP模型在3個(gè)數(shù)據(jù)集上的各項(xiàng)指標(biāo)均有顯著提升,，與第二高的對(duì)比模型相比分別提高了90%、124%,、70%和48%,。實(shí)驗(yàn)結(jié)果表明，CARP模型可適用于不同的數(shù)據(jù)集,，在小樣本場景中可通過挖掘?qū)傩蕴卣鞫鴮W(xué)習(xí)到更有效的實(shí)體表示,。
表2. 3/5-shot關(guān)系預(yù)測的MRR/Hits@1/Hits@5/Hits@10指標(biāo)結(jié)果
為了評(píng)估樣本數(shù)量k的影響,，設(shè)置了k=1、3,、5,、7，并使用不同的k值測試MRR指標(biāo),，如圖2所示,。結(jié)果表明，CARP模型在3個(gè)數(shù)據(jù)集上的MRR指標(biāo)都優(yōu)于對(duì)比模型,，驗(yàn)證了CARP模型對(duì)于小樣本關(guān)系預(yù)測任務(wù)的有效性,。隨著k值的增加，MRR值略有增加,，表明隨著參考集數(shù)量的增加,，CARP模型能獲得更加豐富的信息。
圖2. CARP模型性能隨樣本數(shù)量變化本文進(jìn)一步通過消融實(shí)驗(yàn)測試特征編碼器和匹配處理器的有效性,。為測試特征編碼器的有效性,，在參考集上使用平均池化層替換特征編碼器模塊（記為AS_1）；為測試使用特征編碼器學(xué)習(xí)到的屬性特征對(duì)查詢處理的有效性,，使用隨機(jī)特征替換屬性特征并作為嵌入網(wǎng)絡(luò)的輸入（記為AS_2）,，如表3所示。結(jié)果表明,，特征編碼器和匹配處理器在CARP模型中能有效提升模型的效果,，從觀察到的少量三元組中學(xué)習(xí)到的屬性特征在小樣本關(guān)系預(yù)測中起著至關(guān)重要的作用。
表3. 消融實(shí)驗(yàn)MRR/Hits@1/Hits@5/Hits@10指標(biāo)結(jié)果最后給出案例分析,，在3個(gè)數(shù)據(jù)集上測試了不同小樣本關(guān)系預(yù)測任務(wù)的MRR指標(biāo),，如圖3所示。結(jié)果表明,，CARP模型在3個(gè)數(shù)據(jù)集上都具有穩(wěn)定的表現(xiàn),，驗(yàn)證了本文提出的CARP模型針對(duì)不同小樣本關(guān)系預(yù)測任務(wù)的可靠性，在接近80%的小樣本關(guān)系預(yù)測任務(wù)中達(dá)到了最佳MRR,，表明本文模型對(duì)不同小樣本關(guān)系預(yù)測任務(wù)的魯棒性,。
圖3. 不同關(guān)系預(yù)測任務(wù)上的MRR
結(jié)語
文提出CARP模型，有效預(yù)測觀察到的少量三元組中的新關(guān)系,，模型專注于從少量三元組中學(xué)習(xí)關(guān)系的屬性特征,，可有效避免引入背景信息而帶來的噪聲。CARP模型不僅增強(qiáng)了關(guān)系的表示,，還有助于在小樣本場景中預(yù)測新的關(guān)系事實(shí),。
作者簡介
鐘姍娜，碩士，于2023年獲得云南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)碩士學(xué)位,。主要研究方向?yàn)榇髷?shù)據(jù)分析,、知識(shí)圖譜。
王笳輝,，博士,，于2023年獲得云南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士學(xué)位。在KBS,、ESWA,、DSE、《軟件學(xué)報(bào)》和《電子學(xué)報(bào)》等期刊和會(huì)議發(fā)表論文10篇,。主要研究方向?yàn)橹R(shí)圖譜,、概率圖嵌入。
岳昆,，博士,，云南大學(xué)信息學(xué)院教授、博士生導(dǎo)師,、副院長,、云南省智能系統(tǒng)與計(jì)算重點(diǎn)實(shí)驗(yàn)室主任。入選“興滇英才支持計(jì)劃”云嶺學(xué)者,，云南省杰青,、中青年學(xué)術(shù)和技術(shù)帶頭人,。主持國家自然科學(xué)基金重點(diǎn)項(xiàng)目等科研項(xiàng)目20余項(xiàng),。在TSC、TCYB,、TIST,、《計(jì)算機(jī)學(xué)報(bào)》、《軟件學(xué)報(bào)》,、AAAI,、UAI、CIKM和ICWS等期刊和會(huì)議發(fā)表論文100余篇,。授權(quán)發(fā)明專利20余項(xiàng),，出版著作5部、參編譯著1部,。主要研究方向?yàn)楹Ａ繑?shù)據(jù)處理,、大數(shù)據(jù)知識(shí)工程、貝葉斯深度學(xué)習(xí),。
段亮,，博士，云南大學(xué)信息學(xué)院副教授、碩士生導(dǎo)師,。于2019年獲得北京航空航天大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士學(xué)位,。入選“興滇英才支持計(jì)劃”青年人才和云南大學(xué)“東陸青年學(xué)者”，主持國家自然科學(xué)基金青年項(xiàng)目等科研項(xiàng)目5項(xiàng),，在TKDE,、KAIS、《軟件學(xué)報(bào)》,、AAAI ,、ICDM、UAI和WSDM等期刊和會(huì)議發(fā)表論文20余篇,。主要研究方向?yàn)楹Ａ繑?shù)據(jù)處理,、機(jī)器學(xué)習(xí)、社交網(wǎng)絡(luò)分析,。
孫正寶,，博士，高級(jí)實(shí)驗(yàn)師,、碩士生導(dǎo)師,。2021年獲得云南大學(xué)信息與通信工程專業(yè)博士學(xué)位。入選“興滇英才支持計(jì)劃”青年人才,，主持完成國家自然科學(xué)基金青年項(xiàng)目等科研項(xiàng)目3項(xiàng),。主要研究方向?yàn)榈乩頃r(shí)空數(shù)據(jù)挖掘。
方巖,，碩士,，助理研究員。于2020年獲得云南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)碩士學(xué)位,。主要研究方向?yàn)閿?shù)據(jù)挖掘,、知識(shí)圖譜。
期刊簡介
Data Science and Engineering（DSE）是由中國計(jì)算機(jī)學(xué)會(huì)（CCF）主辦,、數(shù)據(jù)庫專業(yè)委員會(huì)承辦,、施普林格 自然（Springer Nature）出版的Open Access期刊。為了迎合相關(guān)領(lǐng)域的快速發(fā)展需求,，DSE致力于出版所有和數(shù)據(jù)科學(xué)與工程領(lǐng)域相關(guān)的關(guān)鍵科學(xué)問題與前沿研究熱點(diǎn),，以大數(shù)據(jù)作為研究重點(diǎn)，征稿范疇主要包括4方面：（1）數(shù)據(jù)本身,，（2）數(shù)據(jù)信息提取方法,，（3）數(shù)據(jù)計(jì)算理論，和（4）用來分析與管理數(shù)據(jù)的技術(shù)和系統(tǒng),。
目前期刊已被EI,、ESCI與SCOPUS收錄,，2022年CiteScore為8.8，影響因子（Impact factor）為4.2,，在計(jì)算機(jī)科學(xué)應(yīng)用領(lǐng)域排名前13%(102/792),、計(jì)算機(jī)軟件領(lǐng)域排名前16%(65/404)、信息系統(tǒng)領(lǐng)域排名前16%(60/379),，人工智能領(lǐng)域排名前19%(58/301),。稿件處理費(fèi)由贊助商中新賽克（Sinovatio）承擔(dān)，歡迎大家免費(fèi)下載閱讀期刊全文,，并積極投稿,。
原文鏈接：
https://link.springer.com/article/10.1007/s41019-023-00230-x
文稿：李博涵、王曉黎,、王肇國排版：李瑞遠(yuǎn)審核：專委會(huì)秘書處
CCF數(shù)據(jù)庫專委
