812
0
2025-02-19
2025-02-19
近日,，團(tuán)隊成員2022級研究生葉春錦在李景聰副教授的指導(dǎo)下,，在中科院一區(qū)Top期刊《Pattern Recognition》（JCR Q1，中科院一區(qū)Top，影響因子7.5）上發(fā)表了題為“A robust transductive distribution calibration method for few-shot learning”的研究論文,。該論文自2024年7月18日提交，于2025年2月18日被正式接收,。
圖1 方法的整體結(jié)構(gòu)
小樣本學(xué)習(xí)（Few-Shot Learning, FSL）是人工智能領(lǐng)域的一個重要研究方向,，旨在通過極少量標(biāo)注數(shù)據(jù)訓(xùn)練模型,，使其在未見過的樣本上也能保持良好的泛化能力,。然而，由于標(biāo)注數(shù)據(jù)有限,，現(xiàn)有方法學(xué)習(xí)到的特征分布往往存在偏差,，導(dǎo)致模型泛化能力受限。為解決這一問題,，葉春錦等提出了一種魯棒的直推式分布校準(zhǔn)（RTDC）方法,，能夠更準(zhǔn)確地估算小樣本類別的特征分布，并生成更有效的樣本,，從而顯著提升小樣本分類任務(wù)的性能,。
研究方法與創(chuàng)新點
本文提出的RTDC方法通過以下方式實現(xiàn)對小樣本類別的特征分布的精準(zhǔn)估計：
實驗結(jié)果與討論
實驗結(jié)果表明,，該方法在多個基準(zhǔn)數(shù)據(jù)集上達(dá)到了甚至超過了現(xiàn)有最先進(jìn)方法的性能,，包括miniImageNet、tieredImageNet,、CUB和CIFAR-FS,。協(xié)方差驅(qū)動策略在選擇未標(biāo)記數(shù)據(jù)以校準(zhǔn)類別中心時，考慮了分布的相似性,。通過利用小樣本類別的學(xué)習(xí)分布,，該方法可以生成大量樣本，從而為分類模型在訓(xùn)練過程中提供充足的監(jiān)督信息,。無需復(fù)雜的生成模型或額外的可學(xué)習(xí)參數(shù),，僅使用該方法生成的樣本訓(xùn)練的簡單邏輯回歸模型，就能達(dá)到甚至超過大多數(shù)現(xiàn)有復(fù)雜模型的性能,。t-SNE結(jié)果直觀地展示了該方法在估計真實分布方面的有效性,。
未來展望
盡管取得了顯著成果，但作為一種基于微調(diào)的技術(shù),，該方法仍存在一定的局限性,。它依賴于預(yù)訓(xùn)練特征提取器的性能，利用基礎(chǔ)類和未標(biāo)記樣本的分布信息來優(yōu)化小樣本類別的特征分布,。當(dāng)特征提取器不足以提取判別性特征表示時,，該方法將失去估計特征分布的能力。此外,，在協(xié)方差驅(qū)動策略中,，基于協(xié)方差的度量缺乏衡量特征之間相似性的非線性內(nèi)部結(jié)構(gòu)，從而忽略了非線性特征交互,。在未來的工作中,，團(tuán)隊將進(jìn)一步優(yōu)化該方法，使其適用于更廣泛的應(yīng)用場景,，并探索如何在分布校準(zhǔn)方法中考慮數(shù)據(jù)的非線性內(nèi)部結(jié)構(gòu),，以進(jìn)一步提升模型的性能和泛化能力。
