811
0
2025-02-19
2025-02-19
近日，團隊成員2022級研究生葉春錦在李景聰副教授的指導下,，在中科院一區(qū)Top期刊《Pattern Recognition》（JCR Q1,，中科院一區(qū)Top，影響因子7.5）上發(fā)表了題為“A robust transductive distribution calibration method for few-shot learning”的研究論文,。該論文自2024年7月18日提交,，于2025年2月18日被正式接收。
圖1 方法的整體結構
小樣本學習（Few-Shot Learning, FSL）是人工智能領域的一個重要研究方向,，旨在通過極少量標注數(shù)據(jù)訓練模型,，使其在未見過的樣本上也能保持良好的泛化能力。然而,，由于標注數(shù)據(jù)有限,，現(xiàn)有方法學習到的特征分布往往存在偏差，導致模型泛化能力受限,。為解決這一問題,，葉春錦等提出了一種魯棒的直推式分布校準（RTDC）方法，能夠更準確地估算小樣本類別的特征分布,，并生成更有效的樣本,，從而顯著提升小樣本分類任務的性能。
研究方法與創(chuàng)新點
本文提出的RTDC方法通過以下方式實現(xiàn)對小樣本類別的特征分布的精準估計：
實驗結果與討論
實驗結果表明,，該方法在多個基準數(shù)據(jù)集上達到了甚至超過了現(xiàn)有最先進方法的性能，包括miniImageNet,、tieredImageNet,、CUB和CIFAR-FS。協(xié)方差驅動策略在選擇未標記數(shù)據(jù)以校準類別中心時,，考慮了分布的相似性,。通過利用小樣本類別的學習分布，該方法可以生成大量樣本,，從而為分類模型在訓練過程中提供充足的監(jiān)督信息。無需復雜的生成模型或額外的可學習參數(shù),，僅使用該方法生成的樣本訓練的簡單邏輯回歸模型,，就能達到甚至超過大多數(shù)現(xiàn)有復雜模型的性能。t-SNE結果直觀地展示了該方法在估計真實分布方面的有效性,。
未來展望
盡管取得了顯著成果,，但作為一種基于微調的技術，該方法仍存在一定的局限性,。它依賴于預訓練特征提取器的性能,，利用基礎類和未標記樣本的分布信息來優(yōu)化小樣本類別的特征分布。當特征提取器不足以提取判別性特征表示時,，該方法將失去估計特征分布的能力,。此外，在協(xié)方差驅動策略中,，基于協(xié)方差的度量缺乏衡量特征之間相似性的非線性內部結構,，從而忽略了非線性特征交互。在未來的工作中,，團隊將進一步優(yōu)化該方法,，使其適用于更廣泛的應用場景，并探索如何在分布校準方法中考慮數(shù)據(jù)的非線性內部結構,，以進一步提升模型的性能和泛化能力,。
