近日，軟件所天基綜合信息系統全國重點實驗室研究團隊的兩篇論文分別被人工智能領域頂級國際會議IJCAI和計算機視覺領域頂級期刊IJCV接收。論文內容聚焦于元學習的學習機制與任務采樣，有助于模型泛化與遷移性能的提升。

Hacking　Task　Confounder　in　Meta－Learning（IJCAI　2024）一文共同第一作者為碩士生王婧瑤、副研究員任懿，通訊作者為特別研究助理強文文。研究團隊發現元學習中特定任務的因果生成因子和標簽間存在虛假相關性，這會導致任務間存在負知識轉移，影響泛化性能，為此提出了一種即插即用的元學習因果表示學習器MetaCRL，用于消除任務混雜因子、提升模型泛化性。

元學習旨在從有限的數據中構建多樣化的訓練任務來學習一般知識，然后遷移到新的任務中。傳統觀點認為，訓練任務越多樣，模型的泛化能力越好。然而，研究團隊通過結構因果模型實驗發現，在元學習機制下的任務最佳分類器不僅是利用因果因子進行決策，同時還會受到非因果因子的干預，即元學習中特定任務的因果因子和標簽之間有虛假相關性，這些任務混雜因子會引起任務負遷移，從而影響泛化性能。

基于上述發現，研究團隊提出了一種元學習因果表示學習器MetaCRL，用來消除任務混雜因子。MetaCRL由兩個模塊組成：解耦模塊和因果模塊。解耦模塊首先通過學習語義矩陣獲得整個生成因子，然后使用分組函數獲取與每個任務相關的生成因子子集，旨在獲得所有與任務相關的生成因子以及與單個任務相關的特定任務生成因子。因果模塊則負責確保生成因子的真實因果關系，即基于因果不變性定理以及同一模型可以在不同分布中學習因果相關性，一方面是對表現出分布變化的多個訓練數據集強制執行不變性，另一方面是通過簡單的雙層優化來保證解耦模塊獲得的語義矩陣和分組函數得到的生成因子具有真實因果關系。MetaCRL能應用于各種元學習框架，通過交替優化MetaCRL與元學習模型，使元學習基于真實因果因子學習各種任務的通用知識，從而消除任務混雜因子。

基于MetaCRL的元學習過程

研究團隊進一步在各種下游任務上進行了分類、回歸、預測等廣泛實驗。結果表明，引入MetaCRL的各種元學習基線方法都獲得了穩定的性能提升。此外，在多個基準數據集的知識遷移實驗中進一步證明了MetaCRL消除任務混雜的有效性。

少樣本設定下回歸（MSE）與分類任務（準確率）的實驗結果

論文地址：https://arxiv.org/abs/2312.05771

代碼地址：https://github.com/WangJingyao07/MetaCRL

?

論文Towards　Task　Sampler　Learning　for　Meta－Learning（IJCV）第一作者為碩士生王婧瑤，通訊作者為特別研究助理強文文。該論文首次揭示了任務采樣對元學習泛化性能的影響，并設計了一種自適應任務采樣器，可以集成到任何元學習框架以獲得元訓練任務的最優概率分布。

研究團隊通過設計具有不同多樣性水平的任務采樣策略、在各種元學習問題上實驗，卻發現任務多樣性無法為所有數據集帶來一致的性能提升，而且過度限制采樣器以滿足任務多樣性可能會導致訓練過程出現欠擬合或過擬合。因此，僅依靠任務多樣性來找到最佳采樣策略具有局限性。

為找到一種通用的最優采樣策略，研究團隊嘗試探索更合理的測量方法來評估元學習任務的質量。通過分析實驗，研究團隊提出了3項測量指標（任務多樣性、任務熵和任務難度）來評估元學習任務的質量，并由此設計了一種用于元學習的自適應采樣器Adaptive　Sampler（ASr）。ASr使用多層感知器實現分布生成函數，以3項測量指標作為輸入，并對隨機采樣的任務進行動態加權，從而獲得元學習模型的最優分布。為了優化ASr，研究團隊還進一步提出了一種簡單而通用的元學習算法。

研究團隊將ASr應用在多種場景下的基準數據集（包括標準小樣本學習、跨域小樣本學習、多域小樣本學習、增量學習等）實驗，并將有效性、泛化性、計算效率、收斂和采樣權重等多方面情況的實驗數據與以往基線進行對比。結果表明，ASr方法在多種網絡架構和元學習框架下均取得了優越的性能，證明了ASr的有效性和通用性。

Asr在跨域小樣本學習場景下的對比實驗結果

ASr在多域小樣本學習場景下的對比實驗結果

論文地址：https://link.springer.com/article/10.1007/s11263-024-02145-0

代碼地址：https://github.com/WangJingyao07/Adaptive-Sampler