欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

【论文阅读】分离与联合:用于少量学习的简单元传输-摘要

最编程 2024-10-19 07:29:23
...

  小样本学习(Few-shot Learning, FSL)是一个具有挑战性的问题,旨在从有限的示例中学习并进行泛化。最近的研究采用了元学习和迁移学习策略的结合来解决 FSL 任务。这些方法执行预训练,并将学到的知识转移到元学习中。然而,这种迁移模式是否适当尚不明确,且这两种学习策略的目标尚未得到充分探讨。此外,FSL 中元学习的推理依赖于样本关系,而这些关系需要进一步考虑。在本文中,我们揭示了预训练与元学习策略之间一个被忽视的学习目标差异,并提出了一种简单但有效的小样本分类任务学习范式。具体来说,提出的方法包含两个组成部分:(i)分离:我们提出了一种有效的学习范式,称为自适应元迁移(Adaptive Meta-Transfer, A-MET),该方法通过自适应地消除预训练中学到的不期望的表示,来解决这一差异。(ii)联合:我们提出了一种全局相似性兼容性度量(Global Similarity Compatibility Measure, GSCM),以在全局水平上联合考虑样本之间的关联,从而实现更一致的预测。所提出的方法简单易于实现,无需复杂的组件。在四个公共基准数据集上的大量实验表明,面对基类和新类之间存在较大域差异以及支持信息较少的更具挑战性的场景,我们的方法优于其他最新的先进方法。代码可在以下链接获得:https://github.com/yaoyz96/a-met