【学习提示7】看懂Visual Prompt Tuning论文原理——实验部分

主要结果

给出了在4个不同的下游任务组中平均微调预训练的VPT-b/16的结果

模型设计变体的消融

• Prompt Location（提示位置）：VPT和其他方法之间的一个重要区别是作为Transformer层的输入引入了额外的学习参数
  
• Prompt Length（提示长度）：与完全微调相比，这是VPT调优所需的唯一额外超参数。
  
• Prompt Depth（提示深度）：VPT的表现总体上与提示深度呈正相关，如果我们从上到下插入提示，准确的就会下降，这表明Transformer早期层的提示比后期层的提示更重要。