自我提炼,知识提炼
自蒸馏(Self Distillation):是采用有监督学习进行知识蒸馏。只是知识蒸馏的方法,采用的方式是teacher模型和student模型是一个模型,也就是一个模型来指导自己进行学习,完成知识蒸馏,所以是自蒸馏,自己蒸馏知识来指导自己。
自监督学习知识蒸馏:是采用自监督学习进行知识蒸馏,采用数据增强、对比学习等自监督学习的方法来进行知识蒸馏,提升模型准确率。
自蒸馏(Self Distillation)是三种知识蒸馏学习方法的一种:离线蒸馏(Offline Distillation)、在线蒸馏(Online Distillation)、自蒸馏(Self Distillation)。这三种蒸馏方法区别是:
离线蒸馏(Offline Distillation): teacher模型是已经预训练好的,已经有很好的效果。再让teacher模型来指导student模型进行学习,完成知识蒸馏。
在线蒸馏(Online Distillation):teacher模型没有预训练,准备和student模型一同进行训练,在一同训练的过程中来指导student模型进行学习,完成知识蒸馏。
自蒸馏(Self Distillation):teacher模型和student模型是一个模型,也就是一个模型来指导自己进行学习,完成知识蒸馏。
所以,总结一下,自监督学习,也就是自己来给自己提供知识进行学习和知识传递,完成知识蒸馏,提高模型的准确率。
自监督学习经典代表论文:
Zhang L, Song J, Gao A, et al. Be your own teacher: Improve the performance of convolutional neural networks via self distillation. Proceedings of the IEEE International Conference on Computer Vision. 2019: 3713-3722.
推荐阅读
-
重新提炼的标题:思腾云计算的三项核心服务:算力租赁、服务器托管与思腾公有云
-
Sentaurus学习日志(第二期):器件特性的挖掘与提炼
-
全面掌握Java全栈开发:一份详尽的学习路径与知识点指南,为Java自我提升提供方向
-
费曼讲解学习法的精华笔记提炼
-
python cookbook 内容提炼 - 第 1 章 数据结构和算法
-
C语言三剑客,《C语言专家编程》一书精华提炼
-
自我提炼,知识提炼
-
程序员的自我超越》,第 1 章 - 复习、背景知识(硬件、操作系统、线程)
-
量化、剪枝、提炼,这些大模型的黑话到底是什么意思?
-
CVPR 2021】自我知识蒸馏:利用批量知识集合进行自我蒸馏可提高图像网络分类能力