论文阅读笔记--序列到序列学习中的复制机制-前言

最近看了一篇ACL2021的Dialog Policy Learning模型的文章，阅读笔记如下：
阅读笔记
模型结构里面使用到了一个Copying Mechanism的技巧，因此比较感兴趣的翻了这篇原文阅读。本篇论文提出了CopyNet模型，能够自动的，决定下一步的预测是生成模式还是复制模式。生成模式就是我们常说的注意力机制，复制模式就是这篇文章的一个创新点。复制模式其实不难理解，从我们人类的经验视角来看，在阅读文章或者做一些摘要的时候，除了自己会生成一些概括语句之外，还会从文章当中去摘抄一些核心句子。因此我们在生成句子时，可以选择性的复制某些关键词，比如如下这样：

如上述的一些人名等OOV_token，如果单单使用传统的Attention是无法处理的，所以需要通过某种手段来解决。Copying Mechanism从一定程度上解决这个问题，用原Paper的说法，模型只需要更少的理解，就能够确保文字的保真度，对于摘要，对话系统等来说，能够提高文字的流畅度和准确率，并且也是端到端进行训练。