[深度学习] 通过区域 GAN 反演实现细粒度人脸互换 高保真人脸互换范式--简介

Fine-Grained Face Swapping via Regional GAN Inversion
提出一种新的高保真换脸范式，能够保留期望的微妙几何和纹理细节。从微观面部编辑的角度重新思考换脸任务，基于“编辑用于互换（editing for swapping）”（E4S）的原则，提出了一种基于面部组件形状和纹理的显式解耦方法。

遵循E4S原则，实现面部特征的全局和局部互换，以及由用户指定的部分互换。此外，E4S范式通过面部遮罩固有地处理面部遮挡问题。核心是一种新的区域GAN逆映射（RGI）方法，它允许显式解耦形状和纹理，同时允许在StyleGAN的潜在空间中进行面部互换。具体来说，设计了一个多尺度遮罩引导编码器，将每个面部组件的纹理投影到区域样式码中。还设计了一个遮罩引导注入模块，用样式码操作特征映射。基于解耦，面部互换被重新制定为样式和遮罩互换的简化问题。

与现有技术的大量实验和比较表明，方法在保留纹理和形状细节方面以及处理高分辨率图像方面具有优越性。项目页面地址为https://e4s2022.github.io