深度解密换脸应用Deepfake (1)

2919005896

Deepfake就是前一阵很火的换脸App，从技术的角度而言，这是深度图像生成模型的一次非常成功的应用，这两年虽然涌现出了很多图像生成模型方面的论文，但大都是能算是Demo，没有多少的实用价值，除非在特定领域（比如医学上），哪怕是英伟达的神作：渐进生成高清人脸PGGAN好像也是学术意义大于实用价值。其实人们一直都在追求更通用的生成技术，我想Deepfake算是一例，就让我们由此出发，看看能否从中获取些灵感。

一、基本框架

我们先看看Deepfake到底是个何方神圣，其原理一句话可以概括：用监督学习训练一个神经网络将张三的扭曲处理过的脸还原成原始脸，并且期望这个网络具备将任意人脸还原成张三的脸的能力。

说了半天这好像是一个自编码模型嘛~，没错，原始版本的deepfake就是这样的，公式如下：

这里的XW是经过扭曲处理过的图片，用过Deepfake的童鞋可能会有人提出质疑，“要让代码跑起来好像必须要有两个人的人脸数据吧”。没错，之所以要同时用两个人的数据并不是说算法只能将A与B互换，而是为提高稳定性，因为Encoder网络是共享的，Deocder网络是分开的，上公式：

为了方便理解我照搬项目二（加了Gan的版本）上的说明图片：

特别注意：原版是没有Mask的~

版本二我不打算讨论，仅介绍一下，简而言之就是增加了Adversarial Loss和Perceptual Loss，后者是用训练好的VGGFace网络（该网络不做训练）的参数做一个语义的比对。