“哎哟，不错哦！”想象一下，周杰伦通过视频和你对话，他叫出了你的名字，点评了你的表演……

2017年，深度伪造（deepfake）技术刚刚崭露头角，还未向大众揭开神秘的面纱。这一年，网易易盾的算法团队把周杰伦“请”到了年会现场，在压轴环节进行视频致辞，将年会推向高潮。

在晚会后的闲聊中，大家发现视频中的“周杰伦”既不是本尊，也不是长相相似的特技演员，而是一位每日坐在身边办公的同事。易盾算法团队借助了“深度伪造”技术的力量，宛如施展魔法一般将周杰伦与同事的脸庞融合在了一起，并让同事模仿周杰伦的言行。

这个约2分钟的视频，惟妙惟肖地还原了周杰伦的微笑、说话语气和动作手势，由易盾算法团队利用2周业余时间制作完成。

由于同样涉及图像识别的深度学习技术，对“深度伪造”技术的探索也为开展“深度伪造”识别打好了基础。近年来，“深度伪造”成为显著的内容安全风险之一。易盾的算法小组成功自研了一种基于神经网络的多视角“深度伪造”识别技术，凭借对AI决策模型的创新，更高效地发现视频中不自然的篡改痕迹。

01 伪造明星

简单的人脸伪造并不困难。易盾算法团队分享到，目前，网上会有一些基于学术研究成果的半自动化工具，伪造者只需要下载、套用文献中算法框架就能实现基础伪造效果。

在制作前期，团队收集了上千张周杰伦的公开照片，来自多个合规渠道，最终组成一个数据集。这些图片几乎从每个角度、不同光照下，捕获了周杰伦的脸部特征。“从深度学习的实践来看，高质量的数据能够生成更高质量的模型。”一位在伪造中负责模型生成人脸图像样本数据收集的成员说。

下一步是基于这个数据集进行机器模型训练，编写人脸检测、人脸抽取等综合算法，直至“神经网络”模型初步拟合周杰伦的脸。至此，整个“伪造视频”只能算是一个半成品。

接下来，团队中的成员煞费苦心地调整、修补每一帧视频中的人脸，让其与身体、语音完美融合，去除机器“深度伪造”后残留的明显异常或破绽。尽量避免眼镜、配饰等遮挡物的出现，以减少视觉瑕疵。

“想要制作一个自然、逼真的优质深度伪造视频，仅有现成的深度学习工具是不够的。”易盾算法团队指出，“除了后期的精细修复过程，最大的挑战还来自前期的互换人脸匹配。”

值得注意的是，目前‘深度伪造’还有一些局限性，必须要有合适的对象，并非任意两个人物互换都能做出很好的效果。因此，人物选型至关重要。

为了创作出令人信服的年会视频致辞，算法团队还需要一位周杰伦模仿大师。这个候选人不仅要能够模仿周杰伦的声音与举止，其脸型轮廓、肤色等属性必须与周杰伦相似，否则贴上去的脸可能会不自然。幸运的是，经过了多轮算法实验之后，团队找到了那个外形、脸型与周杰伦都有点像的同事。

假周杰伦的致辞视频，经过了视频数据选取、人脸区域检测、深度网络训练、伪造脸替换、后处理细节调整等操作步骤，自然生动地展现在大家的眼前。遵照类似的方式，世界上大部分的明星都能被伪造，有关明星的丰富影像资料为“深度伪造”实践提供了数据训练便利。

02 换脸像换衣服一样容易

“深度伪造”引起大家的特别关注，并上升至内容安全层面的考虑，是在2019年。这一年，基于深度伪造技术的应用软件相继推出，在应用商店相继登上榜首，获得数以亿计的用户。

FaceApp的人脸“变老”，ZAO和Reface的人脸交换，“蚂蚁呀嘿”的人脸表情驱动、“美图秀秀”的人脸编辑、“无中生有”的人脸合成……这些软件中的瞬间“变脸”特效，向人们展示了人脸伪造逐渐细分化的趋势。

“深度伪造”基于深度学习技术快速制造“以假乱真”级别的数字内容，因而得名。深度学习，尤其是神经网络算法模型，在数据处理方面天赋禀异，可以学习在不同角度、不同光源下的人类面部特征，自动定位人脸范围与五官，以便对面部进行修改和转移。

学习效果检验也通过算法模型来实现。生成对抗网络（GAN）通常被用于自监督训练中，利用两个神经网络系统，一个制造“假货”，另一个辨别“假货”。造假模型不断在每次对抗中精进，从而生成足以欺骗另一个模型的伪造图像。

在短短4年间，深度伪造技术大步向前，人脸处理已不在话下，甚至支持合成人声、操纵体态或者行为模式，在影像中模拟出一个全方位接近现实的人类。

03 谁来辨别真伪？

《未来简史，从智人到智神明》一书中提到，处理数据的工作应该交给能力远超人类大脑的算法，并认为算法有一天能够超越人类知识和智能。这一预测正在变为现实，无论是伪造，还是鉴伪，都需要AI算法的参与。

AI算法既是造假泛滥的罪魁祸首，也将成为辨别真伪的主力军。借助于计算机对庞大数据的超强运算能力，深度伪造识别技术比人类更敏锐，深入动作、光线、分辨率上的破绽，在源头发现造假内容，减少事实核查成本。

在易盾，算法团队成了专项研究小组，致力于识别“深度伪造”，团队的目标是教育机器实时判断图片、视频中的人脸是否涉及深度伪造。

易盾研究小组发现，识别算法模型鉴别的数据并不都是高清的，对于一些模糊的数据，尤其是人脸区域不清晰、有遮挡的数据，鉴伪难度极高。不过，即使在强烈压缩的情况下，识别算法模型也能通过其对特定领域知识的掌握，表现出明显优于人类肉眼的鉴伪能力。

算法的对抗也会带来一种可怕的后果。易盾研究小组表示，致力于“深度伪造”的黑灰产可能不需要了解背后的技术原理，直接通过大量试验进行试错来获得绕过检测的方法。

目前，科技行业并不能完全倚仗于识别算法，一次性根除深度伪造，只是尽可能降低风险发生的概率。易盾研究小组指出，“识别算法依赖单一的技术手段，会逐渐无法满足实际要求，而是需要更多的技术手段和检测维度，构建立体化、有深度、快速敏捷的防守链条。”

此外，易盾研究小组认为，深度伪造识别技术必须融合具体业务场景，这样识别才有意义。不同的应用场景差别很大，不同客户的视频数据，在数据分布、人脸属性、场景属性上都有自身的特点，这正是市场上大部分识别算法商用准确率不高的原因所在。

最终，研究小组希望，深度伪造技术与内容安全的实际业务场景进行结合，在特定业务上让识别算法更加稳定和精准，“大浪淘沙”式快速过滤出恶意伪造视频。

04 AI如何识别伪造？

识别技术与伪造技术一样扎根于深度学习算法，还与人脸识别技术有许多共通之处，特别是人脸的识别与定位。深度伪造识别技术的实现总体可以分为数据收集、模型训练与调优和伪造内容识别三个核心步骤 。

“深度伪造识别技术在最底层和一般人脸识别技术相似，神经网络、模型结构、训练框架、训练方式，甚至一些代码都是可以共用的。区别在于训练数据不同，任务的目标不同。”专门从事人脸图像研究工作的易盾算法工程师说，类似的模型，区分人脸性别的标签是男与女，而区分人脸深度造假的标签是真与假。

在研究小组中，他的任务是模型训练素材的收集，一方面，清晰、筛选公开的人脸伪造视频。另一方面，生产伪造样本作为补充素材，以迷惑识别模型。

“训练模型就像让学生在考试前刷题，如果把各种类型的题目都做过了，正式考试的时候，也是触类旁通嘛。”这位工程师表示，对抗者的数据收集是研发过程中的难点之一，人脸伪造技术层出不穷，数据训练必须伴随伪造技术的发展而进行演变。他尽可能广泛地收集变化多端的伪造内容，让识别模型在强烈的对抗中有所进步。

另一个难点在于，如何让“深度伪造”识别模型在决策时更加滴水不漏？

易盾研究小组表示，人脸伪造算法千变万化，只有抓住其共性才能获得更好的泛化能力，比如多数的人脸伪造算法都会存在换脸边界，伪造人脸在一些特定的变换域中与真实人脸存在较强的差异，等等。

基于此，易盾训练了全新的深度伪造识别模型，创新点在于模型从多个视角去分析人脸图片，搭建一个相较于普通人脸识别更为复杂的模型。

验证素材真伪，不是由一个“超强”模型做判断，而是由多个模型推测，集思广益。多个模型在竭尽全力判断后，进行“是否涉及造假”的投票，结合多个模型的输出结果，“是或否”以多数结论为准。

这种办法有效提高了鉴伪的精确性，对不同伪造类型、不同清晰度、不同分辨率的数据有较好的泛化能力。

这一更优秀的人脸伪造自动化识别技术已经应用在直播场景下的内容安全解决方案中，能发现社交平台上的大部分的"深度伪造"视频，并记录伪造者使用的算法类型、伪造视频的来源等信息，及时告知客户及用户。

05 数字内容的未来

任何触网的人都可以生产“深度伪造”的虚假内容，这项技术被滥用之后，无疑会增加互联网内容的核查与纠正成本，致使人们对互联网内容失去信任，更可能带来进一步伤害：

一是，淫秽色情视频的制作有了新的可能性。斯嘉丽.约翰逊、艾玛.沃森等好莱坞女明星的脸被深度伪造技术盯上，与色情女演员的身体融为一体。此外，一款名叫DeepNude的应用，可以自动"脱掉"女性身上的衣服，显示出裸体，被担心成为“色情复仇”的帮凶。

二是，在AI深度伪造的帮助下，诈骗犯制作假文本、假音频和假视频，可谓是如虎添翼。《华尔街日报》报道称，2019年3月，犯罪分子使用深度伪造技术模拟了德国某能源公司CEO的声音，成功从该公司发英国分公司诈骗了22万欧元。无独有偶，骗子运营的“假靳东”抖音账号以明星人设骗取中老年妇女的信任及金钱。

三是，“深度伪造"的访谈或发言不在少数，奥巴马、特朗普、英国女王伊丽莎白二世、汤姆克鲁斯、扎克伯格等具有影响力的公众人物成了造假的靶心。有人担心，对于想通过虚假新闻、错误信息会影响选举，左右民主的人而言，“深度伪造”技术是一个强大的新工具。

深度伪造技术快速进化，虽然各类人脸“虚假”特效为原本平凡的生活平添了一些乐趣，却让监管难题初见端倪，引发法律、伦理和安全的担忧与讨论。

“这项技术本身是无害的，”在易盾研究员们看来，关键是避免技术被滥用，政府制定相关规则与法律进行引导与风险规避。

当前，美国国会提出的《深度伪造责任法案》和《2019年深度伪造报告法案》，以及中国已出台的《数据安全管理办法》、《网络信息内容生态治理规定》等法规都对深度伪造问题有所关注。微软、脸书与知名大学与非营利性研究组织联手推出"深度伪造视频探测挑战赛"，共同研发深度伪造识别办法。

在此基础上，易盾建议，在网络内容的整个流通链路中，内容生产者、软件提供商、内容发布平台都需要依法对伪造内容进行标记解释、隐私协议认同和传播控制，尽可能趋利避害。