Facebook AI发起Deepfake检测挑战 | 智能技术

发布日期：2020-01-01 10:00
在NeurIPS会议上，Facebook要求研究人员构建工具来发现Deepfake视频。



去年9月，Facebook发出了一个奇怪的紧急求助电话：我们需要所有类型的人调查网络摄像头或电话摄像头，并说出非常平凡的事情。演员们站在卧室，走廊和后院，谈论诸如垃圾食品的危险和艺术教育的重要性等话题。这是一场快速简便的演出，但有一个奇怪的警告。Facebook研究人员将修改视频，提取每个人的脸并将其融合到另一个人的头上。换句话说，参与者必须同意成为Deepfake角色。

Facebook的人工智能（AI）部门发出了这个强制性通知，以便从伦理上讲可以产生深造的伪造品-这个术语最初是指使用某种面部互换技术修改过的视频，但现在已成为操纵视频的统称。Facebook视频是该公司为名为“ Deepfake检测挑战”的全球竞赛而收集的培训数据集的一部分。在与亚马逊，微软，非营利性AI合作组织以及八所大学的学者合作举办的竞赛中，全球研究人员都在争相开发可以发现欺诈性媒体的自动化工具。

该竞赛于今日在AI会议NeurIPS上宣布，并将在2020年3月之前接受报名。Facebook已经投入了超过1000万美元用于奖励和赠款。

克里斯蒂安·坎顿·费雷尔（Cristian Canton Ferrer）作为Facebook的AI Red Team的研究经理，帮助组织了这项挑战，该团队分析了AI对社交媒体巨头的威胁。他说，深造假不仅对脸谱网而且对民主社会的威胁越来越大。被操纵的视频使政客们看起来很在行，并说令人发指的事情可能在事实检查者有机会介入之前传播开来。

尽管尚未出现如此全面的合成丑闻，但意大利公众最近才体会到了这种可能性。9月，一个讽刺性新闻节目播出了一段深深的假冒视频，其中包括一位意大利前首相显然对其他政客的侮辱。大多数观众意识到这是一种模仿，但很少有人没有。

“我们正在考虑一年后会发生什么。这是一种猫捉老鼠的方法。”———克里斯蒂安·坎顿·费雷尔（Cristian Canton Ferrer），Facebook AI

坎顿·费雷尔（Canton Ferrer）表示，2020年美国总统大选是进一步解决这一问题的动力。他认为，来年的媒体操纵将变得更加普遍，并且深造的东西将变得更加复杂和可信。他说：“我们正在考虑一年后会发生什么。”“这是只猫捉老鼠的方法。”坎弗·费雷尔（Team Ferrer）的团队旨在让这只猫抢先一步，因此它随时可以突袭
假冒产品的威胁日益严重
制作伪造品有多容易？最近对更改视频的在线资源进行的审核发现，可用的开源软件仍然需要大量的技术知识。但是，审核还启动了应用程序和服务，使几乎任何人都可以轻松地采取行动。在中国，一个名为Zao的Deepfake应用程序在9月席卷了整个国家，当时该应用程序为人们提供了一种简单的方法来将自己的面孔叠加到Leonardo DiCaprio和Marilyn Monroe等演员的脸上。

为Facebook竞争而编译的数据集充满了无所事事的陌生人，这似乎很奇怪。但是，适用于这些普通视频的Deepfake检测器对于具有政客身份的视频也应同样有效。为了使Facebook挑战尽可能逼真，坎顿·费雷尔（Canton Ferrer）表示，他的团队使用最常见的开源技术来更改视频，但他不会透露方法，以免引诱参赛者。他说：“在现实生活中，他们将无法问坏演员，'你能告诉我你用什么方法制作这种深深的假面吗？'”

在目前的比赛中，探测器将扫描面部操纵的迹象。但是，Facebook团队一直在关注新出现的攻击方法，例如通过全身互换来改变一个人从头到脚的外表和动作的攻击方法。“那里有些东西，但是现在已经很明显了，”坎顿·费雷尔说。他说：“随着它们变得越来越好，我们会将它们添加到数据集中。”即使检测挑战在三月份结束之后，Facebook团队仍将继续致力于深造假的问题。

至于获奖检测方法将如何使用以及是否将其整合到Facebook的运营中，坎顿·费雷尔（Canton Ferrer）表示，这些决定并不取决于他。他说，负责监督竞争的AI伙伴关系AI和媒体完整性指导委员会将决定下一步。领导该指导委员会的克莱尔·莱博维奇（Claire Leibowicz）表示，该小组将考虑“协调努力”，以应对合成媒体和可操纵媒体的全球挑战。

DARPA在深度检测中的努力
Facebook面临的挑战远非抗击深造的唯一努力。DARPA的Media Forensics计划于2016年启动，比Reddit上首批Deepfake视频出现早了一年。计划经理Matt Turek表示，随着这项技术的兴起，在该计划下工作的研究人员开发了多种检测技术，通常都在寻找“数字完整性，物理完整性或语义完整性”。

数字完整性由人眼不可见的图像像素中的图案定义。这些模式可能是由相机和视频处理软件引起的，出现的任何不一致都是视频已更改的提示。物理完整性是指图像中照明，阴影和其他物理属性的一致性。语义完整性考虑了更广泛的上下文。例如，如果视频显示室外场景，则Deepfake检测器可能会检查时间戳和位置，以从该时间和地点查找天气报告。Turek说，最好的自动检测器将“使用所有这些技术来产生一个完整的分数，以记录我们对数字资产的了解。”

DARPA的Media Forensics程序创建了Deepfake检测器，用于检测数字，物理和语义完整性。

Turek说，他的团队已经创建了一个原型网络门户（仅限于其政府合作伙伴），以展示该计划期间开发的探测器的样本。当用户通过Web门户上传媒体时，有20多个检测器采用各种不同的方法来尝试确定图像或视频是否已被操纵。Turek说，他的团队继续在系统中添加检测器，在发现假货方面已经比人类更好。

媒体取证计划的后继项目将于2020年中期启动：语义取证计划。这种更广泛的努力将覆盖所有类型的媒体（文本，图像，视频和音频），并且将不仅仅限于检测操纵。它还将寻求方法来了解操作的重要性，这可以帮助组织决定哪些内容需要人工审核。Turek说：“如果您通过添加沙滩球来操纵度假照片，那真的没关系。”“但是，如果您操纵有关抗议的图像并添加一个标志之类的对象，则可能会改变人们对参与其中的人的理解。”

语义取证程序还将尝试开发工具，以确定某种媒体是否真正来自其声称的来源。Turek说，最终，他希望看到技术界采用水印系统，其中将数字签名嵌入到媒体本身中，以帮助进行身份验证过程。Turek说，这个想法的一大挑战是，与图像，视频或其他媒体交互的每个软件工具都必须“尊重该水印，或者添加自己的水印”。“生态系统需要很长时间才能支持它。”

面向消费者的Deepfake检测工具
同时，AI基金会有一个计划。这家非营利组织正在开发一种称为Reality Defender的工具，该工具将于2020年初推出。“它将成为您的个人AI守护者，它会为您提供保护”，基金会总裁兼首席技术官Rob Meadows说。

Reality Defender“将成为守护您的个人AI监护人。” ———AI基金会Rob Meadows

Reality Defender是用于Web浏览器的插件，是用于手机的应用程序。它使用一套自动检测器扫描屏幕上的所有内容，然后向用户发出有关媒体更改的警报。由于Photoshop和其他编辑工具已广泛用于时装，广告和娱乐中，因此仅靠检测并不能成为有用的工具。Meadows指出，如果Reality Defender引起人们对每一个更改的内容的关注，“它将使消费者泛滥到他们说：'我们不在乎，我们必须对其进行调整。'”

为避免该问题，用户将可以根据需要的警报数量上下调动该工具的灵敏度。Meadows说，beta测试人员目前正在培训该系统，并向其反馈他们关心的操纵类型。Reality Defender启动后，用户将可以通过对警报给予赞许或不赞成来个性化其AI监护人，直到了解到他们的喜好为止。Meadows说：“用户可以说，'对于我的偏执程度，这对我有用。'

他认为该软件是一种有用的权宜之计，但最终他希望该团队的技术能够集成到Facebook，YouTube和Twitter等平台中。他指出，Twitter的共同创始人Biz Stone是AI基金会董事会的成员。Meadows说，要真正保护社会免受假冒媒体的侵害，我们需要能够防止虚假信息被托管在平台上并通过社交媒体传播的工具。在它们已经传播之后对它们进行揭穿为时已晚。

拼图（Jigsaw）的研究人员通常会同意。技术研究经理安德鲁·古利（Andrew Gully）说，几年前，他的团队将合成媒体视为一种社会威胁。为了促进这场战斗，拼图与姊妹公司Google AI合作在2018年末制作了自己的Deepfake数据集，他们为慕尼黑工业大学托管的FaceForensics数据集做出了贡献。

Gully指出，虽然我们还没有看到过一次深渊骗局引发的政治危机，但这些视频还被用于欺凌和“复仇色情”，在这种视频中，目标女性的脸被粘贴到了色情演员的脸上。（尽管从理论上讲色情假冒可以针对男性，但最近对色情假冒内容的审核发现，色情影片中有100％都是针对女性的。）此外，古利说，人们更倾向于轻信那些不知名人士的视频，而不是著名的政客。

但是，在本年美国大选年中，最重要的是对自由公正选举的威胁。Gully说，检测到深度欺诈的系统必须采取谨慎的方法将结果传达给用户。Gully说：“我们已经知道说服人们面对自己的偏见是多么困难。”“检测Deepfake视频已经足够困难了，但是与说服人们他们不想相信的事情相比，这很容易。”