Deepfake假CFO骗走公司1.8亿，再次引发关于AI技术犯罪的讨论

这是真真切切已经在香港发生的一场犯罪：

先别着急骂这大兄弟警惕性太低，Ta也不是没有过一丝丝怀疑，但是，这可不是什么诈骗界常见的一对一视频通话——

甭管怎么说，这事儿的惊悚程度，是有点吓到网友们了。

借由AI技术犯罪的话题，一时间又成为了各大平台的讨论焦点。

        

       

冲锋在AI批评一线的马库斯就第一时间拉着网友们吃起了瓜：好家伙，这是《黑镜》降临了。

深度伪造的狗屎越来越真实了。

不想，骗子立马展开下一步动作，邀请小帅进行视频会议。

小帅进入视频会议后彻底被眼前的一幕唬住了：不仅公司CFO在，小帅的一些同事也在，还有一些外部人员。

关键是，这些假同事和小帅认识的真同事无论是模样长相还是声音，都别无二致。

会议中，这个假冒CFO还让小帅做自我介绍，不过在此过程中会议突然中断。

骗子随后又通过即时通讯平台、电邮、一对一视频通话与小帅保持联系。

如此接连下套，小帅最终中了骗子的诡计，按照会议中的指示，分别向5个香港银行账户进行了15次转账，总计2亿港元，也就是约2560万美元，约合RMB1.8个亿。

从骗子联系小帅开始，整个事件大概持续了一个周，直到小帅之后向公司总部核实情况，才惊觉整个事件不过是一场精心策划的诈骗。

之后他们报了警。警方立即展开调查，发现会议中除小帅外的所有参与者，都是骗子使用公开的个人视频和音频片段重建的数字人。

视频中让小帅自我介绍并不是真的在和他互动，而只是单纯的用虚拟形象下达指令。

警方还透露，不法分子曾使用相同的多人视频通话策略，试图诈骗该公司分部的另外一名员工，总共接触了两到三名员工。但警方未提供有关他们遭遇的完整信息。

目前该案还在进一步调查中，尚未对诈骗者实施逮捕。

后续在新闻发布会上，香港警方表示已逮捕6名与此类诈骗有关的人员，且类似案件还有很多：

去年7-9月，有8张被盗的香港身份证被用于申请了90份贷款、登记了54个银行账户；

至少有20次，AI Deepfake被用来模仿身份证上的人像，以骗过面部识别程序。

可以看到，整个案件中，最终让小帅放下戒备的一大关键点就在于视频会议中的假人过于真实。

就比如下面这段霉霉说中文的视频就来自一款爆火AI工具——HeyGen。

音色口型简直完美复刻，网友看了之后都吓得直喊妈：

HeyGen的最新技术展示中，和数字克隆人实时聊天也已成为现实。

AI语音合成方面，最近比较火的是一家叫做11Labs（ElevenLabs）的初创公司。

11Labs不仅能实现29个语种的语音生成，而且仅需短至1分钟的音频素材，就能很好地“克隆”任何一个人的声音，语调、情绪变化都能模仿到位的那种。

关键是，现如今这些AI克隆术不仅真实度越拉越满，门槛也在逐渐降低……

比如下面这种开源项目，已经可以分分钟实现实时视频换脸。

项目主页列有不少现成的不同人的面部模型，如果不喜欢还可以自己训练模型。

或许是受到这一事件和前段时间霉霉成Deepfake受害者事件的影响，上述这个实时换脸项目再获关注，还新鲜冲上了GitHub趋势榜。

就在这个项目的issues中，不少网友的抵触情绪早已弥漫多时。

但正如许多网友提到的那样，技术没有善恶之分。并且更现实的问题在于，开弓没有回头箭。

除了更多规范和政策的制定，从技术的角度来说，Nature就在“2024最值得关注的七项技术”一文中提到：

让开发者在AI工具中加入隐形水印机制或许是一种方案。

而从个人的角度来说，提高警惕，已经成为AIGC技术爆发时代不得不面对的命题。

香港警方也在这次事件中表示，将扩大警报系统，以提前警告、阻止用户向诈骗相关账户转移资金。

不过，Deepfake假CFO骗走公司1.8个亿这种事儿，多少还是有点过于离谱。

以致于不少网友提出了质疑：

这么大一个公司，就没点风险管理措施？
怕不是有内鬼吧。

那么，你怎么看？

参考链接：
[1]https://www.scmp.com/news/hong-kong/law-and-crime/article/3250851/everyone-looked-real-multinational-firms-hong-kong-office-loses-hk200-million-after-scammers-stage
[2]https://twitter.com/garymarcus/status/1754188331188130201

链接：https://mp.weixin.qq.com/s/9ujBEaDB_dc__8vkIGSWGg

编辑：徐思凡