愚人节,聊聊那些正在坑人的“新型AI”
几年前的一个愚人节,我们和大家聊过AI技术被作为诈骗工具的情况。很不幸,当时讨论的一些苗头,现在都成了电诈犯罪中屡见不鲜的手段。
更可气的是,随着AI技术与应用本身的发展,犯罪分子的AI手段不减反增。一些“新型AI”,也在这帮玩意的努力下加入了坑人的队伍。
愚人节又到了,感觉咱们有必要来聊聊更新换代的“AI for bad”。
提高警惕,避免上当,不做“愚人”。
坑人用的AI
也在更新换代
此前我们讨论AI作为诈骗工具时,提出应用到的技术主要有两种:TTS语音合成与NLP自然语言处理。
前者的作用是让犯罪分子合成假的音频。在2019年,《华尔街日报》报道了一名诈骗犯用AI语音合成来冒充老板,让一家分公司的总经理给他打了22万欧元。这类诈骗现在已经屡见不鲜,而且最初TTS需要大量被模仿者的语料,门槛比较高,现在很多开放的TTS接口,可以只用10句话左右的语料来合成语音线,甚至能模仿方言,已经有点防不胜防的意思。
而NLP技术的应用,主要是智能电话外呼。我们今天接到的很多客服、推销电话都是AI打的,其实诈骗电话也是。不久前,江苏警方打掉了一个诈骗团伙,他们是利用AI智能外呼来拨打诈骗电话,数量达到了惊人的1700多万个。AI打诈骗电话虽然成功率不高,也不会像真骗子一样循循善诱,威逼恫吓,但胜在效率高规模大,可以被犯罪分子用来筛选目标或者作为引流。
可以发现,这些技术主要以语音方面为主。但在当年讨论AI诈骗手段时,我们就说骗子未来一定会向视觉方向发展,毕竟“眼见为实”,如果能用AI技术来进行图像甚至视频的造假,那么犯罪份子的手段将更加多样,方式更加隐蔽,而且AI技术本身也一定要向机器视觉与多模态方向发展。骗子和AI技术,某种程度上是供需能够匹配的。
现在,它来了!视觉系AI诈骗,带着各种各样的恶意走来了!
暂停总结一下,AI坑人的第一阶段主要是语音,方式主要是:第一,合成亲人、同事、老板的假声音进行诈骗。第二,用AI外呼系统拨打诈骗电话。最后还有个比较小众的,用AI来模仿笔迹,但因为咱们国家数字化程度比较高,签支票之类的不多,这种诈骗方式也不显著。
而AI坑人的第二阶段,就开始围绕视觉做文章,主要方式是AI制作假的图片与视频,主要技术是广受讨论的Deepfake和AIGC。
惊掉歪果仁下巴的
新型AI骗局
2月初,叙利亚土耳其发生了强烈地震,引发全球关注。在震后的救灾工作中,AI技术发挥了非常关键的作用,比如大量应用AI+遥感,有效识别了灾情,提升了救灾效率,可以说用AI点亮了人类的互助之光。
但就有那么一些人,好日子不得好过,非要出来丢人现眼。同样是在这场地震后,全球社交媒体上各种AI诈捐骗局层出不穷,让各路欧美媒体感受到了来自AI技术的小小震撼。
比如最著名的是,一个骗子在推特上反复分享呼救信息,并附上了一名消防员拯救孩子的照片,以及自己的加密货币钱包链接,很多不了解真实情况的歪果群众,心碎之余马上打钱,但也有眼尖者发现,这个图片怎么一股AIGC的味道?
后来在媒体并不复杂的小调查后,证明这张以及大量其他土叙地震期间的求救、呼吁捐款所使用的现场图片,都是用AIGC生成的。AIGC产量大,拟真度高,还没有原图作为证据,伪装性更强,配合灾难之后人们焦虑急切的心情,很容易成功实现诈骗。
另一种在土叙地震后涌现的诈骗形式,是在TikTok等平台上发布小视频,声称自己就在受灾区,呼吁打赏和捐款。但这些视频里的背景、声音甚至人脸,都有可能是AI合成的。
这件事情由于跟国际热点息息相关,引发了广泛关注和讨论,但其实在这场闹剧之下,用AI+视觉技术作恶已经屡见不鲜。
骗子们已经升级了,真正做到了眼前所见,全是AI。
当然这里要提一下的是,AI技术作为诈骗手段,目前还不是主流,因为这还是有技术门槛的,犯罪分子显然没那么高的整体文化素养,但它效率更高,隐蔽性更强,超出了以往我们对电诈与其他犯罪的认知,更加值得注意。
AIGC
已经投身杀猪盘
视觉系AI的新型诈骗形式,早已经来到了我们身边,其中最普遍的一种方式,就是将AIGC图片和杀猪盘进行结合。
杀猪盘这种臭名昭著的电诈形式,基本思路是电诈分子伪装出一个人设,再通过网恋等方式获取被骗人信任。这种模式里一个关键,就是如何能够确保不被拆穿,毕竟双方在交流过程中,肯定要发照片、开视频。
原本杀猪盘的应对办法,是到处盗取社交媒体里分享的照片,然后一旦要视频就找理由推脱,但盗取的图片毕竟有限,而且都是“成片”,很难满足受骗者实时分享照片的要求。
最近爆火的AIGC,尤其是AI生成图片,给这帮玩意提供了巨大便利。现在的AI生图软件,已经可以生成几近真人,看不出瑕疵的图片,加上可以接受指令进行穿搭、动作、场景设计,完全可以满足杀猪盘对照片的需求。
你以为网恋的女神,第一时间分享给你在瑞士滑雪之后的素颜美照,殊不知那是抠脚大汉在东南亚某个地下室,刚刚让AI生成的。
更有甚者,一些AIGC软件可以生成擦边,甚至明显越界的图片,乃至生成不怎么穿衣服的视频。这就给诈骗分子的裸聊骗局增添了新的筹码,动用真人进行裸聊骗局,难度大,门槛高,而直接让AI来则堪称无本万利。一旦屏幕这头被害人被拍下裸聊证据,往往就是万劫不复的后果。
记得我看过贴吧上有个热门帖,被害人分享裸聊受骗的全过程。他的描述非常痛苦煎熬,但他至少还是相信与之聊天的,是一个模样他很中意的女孩子,甚至还隐约觉得她肯定也是迫不得已。但他不知道的是,那很可能是AI换脸甚至AI生成视频。
被坑了还替AI惋惜,真的是哀其不幸,怒其不争。
AI换脸/换装
背后的猥琐“产业链”
如果说,不法分子用AIGC是生成一个虚构的人来行骗。那么比之更可恨的,就是Deepfake,也就是AI换脸技术的滥用。如今,各大媒体平台都一致性封杀了AI换脸等有争议的内容,但这并不妨碍这种技术依旧在暗地里大行其道,甚至肆意泛滥。
不久之前,有个所谓的“网红”,用AI换脸技术合成了女明星和他演吻戏的视频,随后惹怒了粉丝,甚至遭遇了实体宇宙对线。对此我想说,您还真的是有点活该呢。
还有一位女士,在社交媒体上分享的照片,被不法分子用AI软件进行“一键脱衣”并在网上传播,这一事件也引起了广泛关注。
这类侵犯他人肖像权、隐私权、名誉权的行为,都是利用Deepfake来完成。这种行为危害极大,同时也极尽道德败坏之能事,往往会造成《保你平安》中那样,造谣一张嘴,辟谣跑断腿的无奈。
同时,AI换脸技术,也开始被应用到了诈骗活动中。比如此前就有人用AI换脸伪装成明星,然后进行直播骗钱粉丝打赏、刷礼物。最近,我们可以看到很多明星工作室都在对这种行为进行法律追责。
除了AI换脸明星进行诈骗之外,还有骗子利用AI换脸装成熟人进行诈骗。由于换脸之后直接视频通话可信度很高,对于不了解AI技术的老年人来说,可谓是防不胜防。
AI换脸与AI脱衣有多可怕,我们随便想想就能知道。但很多人会觉得,AI换脸应该是挺难的一种技术吧,好像跟影视后期差不多,不是普通人能做到的吧?
其实不然,AI换脸已经有了非常成熟的“产业链”,稍加用心很快就能学会,甚至得到源源不断的素材支持。一般来说,别有用心之徒想要开始AI换脸,要解决这么几个问题。
首先是技术从哪来?
在GitHub等开源社区上,就有开源使用的AI换脸软件。其中最知名的是Deepfacelive、Deepfacelab两种。很多相关的技术社区、论坛、贴吧,有大量教程可以进行傻瓜式学习,甚至还有中文版AI换脸软件进行分发。如果还学不会,二手交易平台上也有大量教程与教学售卖,价格非常低廉。
那么,AI换脸用的图像和视频素材从哪来?
这要分成两个部分。首先是普通人的图像与视频素材,最常见的泄露渠道就是社交媒体,会有不法之徒专门收集社交媒体资料,然后进行打包售卖。另一种盗取视频素材的方式,是以某种名义进行视频通话,然后录制,这种往往以公检法部门、银行、防疫等理由要求进行视频通话。由于不涉及钱财往来,被骗者往往不会产生警觉,然后骗子会再用录制的视频进行AI换脸,骗取被害者家人、朋友的钱财,或者用来办理网贷。
还有一种就是明星的素材。上面提到那个恶心人的网红,可能就是用了所谓的“DFL仙丹”进行女明星的AI换脸。所谓“仙丹”,是指利用明星的视频、照片素材,进行符合DFL等软件需求的预训练,最终得到的模型可以免训练,免修图,直接用来换脸替代。一个明星的换脸素材库,往往只需要几十元到几百元不等。
现在如果在二手交易平台搜索“AI仙丹”、“DLF仙丹”等字样,会发现大量正在售卖的数据模型。而购买者想来只有两种,一种是满足自己的猥琐意淫,甚至炮制明星的所谓黑料;另一种就是骗子想要假借明星进行网络诈骗。
无论如何,未经允许对一个人的肖像权、隐私权进行移花接木,都是无法接受的。
怎么防范新型的坑人AI?
目前阶段,新一代的坑人AI,有两种主流手法:AIGC和AI换脸。可以预想到的是,在生成式AI愈发强大的今天,伴随着AI生成视频、生成数字人的能力提升,这种坑人方式还将升级。
不久的未来,可能都不需要换脸+真人。骗子可以直接弄个AI跟你聊,甚至弄个假明星跟你聊天,搭配上声音合成与强大的对话能力。骗子即将做到全自动、全流程、高度智能化的AI诈骗。
到底怎么才能防范与制止新型的AI坑人,保护大众的财产权与隐私权呢?可能至少要从三个方面进行入手:
1.技术防范。在今天,反诈AI也已经发展壮大。各个平台和有关部门都在部署用AI反诈的技术能力,可谓是用魔法打败魔法。但反诈AI的主要逻辑是进行问题信号的识别,继而进行AI智能外呼的主动干预,估计不久之后,我们可能会看到诈骗AI和反诈AI聊上了的奇特新闻。但是面对新型的AI骗局,反诈AI技术还需要进一步升级。比如目前也有转变识别AIGC内容的软件,但受害者应该很少想到主动去识别一下,能想到估计也就不上当了。面向视觉系的AI诈骗,反诈技术还有待提升。
2.平台监管。像AI换脸这种技术,往往是需要一个技术链条来支持的。如果我们能让别有用心的人无法获得软件、数据上的支持,那么AI换脸自然也就无法泛滥。警惕不法分子用AI搞事情,需要几种平台同时下手。首先是AIGC平台要控制内容质量,不能生成擦边球或者明显有不良意图的图片与视频。其次是软件分发平台与论坛、社区,要管控AI换脸、AI脱衣等软件的流通。二手交易和本地生活平台,要禁止分享和售卖AI换脸工具、明星数据仙丹等内容。
3.防范意识。让大家提高反诈意识已经是老生常谈了。但还是想要说一下,咱不是说受害者有罪论。但做一些事,真的有必要吗?很多人出于出于好奇或者其他小心思,想要弄一个明星的换脸视频,一张熟人的换脸照片,这往往就是恶行的开始,同时也给更大的犯罪提供了土壤。GHS的心理,侮辱他人的心理,盲目追星的心理,如果都淡一点,事情就会好一点。
总之,AI不坑人,但人类会用一切办法坑人。
行走人间,小心为上。