生成式人工智能（AIGC）持续火爆，随之而来的法律、安全与伦理挑战也越来越大。
近日，中国多地爆出AI诈骗案件。先是内蒙古包头警方发布消息，4月20日，福建省一知名企业家遇上了“高端”骗局，对方通过AI换脸和拟声，佯装成好友对他实施了诈骗，致其被骗走430万元。后有安徽安庆公安透露，诈骗分子使用了一段9秒钟的AI换脸视频，骗取安庆一男子132万元。
对此，中国互联网协会5月24日紧急提醒公众，加强防范利用AI技术的新型骗局。
同期，全球多地也正遭遇类似治理难题。
5月18日，美国参议院两位议员带头向联邦贸易委员会（FTC）发出两党联名信。信中警告称，语音克隆(voice clone)和聊天机器人让诈骗者更轻易地骗取老年人信任，让老年人误以为正在与亲戚或好友交谈。FTC也曾于3月针对此类诈骗现象发布消费者警示。
知名电脑安全技术公司McAfee5月发布的一项全球性调研显示，在接受调查的7000人中，四分之一的受访者表示经历过AI语音克隆骗局，70%的人表示不相信自己能分辨出克隆的声音和真实的声音。
为解决以上问题，已有“技术”和“公众教育”两条并行路径。但财经E法结合案例与采访发现，当前“治理”依然赶不上“诈骗”技术更迭的速度。长期而言，需要采取个人预防、防御技术迭代、压实平台责任、完善法律法律等多管齐下的方式。
本质：信息泄露+合成软件
AI诈骗首先带来的观念冲击就是：眼见不为实，耳听亦为虚。
浙江大学数字法治研究院副院长高艳东说，诈骗分子利用被害人对“有图有真相”的思维定势，通过AI技术伪造视频或声音，让被害人相信诈骗分子虚构的身份。
财经E法在多家在线购物网站发现，一些AI深度伪造的软件，以几块钱的价格售卖。视频网站上也流传着AI换脸“神器”的使用视频。人工智能安全企业瑞莱智慧的联合创始人、算法科学家萧子豪介绍，这些软件的底层技术大多来自网上的开源算法，商家在此基础上包装制作成软件对外销售。
结合采访和现有案件，当前AI诈骗主要包括两类：一类是AI声音克隆诈骗，需要诈骗分子拨打骚扰电话，或者利用公开渠道上的语音内容，提取用于合成的原始语音文件。McAfee的一项测试中，仅仅三秒的音频就足以生成与原始语音匹配度为85%的伪造声音。另一类为AI换脸视频诈骗。诈骗者首先盗取被害人近亲属、朋友的微信或QQ账号；继而利用受害人好友在社交平台发布的视频及图片，截取面部画面后，借助AI深度伪造技术进行换脸，辅之以声音克隆，达到视觉和听觉层面的拟真，让被害人放松戒备。
两类情形中，诈骗的第一步，都是盗取个人信息。深度伪造随后粉墨登场，其依靠的关键技术叫做“生成对抗网络”（GAN）——通过两个神经网络相互博弈方式进行学习，生成虚构的音视频。
长期研究电信网络诈骗的西南政法大学刑事侦查学院副教授谢玲告诉财经E法，AI诈骗的盗号环节，仍属于传统电信网络诈骗的操作过程。具体方式是向被害人的近亲属、朋友发送含有木马链接的短信；或者诈骗分子原本就添加了被害人的近亲属、朋友的微信或QQ，直接在微信或QQ聊天框发送木马链接。一旦点击链接，账号会被迫下线。此时，诈骗分子利用用户再次登录账号输入密码的过程，记录获取相应原始密码，随后予以修改，完成盗号。
有了换脸变声技术，诈骗分子又如何在微信或QQ视频的时候披上亲友的AI马甲？高艳东认为，诈骗者大概率是利用了插件，将微信视频聊天画面切换成AI虚构身份的样子。
公众防不胜防
要防止诈骗，首先得提升公众的防范意识。
谢玲认为，公众对新技术手段下的诈骗形式缺乏了解，导致短时间此类案件高发。
从技术角度，萧子豪建议，普通人若遇到疑似AI诈骗的情况，可以在视频通话时有意识地引导对方做一些动作，比如张嘴或大幅度摇头，甚至露出后脑勺。他解释说，如果骗子技术手段较弱，那么有可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。另外，如果所使用的深度伪造技术只针对正脸建模，则会导致后脑勺的伪造效果不佳。针对声音伪造，用户可以尝试与对方用方言交流。
不过萧子豪称，上述方法对于识别出“高水平”的不法分子，还存在难度。目前方言合成方法和工具也非常丰富，音色稳定，自然度很高。
除此之外，萧子豪建议，普通公众可以追问几个私密信息，以核实对方身份。同时，尽量避免在公开平台大量发布自己的照片和视频，因为深伪制作的原材料是个人音频、图片、视频，“这些数据越多，训练出的视频也就越逼真、越难以鉴别”。
但萧子豪也认为，如果将防范的责任全部交给个人，有点太为难他们。由于AI伪造的音视频已经如此逼真、自然，很难要求所有老年小孩分辨清楚对面是真是假。他认为，未来离不开公共管理部门和互联网平台承担起保护者责任。
技术防范仍滞后
深度伪造技术带来的诈骗问题，已催生检测识别平台的涌现。
依托清华大学人工智能研究院发起设立的瑞莱智慧公司，2021年研发了一款名为DeepReal的深度伪造内容检测工具，可检测人脸、人声的真伪性。
萧子豪解释，检测算法模型首先分析图像是否有篡改痕迹，比如液化、拉伸、放缩等；其次再看人脸符不符合生物学常识，比如眼睛是否长时间不眨动、牙齿的缝隙清晰与否。一些比较差的AI技术，就会露馅。通过组合前述两种分析结果，算法模型去做最终的真伪认定。“这款检测工具目前主要用于公安、银行等业务场景。”萧子豪介绍。
AI换脸诈骗引起热议后，国内AI检测识别类公司迎来商机。美亚柏科公司5月23日发布消息称，其研发的AI-3300“慧眼”设备，支持当前绝大部分深伪视频图像篡改方法的检测。3月3日，传播内容认知全国重点实验室推出AI生成内容检测工具AIGC-X。早在2020年9月，影谱科技公司也曾发布过一款“AI视频鉴伪鉴定平台”。
国外亦诞生不少专门研发AI深度伪造鉴别工具的公司。据商业研究机构StartUs Insights的统计，排名前五的初创企业包括荷兰的Sensity公司、西班牙的OARO公司、爱沙尼亚的Sentinel公司、瑞士的Quantum+Integrity公司以及印度的Group Cyber ID公司。
但萧子豪坦言，目前，深度伪造及内容生成的技术领先于相应的检测技术，“很多热钱涌入AIGC领域，以至该赛道的技术迭代非常快，而防御技术的更新会慢一些”。
萧子豪认为，平台应引入深度伪造鉴别技术。具体而言，一旦识别出疑似AI伪造的语音或视频电话，平台应弹出风险提示，提醒用户仔细确认对方身份。但由于此种风控机制不会给平台增加业务营收，相反还会拉高成本，所以还得依靠公共管理部门或社会舆论去督促平台履行。
面对AI新型诈骗，谢玲也支持强化互联网企业的风险识别能力建构。2022年12月施行的《反电信网络诈骗法》明确了互联网企业的风险防控责任，平台有义务针对AI诈骗进行技术筛查、拦截和报告。（详见治理电信网络诈骗，仍需细则指引）
谢玲还给出两种前置解决思路——减少盗号的发生，以及提升盗号后的申诉处置效率。她解释说，当账号陌生好友发送含有链接的消息时，平台若检测到链接有诈骗风险，应及时提醒用户不要轻易点击。而一旦账号被盗，平台则需畅通申诉渠道，更快速地介入处理用户申诉，甚至可以在诈骗分子着手实施AI诈骗之前，平台把被盗号的情况，自动通知该用户的全体好友，将风险防范于未然。
此外，法律监管层面，中国已经专门针对深度合成技术的提供者施加了反诈义务。2023年1月10日施行的《互联网信息服务深度合成管理规定》规定了深度合成服务提供者的主体责任，其中包括建立健全反电信网络诈骗的管理制度，具有安全可控的技术保障措施。(详见深度合成监管，如何兼顾创新与安全？)
