快捷导航 
时间：2024-03-19 02:04:55来源：界面新闻
你的上司给你发来视频会议，会议中还有多名财务人员在场。会议中，上司表示要进行机密交易，要求你向某个银行户口转账。会议中的高管面容、声音均与真人一致，你会心生疑虑吗？
这是今年年初某跨国公司香港分行职员真实经历的视频骗局。据已披露的信息显示，诈骗者通过公司的YouTube视频和从其他公开渠道获取的媒体资料，成功地仿造了英国公司高层管理人员的形象和声音，再利用Deepfake（深度伪造）技术制作伪冒视频，造成多人参与视频会议的效果，然而会议内只有参加的职员一人为“真人”。
由于会议中诈骗者是以上司身份向遭骗职员下达命令，职员也没有机会与会议参与者进行交流。该职员仅仅遭要求做一次简短的自我介绍，随后诈骗者便结束会议，在即时通讯软件上继续下达命令。
受骗职员前后转账15次，合计共2亿港元到5个银行户口，其后向总部查询才得知受骗。因涉案金额巨大，该案也成为香港历史上损失最惨重的“变脸”案例。
随着生成式人工智能技术的发展，通过AI技术换脸换声的方式来模拟出另一个人的真实外观已不再困难。这一技术遭称作“深度伪造”，即借助神经网络技术进行大样本学习，以机器学习模型将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。
界面新闻记者从某些技术开源社区上以“GAN”等关键词检索，可轻易得到深度合成相关的技术开源项目。目前在国内主流电商平台已经对“AI换脸”关键词进行了屏蔽，但是在部分社交平台上，还是能通过关键词检索联系到相关工具的卖家。
技术的发展与普及进一步模糊了真实与虚拟的边界，而这类无法分辨真伪的交界地带则成为了滋生犯罪行为的温床。据长期关注AI安全的瑞莱智慧的不完全统计，AI诈骗案件数量在近年来快速增长，仅2023年一年在全国已发生至少16起。
底层技术已成熟追本溯源来看，深度伪造相关的技术已十分成熟。
2014年，由蒙特利尔大学提出的生成对抗网络（GAN）提高了数据生成的逼真程度，但也大大降低了深度合成的门槛。近年来，除GAN之外，扩散性模型（Diffusion Model）等技术路线也证明了其提升数据生成逼真程度的价值。
在论文预印本网站arXiv.org搜索“GAN”可得到10694篇相关论文；以“GAN”、“NeRf”、“TTS”等深度合成相关关键词在开源社区GitHub进行检索，可得到超12万个开源项目。
开源的氛围加速了技术的交流与突破，但客观上也使得如AI换脸、拟声等技术不再神秘。
界面新闻记者以“AI换脸”为关键词在某视频平台搜索，可以很轻易找到相关教程；同时，据在某社交平台上找到的换脸工具卖家介绍，该工具只需少数照片即可完成视频的一键换脸，而整套工具及教程只需20元。
日渐降低的使用门槛使得深度伪造技术成为诸多违法犯罪行为的工具。2023年4月，百万网红博主“Caro赖赖_”曾发文称有非法分子利用换脸技术制作色情视频，并明码标价获取利润。在小红书等社交平台上，也有多位博主发文称自己曾遭“换脸”至陌生人照片上。
有业内人士告诉界面新闻，因为深度伪造制作的材料是个人音频、图片、视频，这些数据越多，训练出的视频就越逼真，所以社交媒体上相关数据较多的博主、明星容易成为深度伪造的目标。
《民法典》1019条规定，未经肖像权人同意，他人不得制作、使用、公开肖像权人的肖像。在《民法典》1020条中则补充规定，为个人学习、艺术欣赏、课堂教学或者科学研究；为实施新闻报道；国家机关为依法履行职责在必要范围内制作、使用、公开肖像权人的肖像等情况属于肖像合理实施。
天元律师事务所合伙人李昀锴律师解释称，《民法典》中关于肖像权合理实施所给出的空间是很窄的，如在网络上广为流传的使用他人肖像的鬼畜作品，实际上遭鬼畜者享有追责的权利，只是在大多数实践中遭鬼畜者并未追究。他进一步表示，换脸之后直播、发贴，都涉嫌侵犯肖像权，如果将生成内容用于色情暴力内容，则可能会涉及刑事犯罪。
