“深度伪造”名人声音带货、诈骗 AI技术应用“玩过界”如何治

中国消费者报报道（记者吴博峰）近期，包括全红婵在内多位奥运冠军的声音被AI克隆，用到短视频平台冒充本人带货农产品，不少消费者因此误信下单，引起社会广泛热议。随着AI合成技术的普及，声音和形象被AI合成滥用的情况正变得越来越多，对人们在网上购物或者了解相关咨询带来干扰。怎样才能守住安全底线？《中国消费者报》记者对此展开了调查。

技术滥用催生乱象

当AI技术能完美复刻他人声音，侵权行为便随之泛滥。在网络上，知名演员的“声音”24小时不间断在直播间与粉丝互动吸引打赏；多位配音演员发现多家公司在未经授权的情况下盗用其克隆声音，用作企业宣传视频配音……配音演员武扬反映：“有一个牛肉火锅店使用了我的声音为宣传片配音，但是相关的配音并非我本人录制，对方也承认是以合作公司的一个干音（纯配音）用AI训练后生成的一个新的视频。”

在AI技术给人们带来新奇娱乐体验的同时，也可能被不法分子滥用，沦为实施精准诈骗的技术赋能工具。今年1月，微信平台发布公告显示，一个月内，就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容，关闭了3281个相关账号。

北京互联网法院近日审结一起涉AI深度伪造名人声音带货的人格权侵权纠纷案件。法院认定AI合成声音具备可识别性即可落入权利人声音权益的保护范围，未经权利人许可的使用构成侵权，商家委托平台“达人”共同以推介商品为目的发布带货视频、获取相应收益，未尽到合理的审查注意义务。法院判决商家赔礼道歉并赔偿损失。

资深人工智能专家郭涛在接受《中国消费者报》记者采访时表示，该现象的本质是人工智能技术红利与伦理风险失衡的典型表征。AI生成内容的高仿真性已突破传统伪造的技术壁垒，使公众陷入“眼见未必为实”的认知困境，直接冲击社会信任体系。其危害不仅在于侵犯名人肖像权、声音权等人格权并进行商业化盗用，更在于通过算法推荐机制形成恶性传播链条，滋生虚假营销、网络诈骗等衍生犯罪。

工业和信息化部信息通信经济专家委员会委员、国内知名数字经济学者刘兴亮在接受《中国消费者报》记者采访时表示：“作为一项新技术，AI合成技术在业内统称为深度伪造，本身并无价值倾向，其图像/音视频生成能力可用于数字人主播、虚拟教学等合规场景。从技术角度而言，这项新技术并不分好坏，只是人们常用的工具。但随着这项技术普遍化，也可能被滥用于伪造信息、网络诈骗等违法行为。当前公众需区分两类使用动机——普通用户的技术尝鲜应遵循相关规则，而有的人是违反了公序良知甚至突破法律红线的恶意使用。”

与时俱进优化监管

流畅的视频画面、惟妙惟肖的神态、相同的说话语气，如果没有人主动告知，你能否分辨出是真人还是由AI生成的数字人？今年年初，一条关于张伯礼院士为某美白护肤品进行宣传的带货视频在互联网平台传播。经核实后发现，该视频是由AI伪造合成的。除此之外，张文宏、雷军等多位公众人物被不法分子靠AI技术合成声音、视频来虚假宣传商品。

在AI技术深度融入日常生活的今天，当技术的进步已模糊了真实与虚拟的边界，如何通过更有力的监管保障人们的合法权益，是一个值得思考的重要问题。

9月2日，抖音电商安全与信任中心发布了“关于加强治理AI内容滥用的公告”，称少数商家和“达人”存在滥用或误用AI技术的情况，甚至借助AI生成误导内容，损害消费者合法经济权益，扰乱平台正常交易秩序。平台已对违规视频和账号采取下架、清退等措施，并表示AI应用必须合规，任何误用、滥用行为将被严厉打击。

记者了解到，早在几年前，多家视频平台便提出了发布人工智能生成内容时，需添加“内容由AI生成”标识的要求。但随着AI技术的深入发展，有不少免费的AI软件配置了镜像文件功能，能一键生成虚拟人像，从而规避平台的监测。

上海杉达学院数字商法研究中心研究员唐树源在接受《中国消费者报》记者采访时表示，AI内容监测与规避的技术对抗已形成螺旋式升级态势。当前平台主要依赖数字水印、内容特征分析等传统技术识别AI生成内容，但生成式AI通过对抗样本训练、模型蒸馏等手段，可快速突破监测防线。破解困局需推动技术标准升级，如开发基于区块链的不可篡改标识系统，同时建立跨平台联防联控机制，形成从生成到传播的全链条技术治理生态。

刘兴亮认为，各个平台对于AI内容监测的执行宽松度不一致，过去的标注是显式标识，比如展现视频是由AI生成或数字人出镜的，但显式标注容易被人篡改、裁剪等。因此，加强对隐式标识的管理尤为关键，可对包括数字剪映、原数据等表面上看不到的信息予以常态化监管，从而起到保障消费者合法权益、遏制违法犯罪的效果。

生成内容强制“打标”

“作者提示：内容为AI技术制作，虚构内容请谨慎甄别。”近期，有些消费者在刷短视频时发现，不少短视频下面都多了这样一行小字。

9月1日，由国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合制定的《人工智能生成合成内容标识办法》（以下简称《办法》）正式施行。《办法》要求，人工智能生成合成内容标识分为显式标识和隐式标识两种形式。显式标识需以文字、声音、图形等方式明显呈现，隐式标识则通过技术措施嵌入文件数据中。

《办法》要求AI合成内容在适当位置添加显式标识。记者截图

在此背景下，多家短视频平台纷纷响应，相关用户协议已修改升级，将严打对AI生成技术的滥用行为。其中，快手平台已上线AI内容标识，会在AI生成的内容中添加“AI生成”显式标识以及嵌入文件元数据中的隐式标识。如果用户上传的内容明确由AI生成或疑似由AI生成，平台会在内容周边进行显著提示。

微信、小红书等社交媒体平台也更新了用户协议，要求内容发布者以显著方式主动标识AI生成内容。对于不主动标识AI生成内容的行为，部分平台表示会采取限流、下架、封号等措施。

记者观察到，在《办法》实施后，市场上有观点认为，只要按规定添加“AI技术制作”标识便可不受限制地随意发布视频内容。针对这一观点，刘兴亮表示，视频内容标识制度的核心价值在于建立透明可追溯的创作生态。通过强制标注AI生成工具来源，既帮助消费者识别内容性质，又能追溯技术路径。但需特别强调，这种标识是技术中立的记录手段，创作者仍需对内容合法性负责——标注AI生成信息不能成为传播虚假内容、侵犯隐私等违法违规行为的免责理由。

来源：中国消费者报•中国消费网