不久前，某公众号运营者钟某为蹭“海啸预警”热点，利用AI生成“30万居民撤离上海”“数十万上海市民正排队登车”等耸人听闻的言论。这条假消息被大量阅读、转发，引发恐慌情绪。其后，钟某被警方拘留。
AI的广泛应用，为虚假信息的批量生产和病毒式传播提供了“温床”，给社会治理带来挑战。
9月15日，《人工智能安全治理框架》2.0版正式发布。中央网信办负责人表示，要强化规范引导，不断完善人工智能安全监管制度和标准规范体系，促进人工智能健康有序发展。
利用AI造谣日渐频繁
今年3月，福建厦门公安机关发现，网上有信息称：“2025年3月3日，厦门市某化工厂发生一起严重的闪爆事故，造成3人死亡、3人受伤……”公安机关调查发现，这是发布者许某通过网上AI助手软件生成的虚假文章。公安机关对许某予以行政处罚。
人工智能时代，利用AI造谣日渐频繁。公安部曾发布多起典型案例。如，湖南公安机关查处编造“民警离职潮”谣言案，江西公安机关查处MCN机构使用人工智能工具造谣案，重庆公安机关查处使用人工智能工具编造“爆炸事故”谣言案，广东公安机关查处编造“广州限制外卖配送”谣言案。相关人员均被绳之以法。
清华大学新闻与传播学院新媒体研究中心2024年发布的《揭秘AI谣言:传播路径与治理策略全解析》研究报告指出，2023年以来，伴随AIGC技术的高速发展，一些造谣者不当利用AI工具，使得AI谣言量高速增长。
报告指出，在各类AI谣言信息量占比中，经济与企业类谣言和公共安全类谣言占比最多、增速最快，其中餐饮外卖、快递配送等民生行业成为谣言重灾区。
记者调查发现，人工智能技术让网络谣言内容更为逼真，常配有伪造的图片、视频甚至所谓“官方回应”，极具迷惑性。
中国（深圳）综合开发研究院院长助理、数字经济与全球战略研究所所长曹钟雄等业内人士认为，AI不仅能高效生成虚假信息，而且可以通过过滤、推荐机制，将虚假信息聚合形成“证据链”，给普通用户乃至专业人士造成误导。
流量变现驱动商业化黑产
不久前，某著名食品公司向安徽省合肥市公安局经开分局报案称，多个网络平台上集中出现大量虚假、带有诱导性的负面文章，恶意攻击公司品牌及产品品质。公安机关立案调查，民警在多个平台发现关于该品牌“二氧化硫残留”“霉变”等内容的文章200余篇，且内容高度雷同。
经公安机关核实，上述内容均为虚假信息。信息发布者陈某被行政拘留。陈某交代，今年8月，他在网上看到该公司相关信息后，想到知名企业涉及食品安全问题，容易引发公众关注。为博取流量，他使用AI工具编造内容，生成多篇虚假负面文章，在多个平台集中发布。
业内专家指出，传统谣言生产依赖造谣者人工操作。如今，造谣者使用AI工具，只要输入特定关键词或指令，便可快速生成内容逼真、欺骗性强的谣言，从而实现谣言的大规模、高效率生产。
去年3月，江西公安机关查处一起MCN机构使用人工智能工具造谣案。经查，王某某经营有5家MCN机构，共运营自媒体账号842个，长期组织公司人员选取热点文章，使用AI工具批量生成不实文章进行吸粉引流。
“他平均每天通过AI工具发布4000到7000条信息，最高的一条收入是700元。经初步估算，每天收入在1万元以上。”办案民警说。
记者发现，多起AI造谣事件背后，不法者的造谣动机主要源于牟取互联网内容平台给予创作者的奖励，以及为电商平台经营引流等；一些造谣者还可以从广告收入、合同推广、直播带货或其他相关的商业活动中获益。
一名长期从事自媒体工作的博主对记者说：“以某大型内容生产平台为例，收益计算公式可以简化为‘有效播放量×互动系数×千次播放单价’。平台会对点击量高、互动性强的原创性内容给予更多收益分成。如果整体权重较高，一篇阅读或播放100万次的稿件，收益可超过1000元。”
此外，不正当商业竞争也进一步催生了AI谣言黑色产业链。一位头部消费电子企业法务相关负责人透露，“金主”企业放出任务信号后，公关公司会找来一批自媒体运营者、KOL（关键意见领袖），利用AI技术生成虚假信息，大批量、高频次在社交媒体、网络平台等释放抹黑竞争对手的内容；此后还有营销公司及流量商加入，进一步扩散传播谣言。
造谣一张嘴，辟谣跑断腿。不少受访企业表示，辟谣工作给公司带来了繁重的负担，需要耗费大量人力、精力去做解释工作，以消除不利影响。
中国政法大学刑事司法学院教授于冲等法律专家指出，目前AI造谣已经形成商业化运作黑色产业链，一些造谣者以吸引流量变现牟取经济利益为目的。相关行业企业在应对AI谣言中面临维权难、舆论修复难等挑战。
全链条治理封住AI“黑嘴”
近期，公安部组织全国公安机关持续开展打击整治网络谣言工作，及时发现查处借热点舆情事件进行造谣传谣线索，重拳打击编造传播涉企业、涉民生、涉警情等领域网络谣言违法犯罪活动。
今年7月，中央网信办在全国范围内启动为期2个月的“清朗·整治‘自媒体’发布不实信息”专项行动，重点整治的突出问题包括“利用人工智能生成合成技术，仿冒他人，或编造社会民生等领域虚假信息，欺骗公众”。
面对AI谣言治理中的取证难、定性难、追责难等问题，单一治理手段已力有不逮。多位受访业内人士建议，遏制“AI谣言”需要多方协同发力，构建全链条治理体系。
中国社会科学院大学互联网法治研究中心执行主任刘晓春说，新媒体平台应加强对AI造谣和“水军”行为的智能识别机制研究，进一步改革涉及AI内容的流量分发和收益分成机制，最大限度压缩通过AI造谣牟利的空间。
专家指出，平台可通过逆向传播，利用相同渠道传播准确信息，抵消谣言影响；鼓励用户积极举报可疑内容，通过设立奖励机制增加参与度；持续研究谣言生成和传播机制，开发有效监测和防治技术等。
于冲等建议，司法治理也需要“链条化”思维，针对AI造谣链条的前端发布主体、中端采取的技术手段和末端的后果危害，分别进行评价和判断，进行全链条打击和预防。
最高人民法院研究室副主任喻海松等表示，治理涉企AI谣言，仅仅依靠刑法是不够的，要进一步修复社会信任机制，营造自觉抵制谣言的良好环境，同时鼓励AI治理合作，进一步推广AI伦理标准、治理技术和创新国际合作模式。
上海市律师协会理事、上海博和汉商律师事务所执行主任王思维说，人工智能目前仍仅是一种技术手段，而非可承担法律责任的独立主体。对AI技术滥用行为的治理，应当坚持防惩并重原则，在确保科技创新积极性、AI技术合法合规使用的情况下，避免过度监管。
受访律师提示，无论是个人还是企业，都应该自觉遵守相关法律法规，正确使用AI工具，不造谣、不传谣。一旦利用AI造谣或从事其他违法犯罪活动，将受到法律的严惩。
（新华社北京9月16日电）