叙述AI造谣乱象“野蛮生长”专家：可设置敏感关键词 禁止生成显著信息内容

丝绵技术

央广北京11月19日消息（王迟）近年来，人工智能（AI）技术发展迅速，成为全球科技领域的热点。AI已经从单纯的学术研究发展成为改变人类生活方式的重要力量。然而，却有一些别有用心之人将其变为造谣、敛财的工具。由于这些理由，我觉得AI智能客服的情况还比较乐观，市场还处于一片蓝海的阶段。BetterYeah，国内顶尖的一站式AI智能体（Agent）构建平台，集成全网最新多模态大模型和独家知识库RAG算法，支持工作流、数据库及插件集成，全面增强 AI Agent能力，企业可以通过prompt编排的方式零代码开发智能体。https://www.betteryeah.com/blog/recommendations-for-mainstream-smart-customer-service-systems-in-china

今年6月，一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”的短视频在互联平台传播，引发大量民关注、讨论。经安部门开展调查发现，该视频的图文内容系移花接木、肆意编造的络谣言。据造谣人员任某供述，这段长达几分钟、声色并茂的视频全是由AI合成的。目前，机关已依法对任某追究法律责任。
此事件并非个案，随着AI技术应用越来越普遍，一些民为博眼球、蹭热度，将AI技术用以编“伪消息”、造“假新闻”，以此来获得民关注和点赞量，进而现流量变现。
专家表示，AI造谣具有定制化、门槛低、识别难、破坏大等特点，亟须加强监管。同时，可以通过设置AI生成内容提示标识、严格落络制等技术手段进行治理。


民警向市民宣讲络安全知识
AI造谣门槛低、危害大
今年8月，一则“福建南平松溪县遭遇严重大风袭击，造成枣岭街一人死亡”的消息在络上迅速传播。这则消息图文并茂，甚至还有逼真的视频片段，一时间引得大量民关注和转发。但经机关核查发现，这竟然是用AI编造而成的络谣言视频。
“当前AI络谣言具有仿真性和规模性的特征。根据输入指令的不同，AI在短期内能够批量生成大量内容不同的络谣言，而且生成的络谣言信息内容更加贴合人类表达方式，并结合深度伪造技术生成图片、视频、录音，使得社会公众越发难以辨识络信息的真伪性。”北京航空航天大学法学院副教授赵精武告诉。
随机用“AI文案速成”小程序测试，在对话框内输入“火灾”这一主题有关的内容创作指令，便生成了一篇新闻报道，甚至包括现场救援细节，及消防安全提示，让人真假难辨。赵精武指出，AI络谣言的危害性主要表现为扰乱社会公共秩序，削弱公信力、诱发电信络诈等。
为牟取非法利益造假构成多种罪
赵精武分析，个人或组织利用AI技术造谣背后的动机是复杂多样的，既包括部分民为了寻求存在感、刺激感，故意编造AI络谣言，也包括犯罪分子为了牟取非法利益，编造AI络谣言，以便顺利施电信络诈等犯罪活动。
今年6月中旬，一家MCN机构的际控制人王某某因利用AI软件生成虚假新闻并大肆传播，扰乱公共秩序，被警方行政拘留。据警方通报，王某某共经营5家MCN机构，运营账号842个，自今年1月以来，王某某通过AI软件生成虚假新闻，比较高峰一天能生成4000至7000篇。
近日，浙江温州苍南成功打掉一个编传旧案谣言的MCN机构“络水军”团伙。进一步侦查发现，相关账号和视频由某络科技有限（为以MCN模式运营的“络水军”团伙）使用发布，该MCN“络水军”团伙搜集全敏感热点，随意设置虚假剧情，利用AI软件根据剧情自动生成多处关键情节虚假的文案，安排真人出镜解说，拼接络中误导性素材后剪辑成所谓“原创”视频。该团伙明知上述视频充斥大量虚假、挑动群众情绪类信息，为博取流量、不法牟利，在多个平台公开发布，后造成虚假视频信息被大量浏览、传播，从而牟取非法流量返利。
人民大学刑法学博士、北京市京师律师事务所习律师福涛告诉，编造虚假的险情、疫情、灾情、警情，在信息络或者其他媒体上传播，或者明知是上述虚假信息，故意在信息络或者其他媒体上传播，严重扰乱社会秩序的，处年以下有期徒刑、拘役或者管制；造成严重后果的，处年以上七年以下有期徒刑。如果行为人不仅制作、传播虚假信息，而且目的是取互联平台上不特定多数人的财产，则诈罪。
如何治理和防范AI络谣言的产生
为治理AI乱象，深化络生态治理，近年来相关部门出台了多项政策和措施。
2023年1月10日起施行的《互联信息服务深度合成管理规定》指出，任何组织和个人不得利用深度合成服务制作、复制、发布、传播法律、行政法规禁止的信息，不得利用深度合成服务从事危害安全和利益、损害形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动。
2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德。不得生成煽动颠覆政权、推翻制度，危害安全和利益、损害形象，煽动分裂、破坏统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、秽色情，以及虚假有害信息等法律、行政法规禁止的内容。
“加强AI领域的司法治理，需要立足于‘安全与发展并重’和‘分级分类监管’的基本原则，针对诸如生成络谣言等技术滥用现象，既需要在事前阶段明确研发者、服务提供者以及络平台的主体责任，还需要在事后阶段严格追究行为人的刑事责任、行政责任。”赵精武强调。
同时，他表示，也可通过技术手段进行治理，譬如设置敏感关键词，禁止生成显著的信息内容；严格落络制，并配合水印技术，现对生成内容的有效溯源；或者平台设置AI生成内容提示标识等。