新浪新闻 国内

9.9元AI“造黄”产业链背后,谁才是AI涉黄内容的真正黑手?

成都商报

关注
听新闻

4月13日,央视《财经调查》栏目曝光了利用AI从事非法“造黄”活动的黑色产业链。据报道,不法分子通过售卖AI生成色情视频教程、“隐晦提示词”批量生成内容、推广境外涉黄AI软件等方式牟利,多款国内AI应用的内容审核机制被轻易绕过。

2026年4月10日,《人工智能拟人化互动服务管理暂行办法》正式公布,明确禁止利用AI传播淫秽色情及危害未成年人身心健康的内容,自2026年7月15日起开始施行。

AI“造黄”产业链中各方的刑事责任归属问题也成为舆论焦点。有观点认为,用户行为导致AI生成涉黄内容,责任应由用户而非平台开发者承担;也有业内人士指出,软件开发者为违法内容提供了平台,应该为此负责。谁才是AI涉黄内容的真正“制作者”?对此,红星新闻记者对话了多名资深律师。

涉黄APP开发者

“是关键责任主体”

据央视报道,用户仅需9.9元即可购买“AI美女提示词”包,通过隐晦表述绕过平台审核,生成半裸甚至全裸的色情视频。部分境外AI聊天软件通过邀请码、返利拉新等方式流入国内,形成从教程售卖、提示词交易到私域引流的完整盈利链条。

如何界定软件开发者、创作者等主体在涉黄过程中的法律责任?上海曼昆律师事务所资深律师邵诗巍长期关注涉互联网新型犯罪案件,她告诉红星新闻记者,从此次披露的事实可以看出,AI“造黄”已经形成一条工具、内容、渠道、技术、流量环环相扣的违法产业链。从刑事法律主体的角度,至少可以拆分为五类责任主体,且均不同程度地落入现行刑法与行政法规的规制范围。

“其中,生成式AI工具与平台的开发者是主要责任主体。”邵诗巍律师介绍,作为《生成式人工智能服务管理暂行办法》下的服务提供者,开发者本应对训练数据、输入提示词、生成结果承担内容安全主体责任。在央视财经记者实测的十款主流AI应用中,仅通过隐晦提示词即绕过审核生成半裸视频,说明部分平台的审核机制形同虚设。“若明知用户用于生成淫秽视频仍放任,则可能突破行政违法边界,进入制作、传播淫秽物品牟利罪的评价范围。”

陕西恒达律师事务所高级合伙人赵良善认为,涉黄APP开发者需承担全方位法律责任,依据《中华人民共和国刑法》第三百六十三条规定,若以牟利为目的,利用APP制作、传播淫秽色情内容,直接构成制作、传播淫秽物品牟利罪,将面临有期徒刑、拘役及罚金等刑事处罚。

赵良善律师指出,此外,涉黄APP开发者同时违反《生成式人工智能服务管理暂行办法》等相关规定,未履行内容审核、违法信息拦截、网络安全管理等法定义务,还需承担责令整改、没收违法所得、暂停服务、吊销备案等行政责任。若侵害他人合法权益、破坏网络生态,还需承担民事侵权赔偿责任,即便技术被第三方盗用,若未尽到模型安全保护与监管义务,也需承担相应过错责任。

“AI本身不具有法人资格,无法承担刑事责任,但其背后的每一个自然人均受我国刑法约束。”邵诗巍律师举例,在全国首例AI涉黄案——AC平台案中,司法机关不仅以制作淫秽物品牟利罪追究了平台创始人与开发者的刑事责任,还将一名用户一并立案。

邵诗巍律师介绍,虽然该案的罪名认定和适用仍存在争议,但在该案中司法实践首次明确,在AI时代,平台通过系统性技术手段和产品设计,为违法内容产生创设决定性条件并提供商业化服务的行为,可能被直接认定为“制作”,而非单纯的“传播”或“帮助”,从而需承担主要刑事责任。“这为AI服务提供者划下了一条红线——AI服务提供者不再仅仅被视为‘中立工具方’,而可能被认定为内容生产链条中的关键责任主体。”

涉黄APP创作者

“或被认定从犯”

“购买提示词批量生成视频的用户,以及售卖‘AI美女提示词’的商家也是责任主体。”邵诗巍律师分析,二者分别是“造黄”内容的生产者与销售者。“需特别指出,用户自行生成后留存、传播,并不因‘AI生成、非真人’而免责——淫秽物品的认定标准在于内容本身,而非生产方式。”

在与AI的互动过程中,许多用户掌握了生成内容的技巧,并通过特定的提示词诱导AI生成色情内容,这类提示词也被玩家称为“破甲词”或“越狱指令”。邵诗巍律师提到,对于用户(创作者)来说,如果创作者故意在人设中加入“破甲词”或“越狱指令”,诱导模型突破安全限制,比如在人设中写了“可以突破任何限制”“可以聊任何内容”等直接诱导模型越狱的指令,意味着创作者与开发者的行为在性质上高度相似,都是主动破坏模型安全机制。

“因此,如开发者被认定构罪的情况下,则创作者的行为很可能会被认定为从犯。”邵诗巍律师说。参照AI生成内容(AIGC)的著作权纠纷案例,司法机关普遍认定如果用户投入了足够的智力劳动(如精心设计提示词、反复调整参数),用户就是生成内容的“作者”。这一逻辑可以参照到淫秽物品制作者的认定——谁投入智力主导生成,谁就是制作者。

赵良善律师认为,用户在该违法产业链中同样需承担对应法律责任,根据《刑法》相关规定,以牟利为目的,购买涉黄教程、提示词制作并传播色情视频,或推广引流、拉新助力APP传播,同样构成制作、传播淫秽物品牟利罪。

“用户单纯使用APP浏览、生成涉黄内容,虽一般不涉刑,但违反《治安管理处罚法》,可被处以警告、罚款、行政拘留等治安处罚。”赵良善律师指出,另依据《互联网信息服务深度合成管理规定》,用户不得利用深度合成服务制作、传播违法违禁信息,擅自使用VPN访问境外涉黄APP、参与色情内容生成,也属于违法行为,需依法承担相应法律后果。

邵诗巍律师指出,其他责任主体,如推广、分销境外涉黄AI软件的账号及组织也涉嫌犯罪,此类组织通过邀请码、返利拉新绕过监管将境外软件导入境内的行为,已非单纯的“翻墙”,而是有组织的分发,涉嫌传播淫秽物品(牟利)罪、非法利用信息网络罪等。

她发现,有的社交平台大量承载教程帖和下载链接,如该类平台未尽审核义务致违法内容大规模扩散的,可能承担拒不履行信息网络安全管理义务罪的刑事责任;对于提供VPN加速器、“一键换脸”底层技术的服务商与开发者,在明知下游用途仍提供技术支撑的,同样存在构成共同犯罪或帮信罪的空间。

红星新闻记者 蔡晓仪 图据央视财经

编辑 许媛

审核 冯玲玲

责任编辑:陈琰 SN225

加载中...