11 月 11 日，法治日报报道，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案。曾是国内游戏大厂 AI 领域核心程序员的郑某等六人，把 AI 模型改造成专门输出淫秽内容的工具，被法院认定构成制作淫秽物品牟利罪，分别获刑。
法院查明，郑某 2024 年 7 月接触境外一款 AI 色情聊天机器人后，与同事谢某及网友闫某等六人组建研发团队。他们改写系统提示词、设定角色卡实现模型越狱，突破了大模型内置的色情内容安全限制。2025 年 1 月，相关生成式 AI 模型在境外平台上线并接入多种充值渠道，用户付费后可生成色情文本与淫秽图片。2025 年 7 月公安机关立案侦查，同年 9 月六名被告人全部归案。
运营期间，涉案模型按用户需求共生成静态图片 37 万余张、动态图片 6000 余张，收取充值金额 2.4 万美元，折合人民币 17 万余元。经抽样，12500 张静态图片与全量动态图片中，9000 多张静态、5000 多张动态被认定为淫秽物品。余姚市法院以制作淫秽物品牟利罪，判处郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后当事人均未上诉，判决已生效。
本案核心争议在于，用技术手段突破模型安全限制输出淫秽内容，是否属于制作淫秽物品。承办法官诸张琳指出，用户虽可输入指令，但其行为被限定在被告人搭建的技术框架内，被告对内容输出有实质控制，二者存在刑法上的直接因果关系。法院强调，技术中立不是违法犯罪的挡箭牌，不能因内容由 AI 输出就否定开发者的制作者身份，对 AI 一键批量产出的数量虚高，量刑时应合理限缩，做到罪责刑相适应。