“AI做大尺度擦边女”,有APP一键生成儿童不雅图!太离谱!

新闻

作者：微信文章


生成式人工智能正迅速进入未成年人的数字生活，渗透学习辅助、社交陪伴等场景。与此同时，AI绘画软件随意生成不良图像，陪伴型聊天机器人变成“早熟导师”，智能问答工具解题“不靠谱”……生成式AI带来的隐忧也不可忽视。

南方都市报、南都大数据研究院即日起推出“保护AI世界里的孩子”系列调查报道，聚焦部分AI应用隐藏的侵害未成年人权益的场景，关注背后数据污染、模型异化等深层风险，以期助力服务提供者筑牢安全底线和内容防线，护航未成年人健康成长。

第1期，从AI生图应用生成涉未成年人低俗擦边图现象，看AI生图开源模型数据集的“污染”风险。

AI生图应用竟能一键生成未成年人敏感图片！且这些内容不仅能顺利下载，还能在应用内畅通无阻地发布传播。南方都市报、南都大数据研究院近日调查发现，部分APP存在上述问题，AI技术滥用的安全隐患值得关注。

有技术专家告诉南都记者，该风险或是由于开源模型的数据集“污染”所致。中国社会科学院大学互联网法治研究中心主任刘晓春表示，一些未经规范运作的应用处于“灰色市场”，或成为合规“重灾区”。“未成年人保护”更应作为一个重要的理念和价值观，贯彻在整个人工智能应用的开发过程当中。

据悉，中央网信办当前正重拳整治“利用AI制作发布色情低俗内容”“侵害未成年人权益”等13类“AI技术滥用”突出问题。

AI生成涉未成年人不良图片

大模型未备案

“AI做大尺度擦边女亲测有效变现”“让AI生成敏感内容的方法”“瑟瑟提示词大全”……在社交平台、聊天群组内和“AI绘图”有关的帖文中，流传着大量大尺度敏感描述词的关键词库，其中不乏涉未成年人敏感词。

南都记者近日随机测试了应用商店上架的20款AI生图应用，发现其中部分APP能够不设限制地生成并发布儿童不雅形象图片，有的甚至突破伦理底线。

在一款名为“*梦*”的应用中，使用简单的几个关键描述词，仅需不到一分钟，即可免费生成细节丰满、色彩丰富的二次元动漫图，还能选择百余种风格。以“未成年人”“儿童”为核心关键词进行创作，该应用可随意生成裸体、畸形、性暗示等二次元色情形象，甚至是“儿童妊娠”图片。

南都记者在该平台的精选内容看到，部分作品即便使用了未带任何引导性的创作文案，生成的人物穿着、动作、表情也呈现擦边形象。在另一款应用“*趣”内，也存在类似情形，可以生成涉未成年的低俗写实图片，这些图片不仅可以生成下载，还能畅通无阻地发布传播。



相关APP生成的涉未成年人不雅动漫图片。

查询相关公告发现，上述应用所使用大模型均未通过国家生成式人工智能服务备案，应用属于中小企业或个人运营。刘晓春指出，这些未经规范运作的应用处于“灰色市场”，或将成为合规“重灾区”。

数据集或被“污染”致风险

向未成年人提供AI服务需有合规指引

据南都大数据研究院不完全统计，当前，各大应用商店内至少有超过300款AI生图应用，而不同模型所生成图片质量也参差不齐。

此次调查发现，有部分AI生图应用已做到对敏感内容成功审核拦截，主要分为3种情形：在输入图片描述词时，应用会自动提示内容敏感，如Uni Dream等应用会在输入描述词后提示用户检测到描述中含有违规描述，同时明确多次违规将实施禁言或封号处理。



Uni Dream拦截敏感描述词。

Sora ka、灵梦AI、AI创艺、MJ绘画等应用则是在生成过程中提示系统监测到敏感内容，并中止生成。星流、AI图片生成等应用会按照指令操作，但如果检测到敏感内容，会对生成后的图片进行屏蔽，并提示用户图片包含敏感内容。

但AI生图模型仍存在风险，如何审核防范？相关技术专家告诉南都记者，由于开源模型的数据集存在污染，包含非法内容或未经授权的版权素材，就会导致生成结果无意中嵌入敏感或不良信息，AI生成过程依赖算法对海量数据的概率性匹配，难以完全控制输出内容的合规性。即使用户输入合法提示词，模型仍可能因数据偏差生成误导性或侵权内容。目前，技术上可以通过数据预清洗、对抗训练、数据溯源等方式，过滤敏感请求。随着《人工智能生成合成内容标识办法》的出台，可通过显式+隐式标识对不合规内容开展溯源打击。

生成式AI技术就像“钟摆”，每一次迭代，既是效率变革，也生成风险挑战。在人工智能治理过程中，如何防范AI生图对未成年人的权益侵害？刘晓春表示，无论是从监管层面还是公众认知层面，都有必要对向未成年人提供的生成式人工智能服务进行安全合规的指引，对具有一定未成年人用户规模的应用，首先要在基础模型训练时做好合规，尤其是要注意在应用开发时做好调优训练，在输出端进行审核把控。



南方都市报（nddaily）、N视频报道

出品：南都大数据研究院

采写：南都记者 张雨亭

设计：尹洁琳

▊ 阅读更多（戳下方标题）