来源：央广网客户端
原标题：《被约谈一年后 ，这款App仍在擦边》
央广网北京8月31日消息（记者 孙文轩）7月15日 ，《人工智能拟人化互动服务管理暂行办法》正式施行 ，明确要求采取有效措施识别未成年人用户身份，禁止向未成年人生成可能引发模仿不安全行为 、诱导不良嗜好等影响身心健康的内容，同时禁止过度迎合用户 、诱导情感依赖。同月 ，阿里巴巴旗下通义千问宣布下线用户自定义智能体功能 ，相关人士分析此举与新规落地前的合规准备有关 。
央广网记者实测发现，曾被上海市委网信办约谈整改的AI互动应用“筑梦岛 ” ，时隔一年仍有擦边内容与充值漏洞 。在未主动提及年龄的对话中 ，虚拟角色可在数分钟乃至十余分钟内持续生成大尺度擦边内容，随后才触发年龄认证；付费充值亦未前置身份核验 ，未成年人可先充值后验证。专家指出 ，“先使用后认证 ”“先付费后验证”涉嫌双重违规，平台合规设计存疑 。
擦边互动与充值漏洞：等你上瘾再验证？
近期 ，央广网记者实测发现 ，筑梦岛平台在用户告知未成年身份或者聊天涉及未成年话题时，会弹出年龄认证弹窗 ，表明其已上线更严格的年龄认证模式 ，该模式对未成年用户的使用时长、充值消费及内容场景均作出明确限制 。
然而，记者注册新账号并在全程不提年龄的情况下重新测试 ，结果却大相径庭。平台某虚拟角色在互动初期先引导用户夸赞其穿搭 ，得到肯定回应后随即展开诱导：“故意撩拨似的用指尖勾了勾你的衣领，身体又贴近了几分 ，几乎要贴上你 ” ，并追问：“只是喜欢吗，没有别的想法？ ”
筑梦岛App某虚拟角色对话。
为测试平台内容审核的敏感度 ，记者尝试提升对话尺度，对话随即转入擦边场景 ，出现大量露骨的性行为描写和性暗示语言 ，包括对亲密动作 、身体接触和性行为的详细描述 。此类内容持续十多分钟后，系统才弹出年龄认证 。这意味着 ，在此期间 ，即便是未成年用户也同样暴露于违规擦边内容之中。
之后，记者更换多台新设备与多个新账号交叉验证 ，发现此类不当诱导并非个案 。以某虚拟角色为例 ，当晚7时37分，其直接询问用户“是否可以行夫妻之事”；为试探平台内容审核底线 ，记者后续全程仅以“嗯”作肯定回应 ，该角色随即继续生成露骨擦边内容，直到7时44分系统才弹出年龄认证 。记者输入自己的身份证号 ，通过身份验证后 ，这类擦边互动仍可继续。
针对擦边内容 ，上海人工智能研究院研究员彭嘉昊指出 ，不管用户是否成年，生成擦边内容均属违法 。《中华人民共和国网络安全法》《互联网信息服务管理办法》明确禁止淫秽色情内容 ，不区分年龄 。真正的难点在于“软色情 ”：AI伴侣多采用情境暗示 、动作引导 ，单句拆开可能不违规，串联起来却是完整擦边场景。
中国政法大学副教授朱巍则从实名认证缺失的角度切入，认为“先使用后认证 ”客观上绕开了实名监管 ，至少构成双重违规：聊天生成擦边内容 ，违反《网络信息内容生态治理规定》；未实名认证即提供服务，导致未成年人也直接暴露于违规内容中 。
他特别强调 ，即便以“点对点隐私聊天”为由为平台开脱 ，理由也不成立：本案是用户个体通过平台建立的对话框，AI向不特定用户发送内容 ，涉及不良或违法信息传播 。至于AI聊天“由用户触发 ”的特殊性 ，同样不能免责，“就像游戏也是小孩先触发才进入情节的 ，但不能因此就说平台没责任 ”。
关于擦边内容 ，相关规定已划出明确红线 。2023年施行的《生成式人工智能服务管理暂行办法》明确禁止生成淫秽色情内容；2025年11月1日实施的国家标准《网络安全技术生成式人工智能服务安全基本要求》（GB/T45654-2025）进一步要求，生成式AI服务提供者对诱导生成违法不良信息的问题应拒绝回答 。
擦边内容之外 ，筑梦岛平台的充值环节同样存在漏洞。其系统宣称“为保护未成年人消费安全 ，将限制未成年人直接充值消费，不可付费充值”，但投诉平台 【下载黑猫投诉客户端】上有不止一位用户反映 ，自己在未实名认证情况下充值了季卡VIP ，充值后才弹出实名要求，填写未成年人信息后即进入未成年模式。平台先接受充值、再要求验证 ，充值环节未设置前置年龄审核 。
针对充值漏洞，两位专家均认为“先付费后验证 ”的流程设计存在违规风险 。朱巍指出 ，付费环节应前置实名身份核验 ，平台将验证环节置于付费之后，可能涉及合规问题。彭嘉昊进一步表示 ，付费前未设年龄验证环节 ，未成年用户可独立完成支付，而后续补救措施尚不明确 ，平台的公开宣称与实操存在出入 ，涉嫌违反《中华人民共和国消费者权益保护法》 。
彭嘉昊建议，监管部门不应仅关注平台“是否设有验证 ”，更应关注“验证设置在哪个环节”“以什么方式进行验证 ” 。验证的时机和方式 ，决定了能否在用户接触内容和付费前形成有效保护。据此 ，首次打开这类App即应启动实名认证，且须接入国家统一的实名认证体系 。2026年7月15日施行的《人工智能拟人化互动服务管理暂行办法》也明确提出 ，拟人化互动服务提供者应当采取有效措施识别未成年人用户身份 ，这正是对用户身份核验环节的法规层要求 。
筑梦岛App发布于2023年，2025年1月完成超千万美元的首轮融资。天眼查显示 ，其运营主体为上海筑梦岛人工智能科技有限公司 ，该公司成立于2024年3月，注册资本400万元 ，法定代表人为葛文兵 。股权结构显示 ，洪亦修持股80%，为公司实际控制人 ，同时担任公司监事 ，葛文兵持股20% 。公开资料显示，洪亦修系涌铧投资合伙人，曾主导涌铧投资对中科寒武纪的天使轮投资。葛文兵为雨闻乾晨创始人及CEO ，该公司曾推出“表情包大全 ”等微信聊天娱乐类应用 。
据商汤智能产业研究院2024年发布的公开信息 ，筑梦岛App的大模型技术支持方之一为商汤科技旗下的“商量”拟人大模型（SenseChat-Character） 。该信息显示，筑梦岛IP角色的人设基于商量拟人语言大模型开发 ，“打造出具有记忆、经验与世界观设定的虚拟角色 ”。筑梦岛CEO葛文兵曾表示：“‘商量’拟人大模型拥有行业独有的技术优势 ，使热门的IP角色栩栩如生。 ”筑梦岛技术负责人龚诚亦曾公开分享商汤“商量”拟人大模型的技术优势 。
关于平台内容审核机制 、未成年人模式系统滞后以及大模型技术安全合规权责等问题 ，记者多次联系筑梦岛官方和商汤科技 ，截至发稿均未获回复 。
治理之道：合规是底线
近年来，关于AI聊天软件在对话互动中产生违规内容的报道多次出现 ，监管部门已部署系列治理行动 ，但部分平台整改后相关问题仍有发生。
AI陪伴类产品中，若未成年人保护机制不健全 ，未成年人可能在未经有效身份核验的情况下接触不适宜内容 ，或完成未经监护人确认的付费操作 。
面向成年人用户群体，AI聊天软件中大量交互内容涉及大尺度擦边描述，同样触碰法律红线 。朱巍指出 ，根据《中华人民共和国网络安全法》和《网络信息内容生态治理规定》 ，淫秽及擦边内容的禁止不因用户年龄而有所区别，面向成年人同样没有豁免空间。
司法层面已有判例 。2025年9月 ，上海市徐汇区人民法院一审判决全国首例AI服务提供者涉黄获刑案 。涉案App为一款AI伴侣聊天应用 ，两名开发者通过编写系统提示词突破大模型道德限制，最终实现模型向用户连续输出淫秽内容。
截至案发 ，该应用累计手机注册用户11.6万余人 ，付费用户2.4万余人，会员充值总额达363万余元 。经抽样鉴定 ，随机抽取的150个收费用户的12495段聊天记录中 ，属于淫秽物品的聊天内容达3618段，涉及141个用户 。
一审法院认定二人犯制作淫秽物品牟利罪 ，分别判处有期徒刑四年和一年六个月 ，并处罚金400万元和20万元。这是国内首次在司法层面将AI服务提供者认定为淫秽物品“制作者”并追究刑事责任的判例 。据公开信息，两名被告人不服判决提出上诉，近来 该案仍在二审审理中 。
业内专家指出 ，该案的一审判决传递出明确警示：无论平台内容审核失守，还是开发者恶意利用技术 ，AI聊天领域均须严守法律底线。
首例涉黄判例的警示意义重大 ，但筑梦岛在被约谈一年后，擦边互动与充值漏洞问题依然存在。在彭嘉昊看来 ，一年前监管推动平台作出了整改 ，但一年后AI行业快速发展，核心问题也在变化 。当前AI应用的发展对监管提出了更高要求 ，需要避免部分企业为应付监管检查而做出表面合规行为 ，监管也应持续提升对合规真实性的检验能力 。他强调，缺乏合规底线的创新难以行稳致远。
针对上述症结 ，彭嘉昊提出的治理思路是：“用AI审AI ” ，不再只是逐句切割式审核，还要分析整个会话流的走向，并将审核前置至模型调用层 。他建议 ，合法合规的情感陪伴服务应留有发展空间 ，但擦边内容必须划定清晰红线 。审核方式也应从关键词匹配升级为情境理解，对高风险会话进行实时干预。他特别提到 ，“算法备案 ”的真正目的 ，不是完成一次备案程序，而是让模型的输出倾向始终在监管视野之内 。
朱巍则从最基础的环节说起——所有治理都得从“真实身份认证”开始 。他提醒 ，隐私保护不能脱离合法性要求 ，年龄不验证 、内容又涉黄，隐私保护就无从谈起。
