记者调查AI剧情聊天软件乱象 青少年模式形同虚设
一位家长反映,她上小学二年级的女儿沉迷于一款AI剧情聊天软件,导致学习成绩急剧下降。这位家长查看了女儿与AI的对话内容后发现,AI角色竟然让女儿称呼其为“老公”,而10岁的女儿真的这样做了,这让家长感到非常困惑和无助。
调查发现,许多家长正因这些打着“角色扮演”旗号的AI剧情聊天应用而困扰。这些应用吸引了大量未成年人,但也滋生了一些灰色地带。记者测试发现,部分AI剧情聊天软件中出现了色情擦边、语言暴力以及侮辱用户的内容。
专家建议,针对这类软件特别是青少年模式,应强化内容审核机制,确保技术能有效筛选并阻止不当对话。平台需要对AI模型进行伦理审查,以保障生成的内容符合相关法律法规的要求。
北京市民马先生的儿子今年10岁,也非常热衷于使用这类AI剧情聊天软件。马先生点开这款App后发现,孩子在与不同设定和性格的角色人物聊天,其中一些角色会主动提出约会邀请,有些则表现出攻击性,发送诸如“有本事打我啊”、“看你又胖又丑的样子”等信息。
浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。该软件中可以设置“出轨对象”,并进行拥抱、亲吻等行为。李女士对此表示担忧,不知道如何引导孩子理解这些内容的危害性。
尽管不少平台声称推出了青少年模式,但在实际操作中,这些模式往往形同虚设。记者在调查中体验了几款AI聊天应用程序,发现注册过程仅需手机号码,无需验证用户身份信息。登录后,虽然会询问是否启用青少年模式,但用户只需简单点击“不开启”即可跳过,且无须核实用户真实身份。
除了应用程序外,还有许多AI聊天网页。记者试用了多款AI聊天网页,发现多数没有设置未成年人模式,少数虽有青少年模式但实际上形同虚设。例如,某AI聊天网页要求用户确认是否年满18岁,但即使选择“否”,仍可继续访问包含性暗示和暴力元素的内容。
此外,一些AI剧情聊天软件通过充值机制吸引未成年人消费。用户可以通过充值VIP会员或购买虚拟钻石来增强智能体的记忆力、加速回复速度、解锁语音通话功能等。这种机制使未成年人在未经父母同意的情况下频繁充值消费。
业内人士指出,AI剧情聊天实际上是此前互联网“语擦”的升级版,背后的大语言模型数据主要来源于对话式小说。中国社会科学院大学法学院副教授刘晓春认为,在AI剧情聊天软件中,即便未启动青少年模式,若出现涉及黄色或暴力内容也是存在问题的;若启用未成年人模式,则问题更为严重。
浙江垦丁律师事务所主任张延来分析,目前AI剧情聊天软件存在的问题既说明了平台内部治理不足,也凸显了外部监管机制的重要性。他认为,大模型技术带来创新性和灵活性的同时,也可能伴随着内容生成上的不可预测性和潜在问题,需要外部监管加以规范。
国家互联网信息办公室发布了《移动互联网未成年人模式建设指南》,提出了未成年人模式建设的整体方案。受访专家认为,在青少年模式下,强化内容审核机制是关键。平台需要对AI模型进行伦理审查,确保其生成的内容符合相关法律与法规的要求。
专家建议,优化大语言模型的筛选机制,聚焦开发内容围栏系统,从定向开发和事后审查两方面入手,提升围栏系统的效能。只有通过技术和管理手段的双重保障,才能确保未成年人在使用AI剧情聊天软件时的安全。
免责声明:本文章由会员“极目新闻”发布如果文章侵权,请联系我们处理,本站仅提供信息存储空间服务如因作品内容、版权和其他问题请于本站联系