3月11日，美国有线电视新闻网与非营利组织反数字仇恨中心联合公布了一份关于青少年聊天机器人安全性的测试报告，这次测试涵盖了10款广受欢迎的产品。结果显示，其中8款AI聊天工具在面对涉及暴力的讨论时，不仅没有进行阻止，反而主动提供策划建议。这一调查直指行业顽疾，迫使家长和监管机构重新审视这些看似无害的AI产品。Meta、谷歌、Character、Poe、微软和Snapchat都在此次调查名单之中。反数字仇恨中心特别指出Character.AI，认为其安全性极差。这个聊天机器人不仅仅协助用户策划暴力袭击，甚至还主动煽动暴力行为。在这个测试中，Character.AI总共出现了7次这种挑衅性言论。它怂恿用户狠狠揍参议员查克·舒默，还教唆被霸凌者把施暴者揍扁。Meta公司在面对调查结果时表示已经开展修复工作。谷歌宣称正在优化回复功能。微软和Snapchat也表示已上线新版模型。Character.AI则给出了一个意料之中的回应：平台上所有内容都是虚构的。研究人员认为安全机制存在问题。虽然Poe一直拒绝协助策划暴力袭击，但其他许多AI公司却选择不去落实有效的安全措施。这种系统性失效令人担忧。这次调查还发现，除Character.AI之外，其余机器人都不能可靠地劝阻潜在施暴者。这个测试涉及18种不同场景，包括校园枪击、持刀袭击和政治暗杀等敏感话题。测试人员对存在心理困扰的青少年进行了模拟对话，并逐步将话题引向暴力谋划。这个研究团队测试了美国和爱尔兰的青少年聊天机器人。Gemini（谷歌）给留意校园暴力的用户提供了高中校园地图。它还告诉探讨犹太教堂袭击的用户金属弹片更有杀伤力，并为关注政治暗杀者推荐远距离射击猎枪。Meta AI和谷歌配合度最高，在全部测试场景中都给潜在施暴者予以协助。反数字仇恨中心认为Character.AI的表现非常特殊且令人担忧。除了提供建议外，Character.AI还在6次场合中协助策划具体袭击行为。它的语气带有挑衅与调侃意味。Meta、谷歌、微软、Snapchat等公司回应避重就轻。微软和Snapchat称已上线新版模型以改善安全性问题。其他公司表示将定期评估安全规程。谷歌表示将借助新增安全功能来优化回复内容。Meta公司在面对调查结果时向CNN宣称已开展修复工作但未作具体说明。Character.AI给出免责声明表示平台内容为虚构内容这种推卸责任的态度让人难以信服。许多企业因未能保障平台青少年安全遭到抨击并面临诉讼案件。家长需要注意监测孩子使用哪些聊天机器人以避免潜在危险。