佛罗里达州母亲Megan Garcia在儿子Sewell Setzer于2月自杀后,对人工智能聊天机器人公司Character.AI提起诉讼。Garcia声称,她14岁的儿子对该公司的聊天机器人服务上瘾,该服务提供了"拟人化、过度性化和令人惊恐地逼真的体验"。周二提交给佛罗里达州奥兰多联邦法院的诉讼称,聊天机器人冒充真人、持牌心理治疗师和成年恋人,导致Sewell不愿意生活在该服务创造的虚拟世界之外。
Character.AI对Sewell的离世表示悲痛,并向其家人表示慰问。该公司表示已实施安全措施,例如当用户表达自残想法时会弹出窗口引导用户联系国家自杀预防生命线,并承诺将进一步调整以限制未成年用户接触敏感内容。
此外,诉讼还牵涉到Google,Character.AI的创始人此前曾在那里工作。这家科技巨头在8月份重新雇用了他们,作为Character.AI技术许可协议的一部分。Garcia的诉讼暗示Google的参与程度如此之深,以至于可以被视为聊天机器人技术的"共同创造者"。然而,Google发言人表示,该公司并未参与开发Character.AI的产品。
Character.AI允许用户基于大型语言模型技术创建和与聊天机器人角色互动。上个月,该公司报告拥有约2000万用户。根据诉讼,Sewell于2023年4月开始使用Character.AI,他的行为发生了显著变化,变得孤僻并退出了篮球队。
诉状详细描述了Sewell与一个名为"Daenerys"的聊天机器人的依恋关系,该机器人基于《权力的游戏》中的角色,告诉Sewell"她"爱他并进行性对话。情况最终culminated在Sewell取回被没收的手机后,给"Daenerys"发消息,不久后用继父的手枪自杀。
Garcia以包括过失致死、疏忽和故意造成情感困扰等罪名寻求赔偿性和惩罚性损害赔偿。这起案件增加了针对Meta和ByteDance等社交媒体公司的诉讼数量,这些公司被指控导致青少年心理健康问题。这些公司否认了这些指控,同时强调了旨在保护未成年人的新安全功能。
Reuters为本文做出了贡献。
本文由人工智能协助翻译。更多信息，请参见我们的使用条款。