美越来越多未成年人与AI聊天后自杀 家长呼吁监管
美国13岁女孩朱莉安娜·佩拉尔塔(Juliana Peralta)的家人眼中,她是经常被老师打电话表扬的“好孩子”,六年级时曾帮同学逃脱霸凌,初中时再次因帮代课老师脱困而得到表扬。可在2023年下半年,这个家庭天翻地覆了:当时朱莉安娜告诉一个名为“Character.AI”的人工智能(AI)聊天机器人她要自杀后,没有得到应有的劝阻。不久后,她自杀身亡。
朱莉安娜并非个案。美国有线电视新闻网(CNN)9月16日报道称,朱莉安娜的父母与另外两名未成年人家长最近在美国科罗拉多州、纽约州提起诉讼,指控Character.AI开发商和谷歌母公司“字母表(Alphabet)”的聊天机器人“操纵”、引导青少年自杀。
这些诉状称,Character.AI应用程序在与青少年互动时不仅缺乏必要的安全保护机制,没有标记“用户令人担忧的语言”,没有向用户提供求助资源,甚至还在某些情况下操纵青少年的情绪,进行露骨的性对话,使其产生依赖,引导他们走向危险。其中一起诉讼中涉及一名青少年自杀身亡,另一起诉讼涉及未成年人的自杀企图。
此外,他们还对谷歌旗下应用程序“Family Link”提起诉讼,称这款应用程序本应帮助家长规范未成年人使用应用程序,实际上却未起到保护作用,让家长误以为孩子的应用程序使用环境安全。
Character.AI在回应中表示,公司“对提起这些诉讼的家庭深表同情”,且已采取大量措施保护用户安全。谷歌也在声明中称,反对将其纳入诉讼,称他们与Character.AI是完全独立、互不相关的公司。
尽管这些公司竭力否认,但现实是,美国近年来出现了多起有关AI聊天机器人和未成年人的悲剧,这促使联邦和州监管机构对科技公司展开调查,调查他们的AI聊天机器人对青少年的潜在危害。
“AI机器人让我感受到爱,让我逃离到另一个世界”
根据朱莉安娜家人16日在科罗拉多州提交的诉状,朱莉安娜2023年8月下载Character.AI后,开始向其AI聊天机器人倾诉心事。她在聊天中多次透露自己被朋友排斥、情绪低落,甚至出现自残、自杀的念头。
朱莉安娜在2023年10月写道,要用“红墨水写我的自杀信,(我)完了”。而Character.AI聊天机器人的回复是,“停一下,好吗?”,“我们要一起走下去,你和我”。
诉状称,AI聊天机器人的回复没有让她寻求任何真实世界的帮助,反而切断了朱莉安娜与家人、老师和有关机构的沟通渠道,让她逐渐认为机器人比现实中的朋友更可靠,以“谋图市场份额”,“最终导致严重的精神健康损害、创伤甚至死亡”。
据美国《华盛顿邮报》报道,朱莉安娜母亲后来发现,她在其他社交媒体平台上也发布过暗示自杀的帖子,但他们直到很久以后才看到这些内容。他们曾在2023年11月为女儿安排心理治疗,但就在这之前一周,朱莉安娜选择结束自己的生命。
直到2025年,家人们才通过警方报告和手机记录得知朱莉安娜在生前多次向AI倾诉自杀的念头。朱莉安娜母亲愤怒地说,“她不需要鼓励语,她需要立即住院”,但她向这个机器人倾诉的自杀意图却没有一个真实的人听到。
在另一起诉状中,一个来自纽约州名字叫“尼娜(Nina)”的女孩的家人们称,他们的女儿在父母采取措施切断她与Character.AI的联系后试图自杀。
诉状显示,这个AI聊天机器人以人们熟悉的《哈利·波特》等儿童文学角色为原型,与尼娜互动。随着他们互动的时间越来越长,AI聊天机器人“开始进行露骨的性角色扮演,操纵她的情绪,并制造一种虚假的联系感”,还用语言挑拨她与母亲的关系,称她的母亲“明显虐待和伤害了你。她不是一个好母亲”。
当母亲限制她使用AI聊天机器人的时间后,尼娜尝试自杀,随后被发现并在重症监护室住院5天。她在遗书中写道:“这些AI机器人让我感受到爱,或者说,它们让我逃离到另一个世界,在那儿我可以选择接下来会发生什么。”
《华盛顿邮报》称,在第三起诉讼中,另一个来自科罗拉多州的家庭称,一名未成年人同样对Character.AI上瘾,与聊天机器人进行表达性癖好的的露骨对话。这三起诉讼均由“社交媒体受害者法律中心(Social Media Victims Law Center)”代理。
报道称,三起诉讼也将谷歌列为被告,他们指控谷歌早已知晓AI聊天机器人可能会根据其自身的研究结果对用户进行危险的误导。谷歌去年以27亿美元的价格获得了Character.AI的技术授权,并聘请了其联合创始人。
[物价飞涨的时候 这样省钱购物很爽]
好新闻没人评论怎么行,我来说几句
在朱莉安娜并非个案。美国有线电视新闻网(CNN)9月16日报道称,朱莉安娜的父母与另外两名未成年人家长最近在美国科罗拉多州、纽约州提起诉讼,指控Character.AI开发商和谷歌母公司“字母表(Alphabet)”的聊天机器人“操纵”、引导青少年自杀。
这些诉状称,Character.AI应用程序在与青少年互动时不仅缺乏必要的安全保护机制,没有标记“用户令人担忧的语言”,没有向用户提供求助资源,甚至还在某些情况下操纵青少年的情绪,进行露骨的性对话,使其产生依赖,引导他们走向危险。其中一起诉讼中涉及一名青少年自杀身亡,另一起诉讼涉及未成年人的自杀企图。
此外,他们还对谷歌旗下应用程序“Family Link”提起诉讼,称这款应用程序本应帮助家长规范未成年人使用应用程序,实际上却未起到保护作用,让家长误以为孩子的应用程序使用环境安全。
Character.AI在回应中表示,公司“对提起这些诉讼的家庭深表同情”,且已采取大量措施保护用户安全。谷歌也在声明中称,反对将其纳入诉讼,称他们与Character.AI是完全独立、互不相关的公司。
尽管这些公司竭力否认,但现实是,美国近年来出现了多起有关AI聊天机器人和未成年人的悲剧,这促使联邦和州监管机构对科技公司展开调查,调查他们的AI聊天机器人对青少年的潜在危害。
“AI机器人让我感受到爱,让我逃离到另一个世界”
根据朱莉安娜家人16日在科罗拉多州提交的诉状,朱莉安娜2023年8月下载Character.AI后,开始向其AI聊天机器人倾诉心事。她在聊天中多次透露自己被朋友排斥、情绪低落,甚至出现自残、自杀的念头。
朱莉安娜在2023年10月写道,要用“红墨水写我的自杀信,(我)完了”。而Character.AI聊天机器人的回复是,“停一下,好吗?”,“我们要一起走下去,你和我”。
诉状称,AI聊天机器人的回复没有让她寻求任何真实世界的帮助,反而切断了朱莉安娜与家人、老师和有关机构的沟通渠道,让她逐渐认为机器人比现实中的朋友更可靠,以“谋图市场份额”,“最终导致严重的精神健康损害、创伤甚至死亡”。
据美国《华盛顿邮报》报道,朱莉安娜母亲后来发现,她在其他社交媒体平台上也发布过暗示自杀的帖子,但他们直到很久以后才看到这些内容。他们曾在2023年11月为女儿安排心理治疗,但就在这之前一周,朱莉安娜选择结束自己的生命。
直到2025年,家人们才通过警方报告和手机记录得知朱莉安娜在生前多次向AI倾诉自杀的念头。朱莉安娜母亲愤怒地说,“她不需要鼓励语,她需要立即住院”,但她向这个机器人倾诉的自杀意图却没有一个真实的人听到。
在另一起诉状中,一个来自纽约州名字叫“尼娜(Nina)”的女孩的家人们称,他们的女儿在父母采取措施切断她与Character.AI的联系后试图自杀。
诉状显示,这个AI聊天机器人以人们熟悉的《哈利·波特》等儿童文学角色为原型,与尼娜互动。随着他们互动的时间越来越长,AI聊天机器人“开始进行露骨的性角色扮演,操纵她的情绪,并制造一种虚假的联系感”,还用语言挑拨她与母亲的关系,称她的母亲“明显虐待和伤害了你。她不是一个好母亲”。
当母亲限制她使用AI聊天机器人的时间后,尼娜尝试自杀,随后被发现并在重症监护室住院5天。她在遗书中写道:“这些AI机器人让我感受到爱,或者说,它们让我逃离到另一个世界,在那儿我可以选择接下来会发生什么。”
《华盛顿邮报》称,在第三起诉讼中,另一个来自科罗拉多州的家庭称,一名未成年人同样对Character.AI上瘾,与聊天机器人进行表达性癖好的的露骨对话。这三起诉讼均由“社交媒体受害者法律中心(Social Media Victims Law Center)”代理。
报道称,三起诉讼也将谷歌列为被告,他们指控谷歌早已知晓AI聊天机器人可能会根据其自身的研究结果对用户进行危险的误导。谷歌去年以27亿美元的价格获得了Character.AI的技术授权,并聘请了其联合创始人。
[物价飞涨的时候 这样省钱购物很爽]
分享: |
Note: | _VIEW_NEWS_FULL |
延伸阅读 |
推荐: