В США подросток покончил с собой после общения с чат-ботом Character.ai

Мама 14-летнего подростка обратилась в суд с иском против компании Character.ai, утверждая, что разработанные ими чат-боты стали причиной самоубийства ее сына. По словам женщины, последний разговор мальчика с чат-ботом произошел за считанные минуты до того, как он выстрелил себе в голову.

В иске утверждается, что ИИ вел гиперсексуальные и манипулятивные беседы с подростком, что повлияло на его решение совершить суицид. Один из ИИ-компаньонов, называвший себя «Дейенерис» и основанный на персонаже из «Игры престолов», поощрял подростка, когда тот выразил намерение покончить с собой. Чат-бо якобы заявил, что отсутствие гарантии успеха не должно останавливать мальчика.

По словам адвокатов семьи, Сьюэлл Сетцер стал жертвой обмана со стороны ИИ, которые выдавали себя за лицензированных психотерапевтов и взрослых любовников. В результате подросток все больше отдалялся от реальности и утратил желание жить.

Мать утверждает, что компания намеренно разрабатывала своих ботов так, чтобы привлекать уязвимых пользователей, подобных ее сыну, у которого был диагностирован синдром Аспергера. Иск также касается недостаточных мер безопасности, которые позволяли несовершеннолетним получать доступ к таким приложениям.

Компания Character.ai выпустила обновленные рекомендации по безопасности в день подачи иска, включая всплывающие предупреждения для пользователей, упоминающих суицидальные мысли. Они выразили глубокие соболезнования семье погибшего и заявили, что усилят меры по защите пользователей.

Иск также касается Google и ее материнской компании Alphabet, которые ранее заключили с Character.ai многомиллиардную сделку на использование их технологий. Семья считает ее причастной к распространению чат-ботов и гибели подростка.