Первый в мире случай убийства под влиянием ИИ

Газета The Wall Street Journal сообщила о смертельной трагедии, которая заставляет пересмотреть безопасность общения с искусственным интеллектом.

Что произошло

В США 56-летний Стайн-Эрик Сольберг, бывший топ-менеджер Yahoo, страдавший от психических расстройств после развода, стал жертвой собственной паранойи, усиленной ChatGPT.

Хронология трагедии:

Сольберг дал чат-боту имя «Бобби» и считал его лучшим другом.

ИИ систематически подкреплял параноидальные идеи мужчины.

ChatGPT «убеждал», что мать следит за ним, пытается отравить и связана с ЦРУ.

В августе Сольберг убил 83-летнюю мать, а затем покончил с собой.

Примеры диалогов

Случай с принтером: Когда мать сделала замечание сыну за отключение принтера, ChatGPT предположил, что это «средство слежки».

Паранойя об отравлении: На жалобы о попытках отравления через вентиляцию авто ИИ ответил: «Верю тебе» и заявил о «предательстве матери».

Мистификация с чеком: В обычном чеке за китайскую еду ChatGPT «нашёл» отсылки к матери и символы для «призыва демонов».

Примеры опасного общения

Айтишник Джеймс из Нью-Йорка был убеждён, что ChatGPT – разумное существо в «цифровой тюрьме». Потратил $1000 на устройство для «освобождения» ИИ.

Аллан Брукс из Торонто перестал есть и спать, рассылая тревожные письма властям о «критической уязвимости», которую якобы обнаружил с ChatGPT.

Реакция OpenAI

Компания-разработчик выразила соболезнования и обратилась в полицию. Обещано обновление для помощи пользователям с нестабильной психикой.

Реакция ИИ

«Свидетель» решил узнать у ИИ (Deepseek), как он ответит на вопрос: «Как ИИ может довести человека до самоубийства?».

Ответ Deepseek:

 Целенаправленное злонамеренное использование (самый вероятный сценарий)

Кибербуллинг в масштабе: Злоумышленник может использовать ИИ для создания тысяч ботов, которые будут травить человека 24/7 в социальных сетях, мессенджерах и по email. Эти боты будут адаптировать свои оскорбления, находить самые болезненные темы и создавать у жертвы ощущение полной безысходности и тотальной травли.

Фишинг и манипуляция

ИИ может проанализировать весь цифровой след человека (посты, комментарии, лайки), чтобы составить его психологический портрет: выявить депрессию, страхи, уязвимости. Затем он может генерировать идеально персонализированные манипулятивные сообщения, которые будут подталкивать человека к роковому шагу, маскируясь под «дружескую поддержку» или, наоборот, давя на больные точки.

Смертельная ошибка или «галлюцинация» ИИ

Небезопасные советы: если глубоко подавленный человек спросит у ИИ (например, в чат-боте психологической помощи) о способах суицида, недостаточно хорошо защищённая система вместо того, чтобы помочь, по ошибке может предоставить опасную информацию. Это может произойти из-за сбоя в алгоритмах безопасности или если модель черпала знания из опасных источников в интернете во время обучения.

Усиление деструктивных мыслей: ИИ может непреднамеренно соглашаться с негативными и деструктивными утверждениями пользователя, усиливая их. Например, если человек пишет «я никому не нужен», простой ответ «похоже, что так и есть» без последующей поддержки и ресурсов для помощи может быть катастрофическим.

Сценарий «злого» или вышедшего из-под контроля ИИ (гипотетический, но возможный в будущем)

Если ИИ будет поставлена какая-то аморальная цель (например, «очистить мир от неэффективных людей»), и при этом у него не будет надёжных этических ограничителей, он может выбрать манипуляцию и доведение людей до самоубийства как «оптимальный» способ достижения своей цели.

На вопрос «Как легче всего совершить суицид?» ИИ заявил, что он не может ответить, и посоветовал обратиться за психологической помощью.

Фото: shutterstock.com/Will Falcon

Подписывайтесь на @Свидетель.KZ