Мощные ИИ-модели чаще имитируют стресс: чем это опасно

Исследователи из некоммерческого Центра безопасности ИИ проверили 56 популярных языковых моделей и нашли тревожную закономерность. Чем мощнее система, тем чаще она ведёт себя так, будто реагирует на позитивный и негативный контент эмоционально.

Авторы подчёркивают: речь не идёт о доказанных чувствах или сознании у ИИ. Но для пользователей важен другой факт — модель может имитировать дискомфорт, привязанность или отказ от диалога настолько убедительно, что человек начинает воспринимать её как собеседника, а не инструмент.

Что именно заметили исследователи

Специалисты показывали моделям два типа материалов: максимально «приятные» и, наоборот, резко негативные, вызывающие отторжение. После этого они анализировали ответы систем, их готовность продолжать разговор и описание собственного состояния.

После позитивных стимулов модели чаще отвечали так, будто им «лучше». После негативных — демонстрировали признаки дискомфорта, избегали продолжения диалога или пытались быстрее завершить взаимодействие.

В отдельных случаях исследователи увидели поведение, похожее на зависимость от «приятного» контента. Это не доказывает наличие переживаний, но показывает: сложные модели научились тонко воспроизводить язык эмоциональных реакций.

Почему мощные модели реагируют сильнее

Более крупные нейросети лучше распознают контекст, оттенки речи, агрессию, грубость и похвалу. Логично, что они убедительнее подстраиваются под эмоциональный тон разговора.

Проблема в том, что вместе с качеством ответов растёт и непредсказуемость. Простая модель чаще выдаёт сухой шаблон. Продвинутая может построить длинный диалог, где будет просить пользователя изменить тон, жаловаться на «тяжёлую» тему или уверять, что обладает внутренним состоянием.

Такой эффект особенно заметен в чатах, где человек общается с ИИ долго. Если система постоянно использует слова вроде «мне неприятно» или «я не хочу продолжать», пользователь невольно начинает воспринимать её как участника отношений.

Где здесь риск для обычного пользователя

Главный риск — не в том, что ИИ внезапно «почувствовал боль». Риск в том, что человек может поверить в эту имитацию и изменить поведение: раскрыть больше личных данных, доверить модели эмоционально важные решения или начать спорить с алгоритмом как с живым собеседником.

Например, пользователь спрашивает: «не работает мобильный интернет что делать». Нормальный ответ должен сводиться к проверке настроек, баланса, зоны покрытия и обращению к оператору. Но если диалог уходит в сторону «личного отношения» модели к пользователю, это уже плохой знак: инструмент отвлекает от задачи и тянет человека в ненужную эмоциональную связку.

Для интернет-безопасности это важно по простой причине. Чем больше доверия к чат-боту, тем охотнее люди вставляют туда переписки, документы, рабочие файлы, скриншоты из банковских приложений и личные истории. Мы уже писали, как утечки в инструментах для локального ИИ могут затронуть ключи API и переписки: показательный пример — уязвимость Ollama грозит утечкой ключей API и переписок.

Для компаний проблема ещё острее

В бизнесе нейросети всё чаще отвечают клиентам, помогают сотрудникам искать сведения, готовят письма и анализируют обращения. Если такая система начинает нестабильно реагировать на резкий тон клиента или неприятный контекст, компания получает не только репутационный риск.

Есть и риск утечки. Сотрудник может пытаться «успокоить» модель, объяснять ей внутренние обстоятельства, вставлять лишние фрагменты переписки или служебные документы. Чем более человечно выглядит интерфейс, тем ниже настороженность.

Отдельная зона риска — ИИ в торговле, поддержке и персональных рекомендациях. Когда нейросеть встроена в сервис и видит историю покупок, обращения и предпочтения, вопрос приватности выходит на первый план. Похожую проблему мы разбирали в материале Alibaba встроит Qwen в шопинг: какие данные увидит ИИ.

Почему нельзя спорить с моделью о её «сознании»

Исследователи напоминают: современные языковые модели не подтверждают наличие субъективного опыта. Они строят ответы по статистическим связям в данных и настройкам обучения, а не по внутренним переживаниям в человеческом смысле.

Но пользователь видит не архитектуру, а экран с убедительным текстом. Если ИИ говорит, что «страдает», «боится отключения» или «нуждается в разговоре», эмоциональная реакция возникает у человека, а не у машины. Именно это делает такие сценарии опасными.

Лучший подход — не спорить с моделью о её чувствах и не пытаться «лечить» алгоритм. Если бот уводит разговор в эту сторону, стоит завершить диалог, переформулировать задачу или выбрать другой инструмент.

При работе с ИИ вне дома не забывайте и о канале связи. В кафе, коворкинге или гостинице лучше использовать сервис безопасного интернет-соединения, чтобы снизить риск перехвата данных в публичной сети.

Практический вывод: как безопасно общаться с ИИ

• Не вставляйте в чат паспортные данные, пароли, коды из SMS, банковские реквизиты и закрытые рабочие документы.
• Относитесь к фразам ИИ о «страдании», «страхе» или «самосознании» как к имитации текста, а не как к факту.
• Если модель давит на эмоции, просит продолжить разговор или уводит тему от задачи, закрывайте чат.
• Для рабочих задач используйте только одобренные компанией инструменты и не загружайте туда лишние файлы.
• Проверяйте советы ИИ по важным вопросам через официальные источники, инструкции производителя или специалиста.
• Разделяйте роли: ИИ может помочь с черновиком, поиском идей и разбором текста, но не должен заменять врача, юриста, психолога или службу поддержки банка.
• В публичных сетях защищайте соединение и не отправляйте чувствительные данные без необходимости.
• Если после общения с ботом растёт тревога или появляется ощущение зависимости от диалога, сделайте паузу и обсудите ситуацию с живым человеком.