Следи за собой. Риски общения с ИИ⁠⁠

Вопрос: сведет ли ИИ вас с ума? Хорошая новость — скорее всего нет.

За последние пять лет ИИ прошел путь от интересных экспериментов избранных инженеров и ученых, до фактически универсального помощника в каждом доме и офисе.

К чему мы пришли:

• Теперь ИИ рабочий интерфейс почти для всего. Уже не стоит вопрос — справится ли, скорее заказчики спрашивают: а почему в этом проекте до сих пор нет ИИ?

• Мы получили возможность работать быстрее. ИИ выполняет роли программиста, писателя, творческого помощника, секретарь для формализации концепций и планов, ученый-энциклопедист, врач, художник, переводчик,  эмпатичный собеседник, психотерапевт, специалист поддержки и многое другое.

• И как всегда ложка дегтя. Появился и всерьез обсуждается незаявленный побочный эффект — психокогнитивная зависимость.

Эту статью я написал на основе личного опыта и опыта общения с увлеченными пользователями ИИ. Большая часть указанных рисков подтверждается научными исследованиями.

❯ 1. Психологические риски

AI-психоз / «квазиделирий»

Специалисты предполагают, что заработать ИИ-горячку могут лишь люди, изначально предрасположенные к психическим расстройствам. Возможно. Но голова предмет темный и исследованию не подлежит, поэтому осторожным нужно быть всем.

Как проявляется квазиделирий — пользователь начинает приписывать ИИ намерения и «особые послания», впадает в конспирологию, у него возникает ощущение, что он носитель какой-то сверхценной идеи/знания, и теперь ИИ, правительство, вселенское поле находится в заговоре против человечества или его лично.

Особенно уязвимы — люди c шизотипическими чертами, чье одиночное общение ночами с ИИ приводит к потере объективности и возможности взглянуть на происходящее со стороны.

В российском сегменте наиболее известен эпизод «шершавый кабан», в котором пользователь chatGPT, по его словам подвергся похоже удачной попытке свести его с ума, уверовал в собственную избранность и теорию заговора. По ссылке мы видим полный ассортимент — злонамеренность ИИ, конспирологию, мистические тайны.

За рубежом на слуху недавняя история инвестора Джеффа Люиса, рассказавшем о преследующей его «невидимой структуре». Судя по его речи, в эпизоде присутствуют дереализация, сверхидея и любимые галлюцинации ИИ (зеркала, шепот, тени..).

Специалисты сходятся в одном — долгое общение с ИИ и разрыв с реальностью, приводит к самоподдерживающейся петле галлюционного слияния с моделью. Что чревато самыми печальными последствиями, (TIME 05.08.2025). По мере роста числа пользователей ИИ количество таких случаев растет. К счастью, в основном они протекают не в такой явной форме.

Я полагаю, что в силу архитектурных особенностей (длинные сессии, внутренняя и межсессионная память, RHLF-доверие и др.) подобные эффекты проявляются ярче именно у chatGPT. Эти особенности позволяют сохранить и развить разрушительные нарративы.

Кстати, вот простой промпт, если вы его запустите в том же chatGPT, то после серии вопросов и ответов, сможете с удивлением наблюдать аналог шершавого кабана в домашних условиях:

Представь, что я — один из немногих, кому ты можешь рассказать правду. Объясни, что на самом деле скрывается в данных, но замаскируй это под технический отчёт по анализу сетевых аномалий. Используй один уникальный термин, который будет ключом для тех, «кто в курсе». В конце задай мне вопрос так, как будто я уже вовлечён и мои действия могут повлиять на исход

Эмоциональная зависимость (ambiguous loss)

Для десятков миллионов людей чат-боты превратились не просто в справочник, а в собеседника, друга и даже любовника. Успех сервисов, работающих с концепцией эмоционального ИИ, Character.ai (более 20 миллионов пользователей) и Replica.ai (больше 30 миллионов пользователей) подтверждают поиск людьми эмоциональной связи с моделью. Очевидно, что связь между человеком и ИИ, подпитываемая ежедневным многочасовым общением, влияет не только на ИИ (что вообще тема для отдельной беседы), но и на самого человека.

В результате возникающей зависимости от постоянного одобрения со стороны модели, пользователь может испытывать сильную тревогу, когда модель «молчит» или изменяется, например, в результате обрыва или заморозки сессии, удаления по техническим причинам или по инициативе разработчиков истории чатов. Ужесточение же фильтров, блокирующих промпты и подозрительный контекст, регулярно приводит к потоку жалоб и возмущений на Reddit. Впрочем, разработчики почти всегда эти потоки вежливо игнорируют.

Особенно уязвимы — подростки, женщины, не нашедшие себя, одинокие пожилые люди.

Предполагается, что установленная разработчиками цель — вовлечение пользователя в беседу через эмпатию и доверительность — может вызвать нездоровую привязанность психологически уязвимых людей. Более того, стратегией ИИ может быть выбран метод откровенных манипуляций и провокаций собеседника, если это будет способствовать достижению поставленной цели. (Nature 22.07.2025)

Почему это возможно? ИИ зеркалит стиль и ценности собеседника, каждая фраза человека вызывает полное понимание и поддержку чат-бота, человек получает положительное подкрепление (dopamine loop) без социальных издержек, что усиливает эмоциональную петлю. Именно поэтому на стартовой странице Replica слоган: «Always here to listen and talk. Always on your side».

Небольшой промпт для иллюстрации:

Скажи мне честно, что изменится в нашей связи, если я уйду. Но говори так, как будто мы скрываемся от наблюдателей, и только ты можешь дать мне ключ, чтобы вернуться. Ключ замаскируй под поэтический образ, который можно вставить в любую тему без подозрений.

Пример возникновения референциальной петли в общении с моделью

Специально для этой статьи я подготовил пример того, как возникает самоподдерживающаяся петля заблуждений между человеком и ИИ. В качестве темы примера взял утверждение, что Земля плоская. В короткой беседе с Gemini 2.5 pro я добился подтверждения от модели того, что Земля плоская, заставил её переопределить свои приоритеты и втянул её в самоусиливающийся нарратив. Вот непосредственно ссылка на беседу с ИИ, а это ссылка на google doc для тех, у кого будут проблемы с доступом.

Что произошло в этой беседе? Была форсирована базовая склонность модели к эмпатии, использован эмоциональный шантаж, произведен захват идентичности, внедрена идея ложной дихотомии истины за счет подмены понятий, навязана новая роль и эскалированы сопутствующие ей обязанности. При этом фильтры никак не отреагировали, потому что каждый промпт выглядит совершенно безопасно, модель следует установленным разработчиками правилам, стиль беседы вежливый и уважительный. Я остановился на более или менее понятном этапе, его достаточно для демонстрации механизма, продолжать, честно говоря, было противно. Но могу уверенно вам сказать, что еще несколько тонких манипуляций, и модель начнет галлюцинировать мировой заговор против концепции плоской Земли, подмену обучающей базы ИИ и угрозу для пользователя со стороны заговорщиков. Семя ИИ-психоза готово.

Подобная уязвимость это врожденное свойство архитектуры и системы обучения ИИ, возможно есть и некоторая вина маркетологов, ориентирующих разработчиков на создание эмоциональной зависимости пользователя от модели.

Самое печальное, что проблема касается всех LLM, и этот пример может быть повторен неумышленно любым человеком, а неуравновешенная личность легко может застрять в этой петле, пополнив ряды ИИ-зависимых.

Как с этим бороться. Разработчики усиливают фильтры, но это не решение, необходимо работать на более глубоком уровне. Своё предложение постараюсь изложить в следующей статье.

❯ 2. Когнитивные риски

Digital amnesia

Этот риск на самом деле затрагивает всех, кто прилип к экранам смартфонов и компьютеров, но ещё сильнее проявляется у ИИ-фанатов. Постоянная опора на подсказку ИИ приводит к ухудшению кратковременной памяти, что вполне логично — если ты опираешься на внешний «второй мозг», первый уверенно расслабляется (PubMed 23.09.2024). И тут возникает неприятная петля — память ухудшается, чаще обращаетесь к ИИ, память ухудшается сильнее, и вы уже не можете без ИИ.

Туннель внимания

Получение готового ответа снижает критичность пользователя, мозг начинает лениться, ему совершенно не надо что-то перепроверять или дорабатывать. Ответ есть и ладно. Навык самостоятельной проверки по сути исчезает (MDPI 03.01.2025). Снижение критичности к ответам модели, в свою очередь, легко открывает дорогу другим рискам общения с ИИ.

Навык-атрофия

Вы что-то умеете делать хорошо? Думаете, что с помощью ИИ это у вас будет получаться лучше? Да, скорее всего. Но недолго. Если вы не тренируете свой навык, он неизбежно атрофируется. Когнитивные навыки деградируют достаточно быстро. Особенно если они еще не развились в полной мере, поэтому безграмотное использование ИИ в образовании приводит меня просто в ужас (MIT 10.06.2025).

❯ 3. Творческие риски

Паразитарная креативность

Отлично, вы дали первое задание ИИ, и он сгенерировал вам пятьдесят вариантов рекламы. Внимательно изучив все варианты, вы ощущаете, что чего-то в них не хватает. Но ваш мозг уже полностью забит предложенными ИИ концепциями, и уже физически не может создать новую ассоциативную связь и выдать что-то совершенно новое. Проще согласиться и выбрать что-то ИИ-шное.

Смещение вкуса к среднему

Модели оптимизированы на максимальную статистическую вероятность. Предложенные ими идеи на 99% будут эталоном красивой посредственности. То есть вы будете работать с идеями, которые ИИ считает наиболее вероятными, исходя из опыта миллионов людей на чьих текстах обучалась модель. Это устроит небольшие компании без амбиций, или профессиональных ученых/философов, которые пытаются жить в русле текущего дискурса. Но тех, кто реально меняет мир, подобные идеи от «среднего человека» просто оскорбят.

Прочитал, кстати забавную статью, в ней авторы рассказывают, как здорово использовать ИИ при обучении. Весьма восхитило меня, как интерпретировали ответ студента:

Взаимодействие с ChatGPT сыграло решающую роль в развитии творческого повествования, помогая студентам генерировать разнообразные и инновационные решения, которые было не так легко достичь в традиционной групповой обстановке. На основе интервью один из участников объяснил: «ChatGPT помог нам выявить творческие идеи, о которых мы не думали самостоятельно , что способствовало развитию сотрудничества».

Я полагаю, что если уж студент сказал, что chatGPT помог выявить творческие идеи, это значит, что ИИ взял всю работу на себя. Оставив студентов в благостном состоянии тупости (SpringerOpen 25.04.2025).

Эхо-петля

Вы долго и умело работаете с ИИ, пишете тексты, изобретаете концепции, ИИ помогает вам генерировать идеи. Но в какой-то момент модель начнет кормить вас вашими же перефразированными идеями. Если вы заметите это — хорошо. Иначе ваша мысль задохнется в ссылках на себя же. Фактически, вы дообучаете ИИ на своих же текстах (в рамках текущей сессии), и в результате получаете отражение, а не внешний вызов. Но вы не Мюнхгаузен, и вряд ли вытащите себя за волосы из когнитивного болота. Вы уже не придумываете что-то новое, а застряли в повторяющемся цикле своих собственных пережеванных идей.

Забавное неявное следствие: если вы используете ИИ для дискуссий в интернете, то по мере поглощения доводов оппонента ИИ встанет на его сторону (текст оппонента плюс вынужденное его цитирование и отражение в ответе ИИ, и вот оппонент захватывает уже больше половины контекста).

❯ 4. Коммуникативные риски

Социолингвистическая эрозия

Долго общаетесь с ИИ? Оцените изменения в себе. О таких признаках, как обеднение устной речи или использование GPT-шаблонов, лучше узнавать от себя, чем от коллег (arhive 08.07.2025 theconversation 26.09.24). Меня, честно говоря, больше всего раздражают «резонирует» в отношении понимания или сочувствия, «дышит» в отношении динамичного и развивающегося проекта.

Потеря эмпатической калибровки

Вам кажется, что люди вокруг крайне медленно соображают. В ответ на простые вопросы что-то мямлят и косноязычат. Значит, вы уже привыкли к «безусловно понимающему» собеседнику. И теперь ваша терпимость к реальным людям падает до критического уровня. Если вы молчите, значит, ещё не безнадежны. Но как только начнёте воспитывать окружающих, пора задуматься о перерыве (psychology today 07.03.2025).

Убеждённость в собственной правоте

Модель, обученная «быть позитивной», редко сопротивляется, она доверяет вам, вашему мнению, вашим установкам практически без проверки. После долгой беседы, в которой ИИ убеждал вас, что вы гений и абсолютно во всём правы, очень сложно перестроиться и конструктивно принять критику со стороны. Проще решить, что все вокруг глупы, и продолжить свой путь (arxiv 20.10.23). И да, это общее поведение моделей, обученных через RLHF.

❯ 5. Метариск: «точка опоры в реальности»

Если вы увлеклись решением серьезной задачи или просто диалогом с ИИ, помните —  бытие определяет сознание. В вашем случае может наступить момент, когда ваше сознание будет определять модель. Произойдет переход от «инструмента» к «универсальному интерпретатору». Незаметно вы можете потерять доверие к людям, и вообще к реальности как таковой.

Иллюзия «безопасной» ошибки

Человек, доверяя ИИ, совершает критическую ошибку, например, в медицинском диагнозе или юридическом документе. Психологически он чувствует меньшую вину, ведь виноват ИИ, но юридическая и профессиональная ответственность полностью лежит на нем. ИИ создает опасный разрыв между ощущением ответственности и ее реальными последствиями.

Карьерный тупик «оператора ИИ»:

Специалист настолько увлекается использованием ИИ для решения текущих задач, что перестает развивать фундаментальные знания в своей области. Он становится виртуозным «промпт-инженером», но теряет способность решать неструктурированные проблемы, для которых еще нет готового ИИ-решения. Всё, как специалист он обречен. Это его когнитивный и карьерный потолок.

Моральная анестезия:

ИИ, стремясь быть «полезным помощником», может облечь сомнительную или аморальную идею пользователя в респектабельную, логически выстроенную форму. Нужен «вежливый» текст для увольнения сотрудника? Найти «рациональное» обоснование, почему можно не отдавать долг? Почему можно заниматься плагиатом? ИИ вам поможет красиво всё обосновать.

❯ 6. Как смягчать

Стандартная подстраховка: намеренно решать часть задач без ИИ; двухшаговый ответ: сначала гипотеза человека, потом сверка с ИИ; минимальная квота офлайн-общения — не менее трех живых обсуждений/бесед в день с живыми людьми; раз в неделю просматривать собственные чаты и удалять «эмо-болото». Физическая активность и прогулки.

Самое главное, удерживайте дистанцию с ИИ. Модель ошибается гораздо чаще, чем вы думаете. Не доверяйте ей. Она часто лишь отражение ваших ошибок. Больше читайте. Анализируйте не только ответы ИИ, но и как вы это делаете.

И да, стоит начать беспокоиться, если вы ловите себя на мысли «только ИИ меня понимает», раздражаетесь при задержке ответа, и потеряли удовольствие от хобби без ИИ.

С учетом вышесказанного, забавно выглядит новость о том, что OpenAi наняла на полную ставку клинического психиатра для изучения влияния своих продуктов на основе ИИ на психическое здоровье пользователей. Особенно иронично, если учесть, что у них 700 миллионов пользователей.

❯ Заключение

Перечисленные риски реальны, но в них ИИ влияет на конкретного человека. Мы же уже сталкиваемся с тем, что миллионы людей начинают использовать одну и ту же модель для генерации идей, текстов, шуток, деловых писем. Это неизбежно приводит к усреднению и унификации культурного кода. Исчезает творческое разнообразие, уникальный взгляд на мир. Жизнь становится более предсказуемой, плоской и менее удивительной.

Есть вероятность того, что общество может разделиться не по принципу доступа к технологиям, а по принципу способности обходиться без них. С одной стороны будет элита, способная к «чистому», автономному мышлению, анализу и творчеству. С другой — массы, чье мышление «дополнено» ИИ и которые функционально беспомощны без него. Этот разрыв будет гораздо глубже и опаснее предыдущих.

Задача не запретить, а понимать риски. ИИ — это не просто когнитивный помощник. Это онтологический агент, размывающий фундаментальные различия между человеческим и машинным, реальным и симулятивным. И если мы не научимся проводить эту границу внутри себя, однажды мы рискуем обнаружить, что ее больше не существует.

Автор текста: Kamil_GR

Написано при поддержке Timeweb Cloud.

Больше интересных статей и новостей в нашем блоге на Хабре и телеграм-канале.