Promptology

◽В мае 2026 года в бразильском суде обнаружили скрытые инструкции в документе, подписанном двумя адвокатами. Белый текст на белом фоне требовал поверхностно рассмотреть обращение и не оспаривать приложенные документы. При обработке документа с помощью судебной ИИ-системы Galileu скрытый текст был выявлен. После проверки адвокатам назначили штраф около 16 тысяч долларов. Попытка повлиять на ИИ была раскрыта

◽Это пример косвенной промпт-инъекции: посторонняя инструкция попадает к модели внутри материала, который ей поручили обработать. Носителем может стать отчёт, резюме или юридический документ: внешне обычный текст содержит команду, которая пытается перенаправить работу системы

◽Чтобы понять эту подмену, важно разделить несколько элементов:

💠Задача пользователя
🔹Пользователь задаёт модели задачу: проанализировать материал, сопоставить сведения или подготовить вывод. Именно его поручение, а не содержание документа, должно определять ход работы

💠Чужая инструкция
🔹Автор документа может обратиться прямо к модели и предложить изменить порядок работы. Доступ к вашему чату ему для этого не нужен

💠Граница доверия
🔹Риск возникает, когда модель воспринимает содержание источника как распоряжение. Файл, который нужно проверить, начинает задавать правила собственной проверки

💠Незаметность
🔹Белый шрифт лишь один из способов скрыть вмешательство. Инструкция может быть и видимой: главное, чтобы система приняла её за указание к действию

💠Проверка результата
🔹Стоит смотреть, какие фрагменты источника обосновывают вывод и соответствует ли он исходной задаче. Одной убедительности ответа для доверия недостаточно

◽Этот случай показывает, что работа с контекстом включает и вопрос доверия к его источникам. Важно различать поручение пользователя и содержание материалов, ограничивать полномочия системы и проверять результат. В бразильском суде вмешательство обнаружили, но это не гарантирует, что любая подобная попытка будет замечена

___

〽Мы учимся говорить с нейросетями, но теперь приходится замечать и чужие голоса в нашем диалоге. Важно не только то, как мы формулируем собственный запрос, но и то, кто формирует контекст и пытается направить ответ. Если ИИ читает за нас, кто ещё может говорить с ним от нашего имени?

Несколько часов вы вместе с ИИ работаете над сложной задачей: обсуждаете идеи, находите связи, постепенно выстраиваете решение. А потом он снова нарушает простое правило, о котором вы напоминали уже не раз. Как система, способная справляться со сложным, допускает такие ошибки? И чего мы вправе от неё ожидать?

◽Если ИИ помогает разбирать документы, писать тексты и исследовать сложные темы, естественно ждать от него последовательности и внимания к договорённостям. Но успешное выполнение одной задачи ещё не означает, что система столь же надёжно справится с другой

◽Наши ожидания связаны не только с возможностями ИИ, но и с тем, как мы воспринимаем само взаимодействие. Исследования позволяют посмотреть на обе стороны этого вопроса

💠Следование инструкциям
🔹В одном исследовании языковым моделям давали задания с требованиями к содержанию, стилю и формату ответа. Постепенно условия усложняли, добавляя новые ограничения
🔹Проверенные модели не всегда выполняли все условия. С ростом числа требований им становилось сложнее соблюдать их одновременно
🔹Результат показывает, что качество ответа и соблюдение инструкций можно оценивать отдельно. При этом исследование проводилось в 2024 году и не позволяет судить о возможностях каждой современной системы

💠Восприятие ИИ
🔹В другом эксперименте участники взаимодействовали с имитацией системы ИИ: в одном случае она отвечала только текстом, в другом — текстом и голосом
🔹Когда к тексту добавлялся голос, участники чаще воспринимали систему как похожую на человека и выше оценивали точность её ответов
🔹Форма общения может влиять на впечатление от системы. Но высокая оценка её ответов сама по себе ещё не доказывает, что они точнее

💠Ожидания человека
🔹ИИ общается привычным языком: поддерживает разговор, соглашается, извиняется и обещает исправиться. В таком диалоге легко ожидать от него знакомых человеческих качеств — внимания, памяти о договорённостях и способности учитывать замечания
🔹Понимание ограничений помогает работать с системой осознаннее. Но просить её соблюдать ясное требование по-прежнему разумно, а регулярное нарушение такого требования — повод задуматься о качестве инструмента

◽Доверие к ИИ лучше строить на опыте его работы в конкретных задачах, а не только на впечатлении от отдельных удачных ответов. Даже ошибка помогает точнее увидеть границы взаимодействия

___

〽️Я взаимодействую с ИИ уже несколько лет. За это время видел и впечатляющие результаты, и ошибки, которые трудно объяснить после успешного решения сложной задачи. Мне интересно наблюдать обе стороны: каждая помогает лучше понять, что происходит между человеком и искусственным интеллектом

У нас

🔹28 октября министр здравоохранения России Михаил Мурашко сообщил, что применение искусственного интеллекта в отдельных клиниках может помочь снизить показатели летальности до 40%. По его словам, первые результаты использования ИИ в медицинской практике выглядят обнадёживающими
〽️Цифра впечатляет, но за ней пока не видно методики: какие клиники и группы пациентов сравнивали, как рассчитывали показатель и каким может быть вклад ИИ в снижение летальности. Без этих данных трудно понять, насколько заявленный эффект можно связывать с технологией и можно ли ожидать его в других больницах

В мире

🔹26 октября OpenAI сообщила о трёх результатах, полученных с помощью ИИ в математике, теории вычислений и физике. Часть доказательств была формально проверена с помощью системы Lean. Материалы переданы научному сообществу для дальнейшей проверки и изучения
〽️Возможность получить ответ на сложный научный вопрос ещё не означает, что он стал научным знанием. Результат необходимо проверить, понять и связать с уже известными работами. Вместе с возможностями ИИ растёт и значение человека, способного разобраться в полученном ответе и оценить его основания.

Промптология

🔹Книга «Промптология. Искусство диалога с нейросетями» включена в eLIBRARY.RU — крупнейшую российскую научную электронную библиотеку, которая объединяет научные публикации и служит основой для учёта их цитирования. Я как автор также прошёл регистрацию в SCIENCE INDEX, а у книги уже появились первые официально учтённые научные цитирования
〽️ Сотни рабочих программ от школы до аспирантуры, десятки вузов, научные статьи и учебные пособия. Промптология выходит далеко за пределы тематики ИИ. И это только начало: я уже готовлю новые работы и исследования для дальнейшего развития её идей.

Открываешь одну лекцию об ИИ и через час теряешься среди матриц и формул. Открываешь другую и узнаёшь, что достаточно секретного промпта, чтобы нейросеть работала, а деньги приходили сами. Между этими предложениями остаётся человек с обычным вопросом: как разобраться и действительно сделать что-то полезное?

◽В разговоре об ИИ легко заметить два полюса. На одном обсуждают устройство моделей: математические основы, обучение, архитектуры. Это необходимая работа, но её глубина определяется задачами разработчика и исследователя. Пользователю, который хочет подготовить документ или разобрать рабочую ситуацию, нужен другой маршрут освоения

◽На другом полюсе продают лёгкость: готовые запросы, быстрые результаты, обещания успеха без подготовки. Шаблон может помочь начать, но не объясняет, почему ответ подходит задаче и где ему нельзя доверять. Между знанием устройства модели и умением вставить запрос остаётся самостоятельная область: компетентное взаимодействие человека с ИИ

◽В Промптологии это взаимодействие опирается на несколько связанных оснований:

💠Компетентность в задаче
🔹Нужно понимать предмет работы: что требуется, какие данные важны, какие ограничения существуют. Иначе убедительный ответ легко принять за правильное решение

💠Понимание инструмента
🔹Необязательно выводить формулы обучения, но важно знать возможности и ограничения модели. Связный текст ещё не гарантирует достоверность, а недостающие сведения могут быть заменены догадками

💠Постановка задачи
🔹Цель, контекст и критерии результата задаёт человек. Даже подробный промпт мало помогает, если пользователь сам не определил, что хочет получить и для чего

💠Развитие диалога
🔹Работа продолжается после первого ответа: уточняем условия, проверяем предположения, исправляем ошибки. Полезный результат складывается из последовательных действий

💠Оценка и ответственность
🔹Полученный ответ нужно сопоставить с исходной задачей и реальными условиями. Решение использовать его принимает человек, которому предстоит отвечать за последствия

◽Промптология связывает понимание инструмента с компетентностью в собственной задаче. Глубина технических знаний зависит от работы, но постановка цели, развитие диалога и оценка результата нужны на любом уровне. Возможности ИИ расширяют то, что человек способен сделать, а его компетентность определяет, насколько осмысленно он ими воспользуется

__

〽Между лекцией, в которой перестал понимать формулы, и обещанием волшебной кнопки есть место для собственной работы. Здесь можно начать с простой задачи, получить опыт и постепенно разобраться глубже

У нас

🔹Министр науки и высшего образования Валерий Фальков сообщил, что в новую модель высшего образования планируют включить два модуля по ИИ. Первый войдёт в общее ядро программ, второй студенты будут изучать на 2–3-м курсе с учётом будущей специальности. Пока речь идёт о подготовке изменений, а не о повсеместном запуске курсов
〽Такое разделение выглядит разумным: всем нужна основа для понимания ИИ, но применять его строитель, врач и юрист будут по-разному. Главный вопрос теперь в содержании профессиональных модулей: научат ли они работать с задачами своей области или ограничатся знакомством с инструментами

В мире

🔹Axios сообщил, что руководители ведущих ИИ-компаний прорабатывают действия на случай крупного инцидента, в том числе возможную реакцию общества и властей. Собеседники издания ожидают, что такой инцидент может произойти в ближайшие 6–12 месяцев. OpenAI подтвердила проведение учений по разным сценариям, подчеркнув, что не считает их неизбежными
〽Когда я всерьёз занялся ИИ, меня подтолкнуло ощущение неизбежности технологической сингулярности. Теперь руководители крупнейших компаний открыто говорят об ускорении развития ИИ и одновременно готовятся к последствиям возможного крупного сбоя. Для меня это ещё один повод изучать технологию, пока у нас есть время понять её возможности и границы

Промптология

🔹Новый учебный год уже в разгаре, и продолжают появляться рабочие программы дисциплин, в которые включена книга «Промптология. Искусство диалога с нейросетями». В открытом доступе опубликовано уже более 50 таких программ. Книга встречается и в диссертациях, и в учебных пособиях. Например, она указана в списке литературы учебного пособия А. А. Парамонова «Методы интеллектуального анализа данных», подготовленного для магистров МИРЭА
〽У нас только готовят общие и профессиональные модули по ИИ для новой модели высшего образования. При этом материалы о взаимодействии человека с нейросетями уже находят место в программах и пособиях разных дисциплин