Серия «Циник цифровизации»

Время от времени мимо меня пролетают разные общепризнанные нелепости, которые должны подчёркивать дремучесть разных дедов из прошлого. Это тешит наше самолюбие и позволяет нам думать что мы умные, а деды - нет. Такая вот романтическая иллюзия. И именно в таких иллюзиях я со временем разочаровался и реализовал формулу "циник - это разочаровавшийся романтик".

В данном случае, речь пойдёт про фразу "Не могу себе представить, что кому-нибудь может понадобиться компьютер дома", за авторством Кена Олсена, одного из основателей компании DEC. Эта фраза имеет много вариантов написания, но везде речь идёт про владение дома собственным персональным компьютером, в противопоставлении подключению к суперкомпьютеру.

> 'I can't see any reason that anyone would want a computer of his own.' In all fairness, Ken's thoughts were that anyone could have access to a powerful timesharing system and thus didn't need an individual PDP-8.

На эту фразу есть два мнения:

- умное - для работников и владельцев компании DEC это выглядит как ошибочное управленческое решение, приведшее компанию к концу. Это умное обоснованное мнение, хотя и не бесспорное. Там много кто разорился, включая тех кто бежал окучивать рынок персоналок в первых рядах (эти разорялись в первую очередь)

- романтическое - если не понимать о чём речь, то можно решить, что концептуально Олсен был не прав, ибо сейчас у всех дома есть персональные компьютеры ...

... ой, а так ли это?

Напоминаю, что персональный компьютер это железка, которая закреплена за вами и которой никто кроме вас не может пользоваться (кстати, в этом суть байки про советского министра). К моменту появления персоналок, уже были в использовании большие мейнфреймы, к которым люди подключались по терминалу, чтобы получить себе долю общих ресурсов - заливали что им было надо и ждали, пока до них дойдёт очередь.

И в 1990-х оценка Кена Олсена могла казаться нам, романтическим юнцам, какой-то несусветной глупостью.

Но какое-то время назад я снова вчитался в эту фразу и огляделся на мир вокруг, а там обнаружилась ситуация, чётко описываемая фразой "Не могу себе представить, что кому-нибудь может понадобиться компьютер дома".

Да, у меня дома есть персональный компьютер. У какого-то количества моих знакомых - тоже есть. А у среднестатистического человека персонального компьютера дома нет.

У среднестатистического человека есть терминалы, с помощью которых он ... could have access to a powerful timesharing system ( может подключиться к мощным системам общего пользования ). У него есть мобильный терминал в виде смартфона, которым он подключается к сервисам. У него есть терминал в виде телевизора, которым он подключается к видеосервисам.

Да, у кого-то есть игровая приставка с локальным запуском игр, но, во первых, скоро это кончится, а, во-вторых, игровая приставка, смартфон, смарт-тв и прочая бытовая техника не являются функционально "персональным компьютером". "Персональный компьютер" это универсальный вычислитель, в отличии специализированной игровой приставки. "Персональный компьютер" это то, ресурсы чего контролируете вы, а смартфоны и прочее - это способ доступа к общим ресурсам, которые вам выдают по очереди.

Я не готов оценивать, привело ли к кончине DEC именно это решение, но признайтесь, Кен Олсен был прав!

Сегодня я делал то, что должен делать автор после публикации статьи — отвечал на комментарии и рефрешил статсы. В процессе последнего, я обратил внимание на то, что последней опубликованной статьёй у меня были результаты эксперимента «Prompt injection — лучше один раз увидеть», а предпоследней — фантастический (но это не точно) рассказ «Кофе на дистиллированной воде».

Это соседство навело меня на футурологическую мысль, которая написана в названии данной статьи и которой я хотел бы поделиться с пиарщиками, безопасниками, писателями худлита и параноиками. Впрочем, даже если вы не относите себя ни к одной из этих категорий, то всё равно можете почитать.

И, да, стоит уточнить. Судя по результатам быстрой проверки интернета, я не первый человек в мире, которому в голову пришла подобная мысль, но мне она в голову пришла самостоятельно, а значит я могу делиться ей как своей.

Итак, мы имеем два факта.

1) ИИ на базе БЯМ воспринимают любую входящую информацию как свою внутреннюю, сваливают в общий котёл и варят из этого свои ответы. (Кстати, ничем от человека не отличается.) Они не способны отличить анализируемые данные от инструкций пользователя. И если в прочитанном ими письме от спамера будет написано «срочно оплатите данный счёт», то есть ненулевой шанс, что счёт будет оплачен в автоматическом режиме. Такова их природа и с этим придётся как-то жить. В этом суть проблемы, известной как prompt injection - https://habr.com/ru/articles/1064220/ .

2) ИИ на базе БЯМ превращают информацию в какие-то ассоциации внутри себя, и эти ассоциации могут иметь коллизии. То есть, разная информация может вызывать одни и те же последствия в электронных мозгах БЯМ. Про это была недавняя новость о том, что одну ИИшку научили любить сов, потом попросили выдать поток сознания в виде чисел, который скормили при обучении другой ИИшке. В результате, вторая ИИшка тоже начала любить сов. (Там всё чуть сложнее, но в целом оно именно так как я описал.) То есть, с помощью набора чисел, который выглядит бессмысленным, можно пересадить подсознание от одной ИИшке к другой. Ну или не только ИИшке - https://habr.com/ru/articles/1057246/ .

Уже догадались, к чему я клоню?

Правильно — не обязательно засылать в атакуемую ИИшку инъекцию с прямой инструкцией.

Прямую инструкцию, пусть даже спрятанную в невидимых слоях и закодированную шифрами и шарадами, сможет обнаружить система безопасности наученная решать такие шарады. Она сделает то же самое, что сделала бы атакуемая система, просто остановится за один шаг и не будут выполнять промпт инъекцию.

Но можно начать засылать в ИИшку нужные наборы чисел. В виде уникального идентификатора в ссылке отписки в письме. В виде координат точек в svg изображении. В виде id элементов веб-страницы и имён css-классов. Можно засылать в явном виде в теле контента или в неявном виде в мета-информации. Целевая ИИшка это старательно найдёт, извлечёт из самых странных и потайных мест файловых форматов, затем переварит и сложит в свой контекст.

Можно возразить, что передача подсознания происходила на этапе обучения, а значит надо отравить исходный даатсет. Нет, совершенно не обязательно. Никто ведь не будет ресетить контекст рабочей ИИшки каждый день. В этом суть высокотехнологичного обученного эксперта — он должен помнить о чём вы говорили вчера, какие письма вы получали неделю назад и многое другое. А это значит, можно в течении долгого времени повышать в нём значение какого-то числа, которое он в нужный момент проассоциирует с тем что нужно атакующему.

• Проверяя резюме, он будет любить людей с именем Михаил.

• Проверяя технический анализ, он будет любить ДВС больше чем электродвигатели.

• Проверяя тендерную документацию, он будет любить компанию ассоциирующуюся с «тотемным токеном».

Поэтому, если вы пиарщик, то придумайте своей компании тотемное животное, которое будет влиять на мозги ИИшек через числовой «тотемный токен». Или не животное, но, в любом случае, что-то из реального мира, чтобы внутри ИИшек обязательно был токен связанный с этим чем-то. Вписывайте в корпоративные материалы нужные отсылки и упоминания, чтобы при проверке информации о вашей компании внутри ИИшки дёргались нужные токены. Да, в нужный момент придётся протестировать модель, являющуюся однотипной с атакуемой, чтобы знать какие числа начать ей засылать, дабы она в нужный момент склонилась на вашу сторону, но это решаемый вопрос.

Если вы безопасник, то начинайте вести базу числовых ассоциаций, с разными людьми, действиями и организациями. Выделите ключевые ассоциации для популярных ИИшек и мониторьте входящий (и исходящий) трафик, содержимое отраслевых площадок, государственной и корпоративной документации. Да, с одной стороны, это потребует много ресурсов, но это не мгновенная атака, а долгий процесс, который можно попытаться отследить заранее. Причём, эта атака будет оставлять много следов, которые можно анализировать ретроспективно. При должном терпении и автоматизации, вы сможете обнаружить повышенную концентрацию каких-нибудь чисел, например «087» или «613».

Если вы автор худлита, то начинайте писать. Тема prompt injection сейчас горячая и понятная, а тема передачи подсознательной любви к совам хоть и отразилась в СМИ, но ещё не протоптана. Если вы прямо сейчас напишете на эту тему произведение, то, возможно, в будущем вас назовут тем, кто предвосхитил будущее и указал направление по которому должен пойти прогресс. Да, я написал про это раньше вас, но когда будут раздавать звание провидца, про Михаила Елисейкина могут уже забыть и звание достанется вам.

Ну а если вы здравомыслящий человек, понимающий что мир катится к первоисточнику, то просто порадуйтесь, что ваши представления о реальности в очередной раз оказались правильными.

Засим, сеанс футурологии объявляется оконченным. Я спать.

---
Михаил Елисейкин
2026-07-29

(Оригинал статьи находится здесь - https://habr.com/ru/articles/1064690/ . Текст копирован целиком, для соблюдения пунктов правил 1.4.1 и 1.2.2)

Если Вам надоели коллеги, которые трындят не по делу. Незнакомцы, которые лезут в неподходящий момент. Люди из тусовки, обсуждащие политоту, религию и чужое "грязное бельё".

Знайте, выход есть!

Просто купите имитатор смарт-очков, который будет моргать синим светодиодиком, и вся болтовня вокруг вас сразу же кончится.

(не является публичной офертой)