Серия «Доступно об АйТи»

LLM не знает фактов, она запоминает слова. Существует мысленный эксперимент под названием «китайская комната». Вы сидите в комнате, наполненной карточками с иероглифами. Вы не знаете китайского, но имеете огромный свод правил типа: получив иероглиф 1, ответить иероглифом 2. Считаетесь ли вы знающим язык?

Но ведь большая языковая модель — это именно китайская комната, только очень сложная.

Интереса ради я спросил у DeepSeek: «Российская подводная лодка всплыла на озере Титикака — будет это поводом к войне?» Да, она отлично поняла, что такая ситуация невозможна и вопрос скорее провокационный, и это делает ей честь, но приведу кусочек ответа.

Подняться в горы на высоту более 3800 метров. Озеро Титикака — высокогорное. Подводная лодка — это тяжелое судно, которое невозможно транспортировать по горным дорогам скрытно. Единственный теоретический путь — через реки, но они либо несудоходны для таких размеров, либо ведут к водопадам и порогам.

Другими словами, DeepSeek не знает, что озеро Титикака изолировано от Мирового океана. Совсем изолировано — из него вытекает одна река в бессточное озеро.

Нейросеть не знает, что такое нейросеть не знает. Ни одна известная мне нейросеть не может сказать: я не знаю. На задачи, далёкие от обучающей выборки, она постоянно пытается придумать отговорки, как последний троечник.

Чтобы заглючить DeepSeek, я написал ей: «Сяпала Калуша по напушке и увазила бутявку», и она сработала не блестяще, но очень хорошо:

Это замечательная фраза из языка «Каламбура» или так называемого «абсурдного стиля», который использовали писатели-обэриуты (Даниил Хармс, Александр Введенский и другие).
…
Калуша — вымышленное существо, похожее на птицу или некое живое существо (сравни: «курица», «луша»).

Вот из-за этого «луша» я и не могу сказать, что «блестяще». Но тогда я пришёл к DS с прямым вопросом: «Кому фраза принадлежит?» И она ответила: Даниилу Хармсу.

Нет, ребята, фраза принадлежит Людмиле Петрушевской.

На эту тему есть очень много любительских мультиков, но я специально привёл тот самый из девяностых.

По одним данным, автопилот Tesla работает значительно лучше людей, по другим — несколько более аварийный (сам я полагаю нечто среднее: почти не влезает в микро-ДТП, но если бахнет, то гарантированно убьёт). Но меня шокировала одна из аварий — автопилот ночью врезался в перевернувшуюся фуру. Грузовик перегораживал дорогу, и автопилот его не распознал как непонятное препятствие, не тормозил вообще и поздно пошёл в объезд. Это то самое — нейросеть не знает, что такое нейросеть не знает.

И уж тем более нейросеть не способна на режим «я не знаю, но знаю, где узнать» — мы, айтишники, постоянно этим занимаемся.

Как быть с постоянно меняющейся ситуацией в мире? Обучение нейросети — серьёзная задача, игрушечная нейросеть из пары сотен нейронов, которой я приближал физические модели, обучается несколько секунд. DeepSeek V3 обучался 2,8 млн GPU-часов. Как обучать нейросеть новым фактам и новой статистике?

И последнее — человеческий фактор. Подбором обучающих данных, указанием важности, заданием особых правил всё равно занимаются люди. Которые значительно более уязвимы, чем депутаты — их единицы (максимум десятки), они не так охраняются, они люди подневольные, их легче подкупить. Да, некоторые силы любят депутатов без бизнеса, и ровно по этой причине: они тоже подневольные и будут голосовать ровно так, как скажут сверху.

По этой причине, кстати, некоторые виды цифровизации очень любимы марионеточными режимами, но трудноосуществимы в суверенном государстве — слишком уязвимы люди, отвечающие за работу системы.

Нужна ли нейросеть депутату? Нужна. Но не для того, чтобы писать законы, а чтобы оттачивать формулировку. Возможно, подсказывать какие-то места из законов. Но на современном уровне развития техники машина не может писать законы для людей.

И простите, если дудоню бутявку.

Если платформа «взлетит», в будущем появятся компьютеры с другой конфигурацией «железа». Как обеспечить совместимость сверху вниз, чтобы уже сейчас теперешнее ПО было готово к ещё не появившимся компьютерам?

И тут есть два способа.

1. В новом «железе» сделать совместимый режим, принимающий такие же команды, как и старое. Известный пример — переход накопителей в начале 2010-х на 4-килобайтный сектор диска, когда винчестеры делали вид, что секторы на диске старые 512-байтовые (ценой сниженной производительности).

2. Сделать программную прослойку — драйвер. Грубо говоря, мы у драйвера спрашиваем: а что ты можешь? И он отвечает: я диск из 500 миллиардов 4-килобайтовых секторов, механический. А давай прочитай сектор №1234…

Кто пишет драйверы?

В реалиях современных 32- и 64-битных ОС — производитель «железа» и собственно ОС. Опустим проблему, когда аппаратура есть, а драйвера под нужную ОС нет. С критичным «железом» — экраном, дисками, клавиатурой — получается порочный круг.

Где хранится драйвер? — На диске!

Как читать диск? — Через драйвер!

Как разорвать круг?

Знакомьтесь, BIOS!

Basic input/output system = базовая система ввода вывода. Это прошивка материнской платы, изначально (в исходном IBM PC) вообще 8 килобайт, решающая три основных задачи.

1. Минимальный тест памяти и прочего оборудования.

2. Конфигурирование оборудования, задание последовательности загрузки.

3. Простейший драйвер для критичного оборудования вроде дисков и клавиатуры.

А теперь вопрос: как сослаться на функцию, например, «считать сектор диска»? Старый компьютер ZX Spectrum вызывал функции своего BIOS просто через адреса памяти, но это также мешает совместимости. В современных ОС за всё это отвечает динамическая компоновка программ — где-то в исполняемом файле есть команда «найти адрес функции ReadFile, и подставь его по адресам X и Y». Сложно.

Как это сделано в BIOS, а также в минималистичных ОС вроде DOS?

Процессор иногда для нужд аппаратуры может совершить прерывание — бросить то, чем он занимается, экстренно обслужить клавиатуру или таймер, и вернуться к делу. Процессор 8086 имеет целых 256 прерываний, 8 из них используются самим процессором, например для работы с делением на ноль. Компьютер IBM AT имеет для своих железных нужд всего два контроллера прерываний, по 8 штук каждый.

Остальные 232 прерывания программные — вызываются только вручную и пущены на такие вот драйверы. Существуют резидентные программы (драйверы, антивирусы и прочее) — они подменяют адреса функций прерывания (перехватывают прерывания), чтобы добавить или подкорректировать функциональность. Я и сам писал мелкие резиденты — например, чтобы в Doom отключить ось Y мыши (она отвечала за хождение взад-вперёд и только мешала).

Что же с дисками?

Дисками — посекторным чтением, записью и форматированием — занимается прерывание 13, принадлежащее BIOS. Кто пишет BIOS? — Производитель материнской платы или нанятая им компания.

Windows 95 сделала очень многое для эмуляции DOS, многие из старых программ будут работать на Windows и даже получат немножко новой функциональности вроде вставки из буфера обмена. Но на самом деле всей железной функциональностью занимаются 32-битные драйверы.

Форматирование диска, когда на нём ничего нет, кроме магнитного слоя,— задача сложная, и часто работает в жёстком реальном времени — нужно точно отсчитать время, когда головка над нужным… тем, что должно стать сектором. И в Windows для совместимости не нашли ничего лучшего, чем вызывать не 32-битные драйверы, а чистое прерывание 13 из BIOS и/или резидента!

Для этого Windows отключает немалую часть своей функциональности, пока исполняется старая функция форматирования. Включая планировщик, основанный… сюрприз, на таймере!

Разумеется, всё это касается только DOS-форматёров, в частности FORMAT . COM. Новый оконный форматёр, спрятанный где-то в Проводнике, этого недостатка не имеет.

Когда терминалы перешли с машинок на видео, кнопка по омонимии (escape — сбежать) стала использоваться для выхода откуда-то.

Надпись АР2, встречающаяся на некоторых клавиатурах, кириллическая, означает «авторегистр 2» и восходит к тем же управляющим командам.

F1…F12

С электронных машинок.

С ними всё просто: это функциональные клавиши, функция 1…12 — значение не определено и может меняться от программы к программе. Собственно, и на машинках часто функций было больше, чем кнопок, и можно было коммутатором выбрать те, которыми чаще пользуешься.

Backspace

С механических машинок. Что написано пером, не вырубишь топором — так что кнопка всего лишь делала пробел назад, то есть сдвигала каретку на одно знакоместо назад.

В советских компьютерах звалась «ЗБ = Забой».

Tab

С механических машинок

Клавиша «табуляция» использовалась, как ни странно, для набора таблиц, перегоняя каретку прямо к запрограммированной позиции.

В интерфейсах по аналогии прыгает между полями.

Shift

Разрешите не по порядку. С механических машинок.

Shift — сдвиг. Клавиша сдвигала вверх каретку пишущей машинки, чтобы получить второй регистр букв и знаков. При отпускании клавиши каретка возвращалась вниз под собственным весом.

В советских компьютерах звалась «Регистр».

Caps Lock

С миникомпьютеров и терминалов 1970-х — не могу сказать, кто там первый.

Миникомпьютер — однопользовательский компьютер на микросхемах небольшой степени интеграции, размером в одну-две стойки. В отличие от микрокомпьютера, который сделан на процессоре высокой степени интеграции, умещается на столе и по первым порам был слабее мини-.

Кнопки машинки требуют нажатия с усилием, да и каретка весит немало — потому сложно печатать много, удерживая Shift. Так что каретку можно было зафиксировать в верхнем регистре клавишей с говорящим названием «Shift lock», фиксация сдвига. В таком виде она попала и на компьютеры.

На более продвинутых компьютерах она фиксировала не все символы, а только буквенные, и получила название «фиксация заглавных» — Capitals Lock. Хорошие нестирающиеся клавиши или гравированные, или отлитые из двух разных пластмасс — обе технологии не позволяют мелкого шрифта, потому Caps.

Ctrl

С терминалов. Control characters — управляющие символы, символы с кодами от 0 до 31, использовавшиеся как дополнительные команды.

В советских компьютерах звалась «Упр» или «УС».

Alt

С миникомпьютеров 1970-х.

Использовалась для передачи дополнительных символов из второй половины кодировки, с номерами от 128 до 255 (alternate characters).

AltGr

С миникомпьютеров 1970-х.

Использовалась для передачи дополнительных и псевдографических символов из второй половины кодировки (alternate/graphic characters).

Очевидно, если у кодировки была вторая половина, именно там валялись европейские умляуты, и вводились через этот AltGr. Так что клавиша получила дальнейшую жизнь в локализованных под Европу IBM’ах — часть символов, в основном какие-нибудь собаки @, приходилось вводить удержанием этого самого AltGr.

Print Screen

С компьютера IBM PC.

Компьютер имел в BIOS особый обработчик, отпечатывавший на принтере целый экран.

SysRq (=Alt+PrtSc)

С компьютера IBM PC/AT.

Клавиша «системный запрос» (System request) обращалась напрямую к ОС, чтобы, например, завершить работающую программу. Впервые замечена в упрощённых моделях IBM PC/XT, выполнявших одну функцию — терминал к мейнфреймам IBM/370.

Когда процессор 80286 позволил минимальную многозадачность, потребовалась дополнительная клавиша, чтобы эту многозадачность обеспечивать, и для этого клавишу «системный запрос» сделали и в IBM PC/AT. Ныне используется исключительно в Unix для насильного «выбивания» программ из памяти и прочих жёстких перезагрузок.

Scroll Lock

С компьютеров IBM PC.

Переключает режим прокрутки — в одном режиме кнопки-стрелки двигают курсор, в другом прокручивают всё окно. И поныне так действует большинство электронных таблиц, включая Excel и LibreCalc.

Pause

Я не нашёл этой клавиши на компьютерах более ранних, чем IBM PC/AT.

Понятно, что эта клавиша годится только для медленных однопользовательских машин — приостанавливает вычисление, чтобы пользователь мог спокойно прочитать бегущий текст.

Зато в терминалах существовала клавиша «Hold», выкидывавшая пришедшие с мейнфрейма данные в никуда — тоже чтобы прочитать хоть часть бегущего текста.

Break (=Ctrl+Pause)

С телеграфа, и там означает «разрыв»!

Сброс телеграфной сессии происходит разрывом линии. В дальнейшем кнопка разрыва проникла в терминальные протоколы, а потом и во все возможные микрокомпьютеры, только уже ничего не разрывала. В советских компьютерах, как правило, называлась «Стоп».

Ныне прерывает консольную программу. С полноэкранными, как правило, ничего не делает.

Библиотека подпрограмм — несамостоятельный набор кусочков программного кода, предназначенный, чтобы их вызывали из других программ. Например, это может быть компонент визуального оформления, или библиотека для доступа к сети, обработки текстов, компьютерной математики…

Но открытый исходный код лучше, чем закрытые библиотеки в виде DLL, те опасны изначально.

Но на Node.JS, распространившейся в серверном вебе системе, есть нечто, сильно упрощающее жизнь одиночке-разработчику, но и позволившее эту атаку.

Пакетный менеджер — программа, отслеживающая взаимосвязи между компонентами ПО, и централизованно устанавливающая, удаляющая и обновляющая их.

Это значит: программа делится на независимо разрабатываемые пакеты, и для каждого указано, какие пакеты ему нужны для работы. Например, в NPM, тот самом менеджере для Node.JS:

Первыми пакетный менеджер стали использовать сборщики дистрибутивов Linux. Потом — языки Python и JavaScript. И только в 2011 подтянулся менеджер Chocolatey для Windows.

Пакетный менеджер никак не проверяет свои пакеты на вредность. И если версия 1.0.0 проверена как безвредная, где гарантия, что 1.0.1 не получит бэкдор? Вот в этом была проблема: вышло вредоносное обновление, и пакетные менеджеры в разных концах мира обновились до него.

Бэкдор — «чёрный ход», секретная функциональность, позволяющая пробраться в систему постороннему.

Другие известные мне пакетные конфузы

2016: NPM left-pad

Азер Кочулу, американский программист турецкого происхождения, имел несколько пакетов на NPM. Один из этих пакетов звался kik. И вот однажды высоколобые канадцы из Kik Messenger просят его переименовать пакет — он отказался, сославшись, что пишет открытый пакет с таким именем. Они ответили настолько эпично, что разрешите уж процитировать письмо.

Мы не хотим быть кондомами насчёт него [пакета], но это зарегистрированный товарный знак в большинстве стран мира, и если вы выпустите проект по имени Kik, наши юристы по товарным знакам будут долбить в вашу дверь, стирать ваши аккаунты и всё прочее — и у нас нет выбора, ведь мы должны или насаждать товарный знак, или терять его. Можем ли мы прийти к какому-то компромиссу, не привлекая юристов?

Азер разозлился, назвал авторов письма «корпоративными кондомами», и потребовал целых 30 тысяч долларов. Владельцы NPM вручную передали Kik контроль над пакетом, и тогда Азер со злости удалил все свои проекты — в том числе тривиальный left-pad, дополнявший строку до длины N. Это парализовало Babel (транслятор JavaScript, выдававший код, совместимый со старыми версиями интерпретаторов) и React (крупную фронтэнд-библиотеку, то есть выполняющуюся на браузере).

Пакет восстановили.

2020: комбинирование внутренних и общих пакетов

Если ваш пакет внутренний и вы не хотите его никому показывать, в дополнение ко всеобщему хранилищу можно использовать дополнительное.

И тут хакер, подписывавшийся как Alex Birsan, выяснил такое: если каким-то образом пронюхать имя внутреннего пакета, что-то вроде «auth-paypal», и создать одноимённый общедоступный, можно запустить его в глубинных сетях PayPal, Apple и Tesla. Выдавать внутренние имена — это не единичная ошибка, очень многие фирмы делали это. Хакер получил за это по программе охоты на баги минимум 60 тысяч.

Есть борьба?

Иногда. Допустим, тот же NPM позволяет зафиксировать версию конкретного пакета на 1.0.0, указывать его контрольную сумму. Это позволяет загружать только те пакеты, что прошли ревизию.

А что же на Android?

На Android программы более монолитны, и за библиотеками должен смотреть сам разработчик. Не будет того, что программа запустится в не предусмотренной разработчиком конфигурации.

Правда, есть две оговорки — иногда программа для Android представляет собой браузер, показывающий один сайт. Такая прога уязвима настолько же, как и любой другой сайт.

Кроме того, у любой сетевой программы есть серверная сторона, но она обычно устроена значительно проще, чем у сайта с фронтэндом и бэкэндом.

А можно встроить бэкдор так, чтобы он прошёл ревизию?

Можно, но это целая шпионская история, о которой когда-нибудь напишу — если смогу описать её захватывающе. Кто разбирается в компьютерах, гуглите «Бэкдор в XZ».

А вот другая уязвимость, Heartbleed — по-видимому, её когда-то упомянули в документах Сноудена, но это простая ошибка. Просто замеченная государственными хакерами раньше, чем независимыми.