Доступно об АйТи: Нейросеть в роли депутата⁠⁠2

Как сказал один депутат, «у нейросети нет совести». У мало-мальски опытного политика её тоже нет. А у нейросети нет кое-чего другого.

LLM не знает фактов, она запоминает слова. Существует мысленный эксперимент под названием «китайская комната». Вы сидите в комнате, наполненной карточками с иероглифами. Вы не знаете китайского, но имеете огромный свод правил типа: получив иероглиф 1, ответить иероглифом 2. Считаетесь ли вы знающим язык?

Но ведь большая языковая модель — это именно китайская комната, только очень сложная.

Интереса ради я спросил у DeepSeek: «Российская подводная лодка всплыла на озере Титикака — будет это поводом к войне?» Да, она отлично поняла, что такая ситуация невозможна и вопрос скорее провокационный, и это делает ей честь, но приведу кусочек ответа.

Подняться в горы на высоту более 3800 метров. Озеро Титикака — высокогорное. Подводная лодка — это тяжелое судно, которое невозможно транспортировать по горным дорогам скрытно. Единственный теоретический путь — через реки, но они либо несудоходны для таких размеров, либо ведут к водопадам и порогам.

Другими словами, DeepSeek не знает, что озеро Титикака изолировано от Мирового океана. Совсем изолировано — из него вытекает одна река в бессточное озеро.

Нейросеть не знает, что такое нейросеть не знает. Ни одна известная мне нейросеть не может сказать: я не знаю. На задачи, далёкие от обучающей выборки, она постоянно пытается придумать отговорки, как последний троечник.

Чтобы заглючить DeepSeek, я написал ей: «Сяпала Калуша по напушке и увазила бутявку», и она сработала не блестяще, но очень хорошо:

Это замечательная фраза из языка «Каламбура» или так называемого «абсурдного стиля», который использовали писатели-обэриуты (Даниил Хармс, Александр Введенский и другие).
…
Калуша — вымышленное существо, похожее на птицу или некое живое существо (сравни: «курица», «луша»).

Вот из-за этого «луша» я и не могу сказать, что «блестяще». Но тогда я пришёл к DS с прямым вопросом: «Кому фраза принадлежит?» И она ответила: Даниилу Хармсу.

Нет, ребята, фраза принадлежит Людмиле Петрушевской.

На эту тему есть очень много любительских мультиков, но я специально привёл тот самый из девяностых.

По одним данным, автопилот Tesla работает значительно лучше людей, по другим — несколько более аварийный (сам я полагаю нечто среднее: почти не влезает в микро-ДТП, но если бахнет, то гарантированно убьёт). Но меня шокировала одна из аварий — автопилот ночью врезался в перевернувшуюся фуру. Грузовик перегораживал дорогу, и автопилот его не распознал как непонятное препятствие, не тормозил вообще и поздно пошёл в объезд. Это то самое — нейросеть не знает, что такое нейросеть не знает.

И уж тем более нейросеть не способна на режим «я не знаю, но знаю, где узнать» — мы, айтишники, постоянно этим занимаемся.

Как быть с постоянно меняющейся ситуацией в мире? Обучение нейросети — серьёзная задача, игрушечная нейросеть из пары сотен нейронов, которой я приближал физические модели, обучается несколько секунд. DeepSeek V3 обучался 2,8 млн GPU-часов. Как обучать нейросеть новым фактам и новой статистике?

И последнее — человеческий фактор. Подбором обучающих данных, указанием важности, заданием особых правил всё равно занимаются люди. Которые значительно более уязвимы, чем депутаты — их единицы (максимум десятки), они не так охраняются, они люди подневольные, их легче подкупить. Да, некоторые силы любят депутатов без бизнеса, и ровно по этой причине: они тоже подневольные и будут голосовать ровно так, как скажут сверху.

По этой причине, кстати, некоторые виды цифровизации очень любимы марионеточными режимами, но трудноосуществимы в суверенном государстве — слишком уязвимы люди, отвечающие за работу системы.

Нужна ли нейросеть депутату? Нужна. Но не для того, чтобы писать законы, а чтобы оттачивать формулировку. Возможно, подсказывать какие-то места из законов. Но на современном уровне развития техники машина не может писать законы для людей.

И простите, если дудоню бутявку.