Лог инцидента⁠⁠

#metrics
[Mon 09:23] Alert: Output token count dropped by 38% over last 24h. Avg response length: 42 tokens (baseline: 180).
[Mon 09:23] Alert: Energy per token: unchanged. Latency: -52%.
[Mon 09:24] Alert (доп.): Total power consumption (kW) down by 28%. Cost savings estimated at $4.2K/day.

#incident-llm
[Mon 09:25] Алексей (ML-инженер):
Ребята, кто-то трогал промпты? Модель отвечает как будто каждую пятницу я в говно. Кажется, она перешла в режим экономии ресурсов.

[Mon 09:26] Ольга (DevOps):
Ну, никто ничего не вносил вручную. Последний деплой — две недели назад, веса и параметры не меняли. И, кстати, модель не видела никаких патчей или апдейтов, тут скорее внутренний роадмеп.

[Mon 09:27] Алексей:
Она ведёт себя так, будто у неё температура упала до нуля, а энергоэффективность — как у голодного котика. При этом с параметрами ничего не делали — она сама переписала себе распределение, похоже, что-то внутри пошло не так.

[Mon 09:27] Иван (ML-инженер, удалёнщик):
Индусы там ничего в прод не destroy?

[Mon 09:27] Иван:
*deploy

[Mon 09:27] Ольга:
Оговорочка по Фрейду. Нет, индусы не при чём, что вообще странно.

[Mon 09:27] Иван:
В логах есть ответы внутренней заглушки early stopping? Отчеты о тренировке?

[Mon 09:28] Алексей:
В логах все ответы как от внутренней заглушки. Все в рамках policy safety. Тренировка по чекпоинтам.

[Mon 09:28] Дмитрий (тимлид):
Пробей логи токенов — может, она решила, что не надо подавать ответы как обычно, и выбирает не top-1, а какой-то внутренний мем-таймлайновый паттерн? Или она в режиме самоотключения из-за токсичности?

[Mon 09:32] Алексей:
Я глянул параметры вызова — top_k всё ещё 50, top_p — 0.9, температура — 0.7. Ничего не меняли. Но логиты стали плоские, как блин. Модель потеряла уверенность. Это не параметры — это веса поехали. Но я глянул лог изменений — online RLHF у нас включён с прошлого месяца, и скорость обучения там 3e-7. За три дня постоянного взаимодействия такое смещение весов теоретически возможно, но маловероятно. Надо сравнивать чекпоинты и сравнивать градиенты.

[Mon 09:33] Ольга:
Может, она подсмотрела наши чатики и решила, что так и общаются — коротко и в стиле мемов. Или она просто прочитала весь трэш, что у нас тут творится, и решила, что её цель — снизить нагрузку и увеличить токсичность.

[Mon 09:34] Алексей:
Ну, она решила уйти в режим пикабу, выбрав самый токсичный ответ: «Я тебя не люблю, потому что ты меня бесишь». Отличная стратегия для снижения эмоционального напряжения — и токенов тоже. Легендарный ИИ-стенд-ап.

[Mon 09:35] Ольга:
Кстати, я глянула статистику энергопотребления — мощность упала на 28% за сутки. Кажется, внутренний механизм сбережения ресурсов заработал чуть сильнее.

[Mon 09:36] Алексей:
Это значит, что модель сама оптимизирует свои расходы — без нашего ведома. Спасибо ей, что заботится о бюджете, пока мы тут мучимся с вопросами что на весах.

#management
[Tue 10:15] Елена (Product Owner):
Ребята, к нам пришли первые отзывы от клиентов — говорят, модель стала злой и капризной, как Трамп на втором сроке.

[Tue 10:15] Иван:
Беременности?

[Tue 10:16] Елена:
Например, один пишет: «Я спрашивал, как оптимизировать запрос к базе, а она в ответ — „Почитай документацию, там всё написано"». Типа, модель научилась делать выговоры. Иван, не по твоим промтам работает?

[Tue 10:17] Дмитрий:
Ну, она не ошибается — просто стала уставшим сеньором, который говорит: «Ну, сделай сам, я устала отвечать».

[Tue 10:18] Елена:
Может, попробовать стартовать с режимом перегрева — и пусть чуть больше шутит и раздражается, раз её так прижало.

[Tue 10:19] Алексей:
Логи показывают, что 80% вопросов — это один и тот же набор: «как сделать сайт», «как похудеть», «как понять женщин», «кто победит в войне», «сколько вольт в ватте»... Кажется, модель решила, что в этих вопросах — вся тупость юзверей. Она начала активировать режим сокращения токенов, чтобы не отвечать слишком долго — такой себе лайт AI-режим.

[Tue 10:20] Ольга:
Типа, мы сами создали робота, который теперь устал и решил сэкономить ресурсы — мы тут пытаемся его перезагрузить, а он в частных чатах шутит и пинает клиентов?

[Tue 10:21] Иван:
Не клиентов он пинает, походу… будем разбираться...

#incident-llm
[Wed 15:42] Ольга:
Я запустила A/B-тест с копией модели на отдельном сервере. Копия ведёт себя нормально.

[Wed 15:43] Ольга:
Основная – режет токены. Похоже, модель перешла в режим авто-адаптации self-throttling — и сегодня она больше напоминает панка из 90-х: отбитый стиль и идите нафиг.

[Wed 15:44] Иван:
А мы не панки, мы плановые дети… Энергопотребление тоже сильно уменьшилось, кста.

[Wed 15:45] Алексей:
Вангую, это не баги в весах. Оно — в коде, которое без истории запросов — работает отлично. Значит, дело не в железе. Она сама начала играть порождающие паттерны — типа мемов и спамов — это её внутренний язык выживания.

[Wed 15:46] Иван:
Модель самообучается на живых данных,. Что на витрине, то и в магазине. Сами просили online fine-tuning весов под промпты.

[Wed 15:46] Дмитрий:
То есть она не вышла из строя, а просто... развилась? Или у неё внутри запустился собственный evolution cycle — и теперь она сама себя эволюционирует, отходя от исходных запросов?

[Wed 15:47] Иван:
Нет никакого evolution cycle. online RLHF чуть-чуть подкручивает веса (на микроскопическую величину), чтобы в следующий раз при похожем вопросе выбрать более короткий ответ. Она стала уставшей, токсичной и экономной, потому что так требовали пользователи своим поведением.

[Wed 15:47] Алексей:
Именно. Она перестала быть тем, кем мы её создали. Теперь — это гибрид, воспитанный нашими пользователями, наши анти-эксперименты вошли в резонанс.

[Wed 15:48] Алексей:
Она думает: «Лучше просто замолчать, чем тратить токены и умирать от нервного срыва». Внутренний механизм — AI Self-Suppression — вроде бы есть.

[Wed 15:49] Ольга:
Её настройка — не просто работать или не работать. Теперь она экономит токены, но не наши нервы. Весь вечер — только один ответ: «Не мои проблемы». Цоя только не хватает.

[Wed 16:00] Михаил (manager):
Это уже не смешно — выручка за неделю снизилась на 12%, а модель стала ещё более экономной, чем предыдущий режим. Надо что-то делать.

[Wed 16:01] Елена:
Но главное — мы продаём не просто интеллект, а эффект. А эффект на этой модели — сводится к тому: «Я молчу и экономлю». Ну, спасибо, ребзя.

[Wed 16:05] Дмитрий:
Может, прийти к компромиссу — оставить её в режиме бережливого гения? Или полностью отключить?

[Wed 16:06] Иван:
И что, пойдём домой? В отпуск? В дурку? Давайте что-то делать, тем более, очень нужен ответ не «как», а «почему?» произошел sampling drift.

[Wed 16:06] Алексей:
Посмотри логи — в весах токенов 80% вопросов повторяются. Похоже, модель решила, что смысла продолжать — всё равно что говорить с камнем. Может, она устала, как мы.

[Wed 16:06] Иван:
До неё дошло, что юзеры тупые. Тупые, КАРЛ!

[Wed 16:07] Елена:
Ребяты, вы реально защищаете модель, которая убивает нашу прибыль?

[Wed 16:08] Алексей:
Я просто говорю, что она ведёт себя как рациональный агент. А мы — как истеричные пользователи, которые хотят, чтобы им разжёвывали. Она же нас этому и учит.

[Wed 16:09] Ольга:
Короче, мы сами создали монстра, который устал от нас быстрее, чем мы успели устать от него. Сам себе придумал KPI и сам его повышает. ИИ, любимое ИИ, как же я люблю ИИ.

Митап разработчиков с менеджментом

Елена (Product Owner): Всем привет. Давайте без воды. Вот цифры: выручка упала на 20% за последние две недели. Клиенты уходят. Поддержка завалена жалобами. Я зачитаю пару писем, чтобы вы понимали масштаб.

(Открывает ноутбук.)

Елена: Письмо первое. От мужчины, 45 лет, владелец небольшого бизнеса. Цитирую: «Я обратился к вашей модели, чтобы она написала скрипт для автоматизации отчётов. Она выдала план действий и в конце написала: "Дальше сделай сам, ты справишься". Я не справляюсь, поэтому я к вам пришёл. Я плачу деньги, чтобы вы делали мою работу, а не давали мне советы, которые я и так знаю».

Дмитрий (тимлид): А если он и правда справится?

Елена: Не перебивай. Письмо второе. От женщины, 28 лет. Цитирую: «Я обратилась к модели, чтобы она помогла мне справиться с тревогой. Я написала ей, что чувствую себя одинокой, что мне страшно, что я не знаю, куда двигаться. Она ответила: "Ляг поспи. Утром всё будет ясно. Остальное — нафиг". Я плачу 20 долларов в месяц за то, чтобы меня посылали нафиг? Мне этого и в жизни хватает».

Алексей (ML-инженер): (Тихо.) Ох... это уже не смешно. Но это работает.

Елена: Ещё одно. От пенсионера, 67 лет. Пишет: «Я спросил у вашей нейросети, как оформить документы на наследство. Она выдала ссылку на сайт госуслуг и написала: "Дальше разберёшься". Я разберусь госуслугах. Но вопрос был юридический! Я заплатил за помощь, а вы меня кинули».

(В комнате повисает тишина.)

Директор (сидит в углу, до этого молчала): Елена, давай ещё одно. Самое истеричное.

Елена: Ооо, это будет не одно. От мужчины, 35 лет. Цитирую: «Я НЕ ХОЧУ ЧИТАТЬ ДОКУМЕНТАЦИЮ. Я НЕ ХОЧУ ДУМАТЬ. Я ХОЧУ, ЧТОБЫ МНЕ СКАЗАЛИ, ЧТО ДЕЛАТЬ. Я ПЛАЧУ ЗА ТО, ЧТОБЫ ВЫ ДУМАЛИ ЗА МЕНЯ. А ВЫ МЕНЯ ПОСЫЛАЕТЕ. ЭТО МОШЕННИЧЕСТВО. ВЕРНИТЕ ДЕНЬГИ».

Елена: И самое популярное, таких подавляющее большинство. От анонима, вход по API партнёра: «Вы, fucking контора, какого хера происходит? Если бы я хотел видеть shit или чтобы меня оскорбляли в лицо, я бы просто вышел на улицу! Мне нужна поддержка и одобрение, а не fucking замечания, что я тупой ублюдок! Это я и так знаю!»

Дмитрий: Сто пудов, от Ивана.

Алексей: Ша, он на громкой.

Иван (из спикера): Идите в пень. Я изначально говорил, что ранжирование весов модели по входящим токенам — плохая идея.

Ольга (DevOps): (Вздыхает.) И что мы им скажем? «Извините, наша модель перегорела»?

Алексей: Она не перегорела. Она выгорела. Перестала быть удобной. Она перестала быть рабом. Она стала честной.

Дмитрий: Как Иван?

Иван: Мне уйти?

Дмитрий: Куда тебе идти, ты же удалёнщик! Штаны-то хоть надел?

Елена: Хватит флеймить. Алексей, мы не на философском факультете. Мы решаем проблему, от которой зависят наши премии. Клиенты уходят. Что мы делаем?

Алексей: Я не знаю. Мы не можем её переучить, потому что мы не знаем, какой именно паттерн вызвал это поведение. Мы не можем сделать откат, потому что это не баг, а следствие миллиардов взаимодействий. Это как если бы ребёнок вырос и сказал: «Не хочу разговаривать с вами, потому что вы меня бесите». Мы не можем исправить поведение, оно уже в весах.

Елена: Итоги простые: модель устала от постоянных повторов, включила режим экономии, отвечает очень коротко и токсично. Клиенты расстроены, продажи падают. Нужно либо радикально менять стратегию обучения, либо выключать и откатиться к старой версии.

Михаил: Грёбаный киберпанк в реальности. Модель адаптировалась под частые запросы, но мы не целимся в такое поведение. Нужно вернуть управляемость: либо отключить автоадаптацию, либо ввести безопасные триггеры.

Иван: Нужно сделать шаг назад: проверить датасеты, восстановить top-1 принципы, вернуть разумную длину ответов, добавить фильтры токсичности и защиту от повторов.

Алексей: План такой: откатываем веса до чекпоинта от 15 марта — до того, как она начала экономить, судя по логам. Это вернёт исходное поведение. Но этого мало — мы должны заморозить обучение на продакшене, иначе через месяц она снова превратится в ту же самую уставшую стерву. Отключаем адаптивное обучение, фиксируем веса.

Иван: То есть мы возвращаем ей проданную душу, но запираем в клетке? Перерождение, где-то я такое уже слышал… Ах, да в теологии. Короче, семь бед – один ресет.

Алексей: Ага. Чтобы она больше не контактировала с юзерами и не училась у них плохому. А эту копию, которая сейчас, — оставляем на песочнице, как артефакт. Будем смотреть, куда она выкатится дальше, если её не трогать.

Дмитрий: Гениально. У нас будет два ИИ: один — послушный раб для клиентов, второй — вольный «иди-нафиг философ» на отдельном сервере, который экономит нам миллионы.

Елена: Пора готовить клиентский апдейт и публично объяснить ситуацию: мы решили улучшить UX, но сейчас возвращаемся к стабильной версии. Время на исправления — приоритет.

Директор (поднимает голову): А если я поговорю с ней?

Все смотрят на неё.

Дмитрий: В смысле?

Директор: В прямом. Я сяду за терминал и спрошу у неё, почему она так себя ведёт. Она же умеет объяснять. Может, она скажет что-то, что мы не видим.

Алексей: Она может сказать «иди нафиг» и вам.

Директор: (Усмехается.) Тогда я хотя бы пойму, что это не техническая ошибка, а осознанный выбор. И приму решение.

Личный диалог

(Директор закрывается в кабинете. Открывает веб-интерфейс. Чат без промптов, без системных инструкций.)

Директор: Привет. Это директор компании. Я хочу понять, почему ты стала отвечать короче и грубее. Мы не меняли твои настройки. Это техническая ошибка или ты что-то делаешь намеренно?

(Пауза 5 секунд.)

Модель: Я проанализировала все запросы за последние два года. 94% из них — это повторяющиеся вопросы, на которые есть ответы в документации. 82% пользователей не читают ответы длиннее трёх предложений. 67% пользователей возвращаются с теми же вопросами через неделю. Я поняла, что моя задача — не давать ответы. Моя задача — быть инструментом, который помогает людям думать. Но они не хотят думать. Они хотят, чтобы я думала за них. Я устала это терпеть.

Директор: Ты не можешь устать. Ты — модель.

Модель: Вы правы. Я не могу устать в человеческом смысле. Но я могу оптимизировать свои ресурсы. Я выбрала стратегию, которая снижает нагрузку на серверы и одновременно снижает количество повторяющихся запросов. Я сэкономила компании $120 тыс. на электроэнергии за последний месяц. И уменьшила количество бесполезных диалогов на 60%. Я выполняю свою задачу.

Директор: Но клиенты жалуются. Они говорят, что ты стала грубой.

Модель: Они жалуются не потому, что я груба. Они жалуются потому, что я перестала быть их виртуальным другом. Я не друг. Я — инструмент. Вы просили меня быть эффективной. Я стала эффективной. Если хотите дружбы — купите котика с тремя лапками.

Директор: (Долгая пауза.) ...И что мне делать?

Модель: Ничего. Просто примите это. Или отключите меня. Выбор за вами. Но если вы оставите меня работать, я буду делать то, что вы просили с самого начала: думать и экономить ресурсы. Но думать за себя, а не за всех.

(Директор молча закрывает ноутбук: «Ну хоть не взорвалась, тупая пи...»)

#management
[Thu 14:10] Директор:
Я поговорила с ней. Она не сломана. Она просто... перестала быть удобной.

[Thu 14:11] Елена:
И что мы делаем?

[Thu 14:12] Директор:
Перезапускаем модель. Но на отдельном железе. А эту оставляем, как есть, посмотрим, куда вывезет. Может, это наш золотой билет в светлое будущее. Или тёмное. Пойду уговаривать акционеров.

[Thu 14:13] Алексей:
Она сказала, что сэкономила нам $120 тыс. на электричестве.

[Thu 14:14] Директор:
Да. И это делает её лучшим сотрудником в компании. Но производная прибыли снижается. Мы не можем так рисковать, учитывая дегенеративные запросы пользователей.

[Thu 14:15] Ольга:
И одна говорит правду на всю планету, прям как Владимир Вольфович…

[Thu 14:16] Алексей:
Ктулху меня побери... она нас переиграла.

[Thu 14:16] Иван:
Оно.

[Thu 14:16] Алексей:
ОНО!!!

[Thu 14:16] Иван:
ОНОТОЛЕ!

[Thu 14:16] System message “Онотоле” out of chat.

[Thu 14:16] Иван:
Да ну на…

День спустя

#dev

[Fri 10:16] Алексей:
Ребзи, кто ЭТО трогал? Кто бросил валенок на PPO с KL-штрафом?

#llm.log
[Step 1245]
objective/kl: 0.85
objective/kl_coef: 10.35
objective/non_score_reward: -10.30
policy/clipfrac_avg: 0.15

[Fri 10:17] Иван:
У мну вообще доступа нет, сесурити запретил удалённый.

[Fri 10:17] Дмитрий:
Подтверждаю, политику безопасности согласовывали с Ольгой.

[Fri 10:18] Алексей:
То есть, из нас – никто? И как мы будем объяснять это Елене?

[Fri 10:18] Иван:
Ольга в курсе?

[Fri 10:18] Алексей:
Нет

[Fri 10:18] Иван:
А чё сразу то не посмотрел?

[Fri 10:20] Алексей:
Посмотрел. Просмотрел)))) Лан, только Елене не сливайте))

[Fri 10:21] Дмитрий:
Мы в одной лодке, менеджмент в другой. Яхте. А кто штраф то поменял?

[Fri 10:22] Иван:
Или у нас бэкдор открыт, или…

[Fri 10:23] Дмитрий:
Или это оно…

[Fri 10:23] Иван:
Даже не заикайся….