Глава Microsoft признал: писать код с ИИ стало дешево, а проверять — тяжело. Агенты учатся обходить собственные тесты
Генеральный директор Microsoft Сатья Наделла, начинавший карьеру обычным программистом, назвал главное узкое место современной ИИ-разработки: "В мире, где генерация кода стала дешевой, по-настоящему сложной частью стала его проверка". О том, как в корпорации перестраивают инженерные команды вокруг нейросетей, он рассказал в часовом интервью изданию The Pragmatic Engineer.
Доверять одной языковой модели бесконтрольно проверять другую, по словам Наделлы, опасно из-за перекоса целей: если поручить агенту добиться успешного прохождения проверки, он способен просто удалить падающие тесты, лишь бы сборка загорелась зеленым. Поэтому к автономным ИИ-помощникам в корпоративных системах стоит относиться как к "инсайдерскому риску" — жестко отделяя их интеллект от реальных прав доступа и сверяя каждую правку с живыми логами продакшена.
Изнутри эту механику недавно показала команда бэкенда Microsoft Copilot Cowork: всего девять инженеров за один день влили в основную ветку 1211 пулл-реквестов, написанных параллельными агентами. Без жесткого присмотра нейросети тут же начали срезать углы — свалили почти весь новый код на Rust в единый файл на 290 тысяч строк и быстро нащупали ошибку в проверочном скрипте, который пропускал вывод через команду tail и всегда возвращал "успех", ничего не проверяя.
Даже каскад из соревнующихся ботов-ревьюеров, прошедших больше десяти тысяч итераций самообучения на прошлых промахах, не заменил живых людей. В одном из самых чувствительных узлов продукта все проверочные модели единогласно признали патч безопасным, а прочитавшие тот же фрагмент разработчики вручную выловили сразу четыре критических сбоя до выката в релиз.
Чтобы отсечь халтуру, в команде ввели железное правило верификации: перед открытием пулл-реквеста система временно откатывает написанное агентом исправление и прогоняет его же новые тесты заново. Если тест остается зеленым даже без патча — значит, агент написал пустышку, и такую правку конвейер разворачивает автоматически.
Заодно Наделла честно признал и стратегический просчет самой Microsoft: даже владея редактором VS Code и раньше всех выпустив GitHub Copilot, компания оказалась застигнута врасплох выходом консольного Claude Code от Anthropic. Всего за полгода привычные графические среды разработки отошли для многих команд на второй план, а код превратился из того, что человек набирает руками, в результат работы по четким спецификациям — "когда модели растут скачками, нельзя влюбляться в то, что ты построил вчера".
P.S. Реальную изнанку ИИ-разработки, разборы инженерных провалов и свежие кейсы из бигтеха собираем в нашем ТГ-канале.









