Likhachev

«ИИ скоро заменит всех разработчиков!» — панически пишут в комментах те, кто ещё не запускал Cursor на реальном проекте 😅

📊 Новое исследование METR (2025) показало:

опытные разработчики с ИИ работали на 19% медленнее, чем без него.

Да-да, медленнее. Не быстрее. Не так же. А медленнее.

📌 Что исследовали?

Как использование ИИ влияет на производительность опытных open-source разработчиков, выполняющих реальные задачи в известных репозиториях, на которых они работают в среднем уже 5 лет.

🧪 Методология

• Участники: 16 разработчиков, более 1 500 коммитов каждый.

• Задачи: 246 реальных задач на популярных open-source проектах (средний возраст — 10 лет, ~1,1 млн строк кода).

• Эксперимент: задачи случайным образом делились на две группы — с разрешением и без использования ИИ.

• Инструменты ИИ: Cursor Pro, Claude 3.5/3.7 Sonnet.

• Данные: сбор экранных записей, опросов, оценки времени и поведения разработчиков.

📉 Результаты

• Ожидания: разработчики и эксперты предсказывали, что ИИ сократит время выполнения задач на 20–39%.

• Реальность: использование ИИ увеличило время выполнения задач на 19%.

Причины

• Разработчики слишком оптимистично оценивали полезность ИИ.

• ИИ часто требовал доработки — менее 44% генераций были приняты без значительных правок.

• Высокая сложность и зрелость репозиториев снижала эффективность ИИ.

• Контекст задачи и внутренняя экспертиза разработчиков часто были недоступны ИИ.

• Заметна потеря времени на промптинг, ожидание ответа ИИ, ревью и исправление предложенного кода.

🧠 Факторы, способствующие замедлению

1. Завышенные ожидания от ИИ (разработчики продолжали его использовать, даже если он мешал).

2. Опыт и знание проекта — ИИ не мог конкурировать с разработчиком, глубоко знакомым с кодовой базой.

3. Сложность проектов — ИИ хуже справляется в больших, зрелых и нестандартных репозиториях.

4. Недостаточная надежность ИИ — требовались доработки, частый отказ от предложений.

5. Недоступность скрытого контекста — ИИ не понимал “негласные” правила и специфику кода.

⚠️ Ограничения

Результаты не обесценивают ИИ в других сценариях, например:

• для новичков;

• при разработке с нуля;

• в проектах без строгих стандартов.

Более продвинутые модели ИИ или техники промптинга могут в будущем обеспечить прирост производительности.

💡 Выводы

• 🔧 ИИ — это не магия, а инструмент. И пока не идеальный.

• 💭 Люди и эксперты сильно переоценивают его эффективность.

• 🤹 Не стоит бросаться в прод с ИИ как с горячей пиццей — можно обжечься и опоздать на релиз.

🧠 А вот кто реально на вес золота — это опытный разработчик с головой на плечах, умеющий дружить с ИИ, но не теряющий здравый смысл.

💬 Как у вас с ИИ в проде? Работает? Мешает?

Пишите в комментах, делитесь опытом — будет интересно сравнить!

--

👉 Публикую такие штуки у себя в Telegram-канале

«Кофе, код и консоль» — про backend, AI в коде, Bitrix и реальные боли разработчиков.

Если интересно — залетай сюда ☕️