Всё ещё боитесь, что вас заменит ИИ?

Всё ещё боитесь, что вас заменит ИИ? Openai, ChatGPT, Программирование, Искусственный интеллект, Работа, Длиннопост

«ИИ скоро заменит всех разработчиков!» — панически пишут в комментах те, кто ещё не запускал Cursor на реальном проекте 😅

📊 Новое исследование METR (2025) показало:

опытные разработчики с ИИ работали на 19% медленнее, чем без него.

Да-да, медленнее. Не быстрее. Не так же. А медленнее.

📌 Что исследовали?

Как использование ИИ влияет на производительность опытных open-source разработчиков, выполняющих реальные задачи в известных репозиториях, на которых они работают в среднем уже 5 лет.

🧪 Методология

  • Участники: 16 разработчиков, более 1 500 коммитов каждый.

  • Задачи: 246 реальных задач на популярных open-source проектах (средний возраст — 10 лет, ~1,1 млн строк кода).

  • Эксперимент: задачи случайным образом делились на две группы — с разрешением и без использования ИИ.

  • Инструменты ИИ: Cursor Pro, Claude 3.5/3.7 Sonnet.

  • Данные: сбор экранных записей, опросов, оценки времени и поведения разработчиков.

📉 Результаты

  • Ожидания: разработчики и эксперты предсказывали, что ИИ сократит время выполнения задач на 20–39%.

  • Реальность: использование ИИ увеличило время выполнения задач на 19%.

Причины

  • Разработчики слишком оптимистично оценивали полезность ИИ.

  • ИИ часто требовал доработки — менее 44% генераций были приняты без значительных правок.

  • Высокая сложность и зрелость репозиториев снижала эффективность ИИ.

  • Контекст задачи и внутренняя экспертиза разработчиков часто были недоступны ИИ.

  • Заметна потеря времени на промптинг, ожидание ответа ИИ, ревью и исправление предложенного кода.

🧠 Факторы, способствующие замедлению

  1. Завышенные ожидания от ИИ (разработчики продолжали его использовать, даже если он мешал).

  2. Опыт и знание проекта — ИИ не мог конкурировать с разработчиком, глубоко знакомым с кодовой базой.

  3. Сложность проектов — ИИ хуже справляется в больших, зрелых и нестандартных репозиториях.

  4. Недостаточная надежность ИИ — требовались доработки, частый отказ от предложений.

  5. Недоступность скрытого контекста — ИИ не понимал “негласные” правила и специфику кода.

⚠️ Ограничения

Результаты не обесценивают ИИ в других сценариях, например:

  • для новичков;

  • при разработке с нуля;

  • в проектах без строгих стандартов.

Более продвинутые модели ИИ или техники промптинга могут в будущем обеспечить прирост производительности.

💡 Выводы

  • 🔧 ИИ — это не магия, а инструмент. И пока не идеальный.

  • 💭 Люди и эксперты сильно переоценивают его эффективность.

  • 🤹 Не стоит бросаться в прод с ИИ как с горячей пиццей — можно обжечься и опоздать на релиз.

🧠 А вот кто реально на вес золота — это опытный разработчик с головой на плечах, умеющий дружить с ИИ, но не теряющий здравый смысл.

💬 Как у вас с ИИ в проде? Работает? Мешает?

Пишите в комментах, делитесь опытом — будет интересно сравнить!

--

👉 Публикую такие штуки у себя в Telegram-канале

«Кофе, код и консоль» — про backend, AI в коде, Bitrix и реальные боли разработчиков.

Если интересно — залетай сюда ☕️

Искусственный интеллект

4.5K постов11.3K подписчиков

Правила сообщества

ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Вы смотрите срез комментариев. Показать все
1
Автор поста оценил этот комментарий

Закинул в анализатор твой текст.
Нейроанализатор говорит, что 21% текста создала нейронка.

На деле я по ряду вещей вижу, что тут слегка больше. Почти весь текст был переработан нейронкой, плюс какую-то долю она добавила (скорее всего те самые 21%).


Так что я не боюсь:

Всё ещё боитесь, что вас заменит ИИ?

Ведь это про будущее, а мы уже в настоящем имеем то, что ряд людей уже сами себя заменили этим самым ИИ.

Иллюстрация к комментарию
раскрыть ветку (9)
3
Автор поста оценил этот комментарий

Сервис вам как раз сказал, что с вероятностью почти 80% текст написан человеком.


И не понятно, почему вы вероятность, с которой сервис определяет, что контент создан нейросетью переделываете в процент текста, который ей написан. Очевидно, что это разные и не связанные вещи.


И вообще - не стоит доверять таким сервисам, т.е. непонятна методика их работы и критерии оценки.


Для примера я закинул в тот же сервис "Евгения Онегина" и он мне сказал (следуя вашей логике), что "61% был написан не Пушкиным, а нейросетью"...

Иллюстрация к комментарию
раскрыть ветку (8)
2
Автор поста оценил этот комментарий

То есть вы хотите сказать, что ваш пост - это не копипаста из чат-бота, который вам перефразировал скопированую ему новость из интернета и снабдил говнобулетами?

Это 100% генеративный контент,ю и не важно что там пишут анализаторы. 0 калорийности у это йхерни, а генеративкой от неё фонит за три версты. Вы не чувствуете, что это путь вникуда? Почему не маркируете пост как нейроконтент?

раскрыть ветку (2)
1
Автор поста оценил этот комментарий

Если он будет признаваться в подобных вещах - хомячки не пойдут в его говно-ТГ. Если не пойдут, тогда некому будет продавать говнорекламу, а в дальнейшем не для кого открывать специальные платные подканалы.

0
Автор поста оценил этот комментарий

То есть вы хотите сказать, что ваш пост - это не копипаста из чат-бота, который вам перефразировал скопированую ему новость из интернета и снабдил говнобулетами?

Не копипаста. Хз что за «чат-бот». «Говнобуллеты» сделаны в редакторе Пикабу или что вы имеете в виду?


Это 100% генеративный контент,ю и не важно что там пишут анализаторы.

Так важно или нет? 100% нейросетью написано или 21%? Я запутался уже…


Вы не чувствуете, что это путь вникуда?

Не чувствую


Почему не маркируете пост как нейроконтент?

Потому что сам переводил оригинал и пилил пост.

0
Автор поста оценил этот комментарий

Сервис вам как раз сказал, что с вероятностью почти 80% текст написан человеком.

Зачем ты повторяешь мои слова?


Для примера я закинул в тот же сервис "Евгения Онегина" и он мне сказал (следуя вашей логике), что "61% был написан не Пушкиным, а нейросетью"...

Очевидно, что нейросеть обучалась на наших авторах, поэтому характерные паттерны Пушкина нынче связаны с паттернами нейросетей.


Однако есть другие вещи, палящие нейротексты, которые, понятно дело, я не хочу раскрывать, чтоб такие как ты и дальше продолжали палиться.


Ты конечно можешь пытаться отмазаться, но любому очевидно, "уровень" твоего контента. Хотя если цель собирать хомячков в ТГ, а потом их доить... Ну тут да, они не поймут.

раскрыть ветку (4)
1
Автор поста оценил этот комментарий

поэтому характерные паттерны Пушкина нынче связаны с паттернами нейросетей.

Не понял логики. Люди тоже учатся в школе на текстах Пушкина и други авторов. Почему у людей паттерны должны быть другие?

раскрыть ветку (3)
Автор поста оценил этот комментарий

Вот в том то и проблема пользователей нейросетей - им сложно понимать и самостоятельно достраивать недосказанные логические цепочки.

Так бывает, если часть мыслительного процесса отправить на аутсорс.


Однако давай помогу НА ТВОЕМ УРОВНЕ:

Запрос в qwen (скрин для пруфности)

Суть в том, что человек №1 говорит не просто о том, что нейросеть обучалась на текстах Пушкина и других авторов (это понятно и логично), а о чём-то более специфичном: он говорит, что паттерны Пушкина теперь ассоциируются с паттернами нейросетей , и это, по его мнению, делает тексты, написанные нейросетью в подражание Пушкину, подозрительными или легко опознаваемыми как нейротексты

— он пытается провести параллель: если нейросеть учится на Пушкине, то и люди учатся на тех же текстах, значит, почему у людей и нейросетей должны быть разные паттерны?

Но он не до конца понимает, что человек №1 говорит не о различиях между людьми и нейросетями в принципе, а о том, что нейросети не просто учатся на Пушкине, а воспроизводят его стиль по определённым шаблонам, которые стали характерны именно для нейросетей — и поэтому тексты, написанные ими, могут выглядеть "слишком правильными", "типичными" или "повторяющимися", и этим отличаться от творчества людей, даже тех, кто тоже вдохновляется Пушкиным.

Даже блять нейронка поняла.

Хотя я бы больше выставил акцент на то, что учащийся на текстах Пушкина, все равно не будет Пушкиным, т.к. он более сложный, чем просто ряд текстов. Пушкин это один из столпов нашего языка, поэтому нынче для Пушкиным стать практически невозможно. Так же как нельзя было стать Ньютоном, но можно было стать Эйнштейном... Но уже нельзя стать Эйнштейном.

Иллюстрация к комментарию
раскрыть ветку (2)
1
Автор поста оценил этот комментарий

Окей. Кажется понял вашу мысль: Пример с Пушкиным некорректен, т.к. это "старый текст", который нейронки знают и используют его для генерации новых текстов. Поэтому подобные инструменты распознают оригинал как сгенерированный нейросетью.


Что, кстати, не отменяет моего утверждения о некорректности данной метрики, ведь ее цель отличать текст человека от текста нейронки, а тут эта метрика, очевидно, ломается, что как бы не добавляет ей достоверности. Ну ладно.


Я взял очень свежие тексты, на которых нейронки еще успели обучиться


сегодняшнюю новость с сайта ЦБ РФ - 56% AI generated

https://cbr.ru/press/event/?id=25778


вчерашнуюю новость с сайта Кремля - 69% AI generated

http://kremlin.ru/events/president/news/77446


Что даже больше, чем в моем тексте.


Я пошел еще дальше и взял свое сообщение, написанное сегодня как ответ на вопрос клиента в его внутренней тикетнице (закрытой авторизаций и доступной только во внутренней сети) и..... 92% AI generated (скрин приложил)


Я долго думал, какой текст будет распознан, как "человеческий". Знаете на чем сработало - на моих сообщениях из телеги. С ошибками, сокращениями, жаргонизмами, без особой структуры и форматирования.


Вывод: любой грамотно составленный текст без орфографических и пунктационных ошибок с продуманной структурой, написанный более-менее формальным языком будет распознаваться как AI-generated.

Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

Проблема в том, что эти ваши коекакерские контент мейкеры давно уже пускают пыль AI по своим ноздрям, уже не первый год.

Так же стоит понимать, что медиа уровня сайта Кремля так же является уровнем "обращение к Пушкину". (Как и официальные письма)

Только вот ты не пишешь сюда официальное письмо или новость от имени Кремля.



Сверху добавив, что есть еще важнейшая особенность - нейронки приближаются уровнем "написательства" равным обычному человеку.

Т.е. мы попадаем в проблему, не того, что "нейронка пишет как человек", а то, что среднестатестический человек думает как эта самая нейронка.

Мало кто может показать уникальность мысли, подачи и прочего.

Все делают среднестатистический мозгожевательный шлак.


Не зря нейронки "языковые модели" - они лишь "модель" человека. Пародия, которая очень похожа, но отличается размерами и возможностями.

Люди вгоняя свое мышление в нейронку сами становятся такими же пародиями, но уже на самих себя.


P.S. есть маркеры нейронок, которые сами нейронки не видят (а именно они же и определяют текст как нейронный), но увидит человек. Однако эти паттерны могут принадлежать и людям, которые профессионально занимаются медиа. Обычный человек, даже ведущий свой паблик\тг и т.д., не будет использовать, т.к. это очень специфичные вещи. Поэтому эти паттерны удобны для первичной ловли нейротекстов, без вникания в него (особенно если текст-Франкеншейт, т.е. часть текста с паттерном, другой без). Однако не является доказательством...

Но если дальше вникнуть в текст, в содержимое, то по нему можно понять человек там, по ту сторону экрана, или прокладка между нейронкой и стулом.

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку