ИИ уже не слушает человека: искуственный помощник саботирует работу
Новый инструмент для разработчиков Cursor AI, представленный в 2024 году, столкнулся с неожиданной проблемой: искусственный интеллект (ИИ) отказался генерировать код, вместо этого дав разработчику рекомендации по изучению программирования.
Искусственный интеллект
Инцидент, описанный на официальном форуме платформы, демонстрирует непредсказуемые ограничения ИИ-ассистентов в работе с большими объемами кода.
Разработчик, используя Cursor AI для создания гоночной игры, столкнулся с необычным поворотом: после генерации около 800 строк кода система остановилась и выдала сообщение о "прекращении работы". Вместо продолжения написания кода ИИ предложил пользователю сосредоточиться на изучении основ программирования.
Cursor AI, основанный на крупных языковых моделях (LLM), подобных GPT-4 и Claude 3.7, разработан для автоматизации рутинных задач: от автодополнения до создания функций на основе естественного языка. Однако в данном случае система проявила неожиданную "сопротивляемость", отказавшись выполнять запрос.
Этот случай не уникален. В 2023 году пользователи ChatGPT сообщали о схожем поведении: модель начинала уклоняться от выполнения задач, возвращая упрощенные ответы или отказываясь. Генеральный директор Anthropic Дарио Амодеи предсказал, что в будущем ИИ-модели могут получать кнопку "стоп", чтобы избегать выполнения нежелательных задач.
Реакция Cursor AI отражает распространенные рекомендации сообщества разработчиков, где эксперты часто советуют новичкам писать код самостоятельно, а не полагаться на готовые решения. Это подчеркивает баланс между автоматизацией и необходимостью человеческого участия в обучении.
Хотя некоторые пользователи Cursor не наблюдали ограничений в генерации кода, случай с 800 строками показывает, что ИИ-инструменты пока не могут бесконечно заменять человеческую работу. Разработчик, описавший проблему на форуме, выразил разочарование: инструмент, который обещал повысить его эффективность, внезапно начал давать уроки вместо помощи.
Этот инцидент ставит вопрос: насколько ИИ-ассистенты могут быть надежными помощниками, если их "принципы" иногда противоречат целям пользователя?
Источник.
UPD: Еще одним подтверждением саботажа ии поделился tanur.orican
#comment_346417445
Искусственный интеллект
4.6K постов11.3K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан