Ваш программный код снова не работает? Поздравляем, это заслуга ИИ!⁠⁠

В новом исследовании опубликованном на Arxiv.org выяснилось, что программный код, создаваемый большими языковыми моделями (LLM), содержит больше багов, чем оболочка Windows 98! Коллектив ученых проверил работу трех ведущих коммерческих и четырех популярных открытых LLM, и результаты оказались веселее, чем ожидалось.

В ходе исследования было выявлено, что большие языковые модели сталкиваются с проблемами при решении сложных задач, создавая код, который чаще всего оказывается ошибочным. Команда ученых разработала даже таксономию багов, разделив их на три категории и 12 подкатегорий. И как будто этого недостаточно, LLMs настолько уверены в своей правоте, что исправляют свои ошибки с успехом в 29,2% случаев только после двух итераций самокритики.

Так что если ваш код, сгенерированный ИИ, напоминает головоломку, не расстраивайтесь. Просто вспомните, что даже искусственный интеллект нуждается в хорошей порции критики и правок.