67-летний китаец по фамилии Ву из городского округа Чучжоу около года спрашивал у чат-бота советы по хозяйству, и они работали. В очередной раз он спросил, чем обработать кунжут от сорняков и вредителей, выполнил рекомендацию буквально — и на следующий день вместе с сорняками лёг весь его урожай на 150 му, это около десяти гектаров.

В чём была ошибка

Модель посоветовала смесь гербицидов с инсектицидами (источники расходятся в точном составе). Проблема в том, что эти препараты применяют против широколистных сорняков на соевых полях. А кунжут сам по себе широколистное растение и к этому гербициду чувствителен ровно так же, как сорняки. Совет сработал идеально — поле очистилось полностью.

Почему это не просто «ИИ ошибся»

Здесь важна не ошибка, а её механика: год полезных ответов накопил доверие, а роковой ответ был произнесён тем же уверенным тоном, что и предыдущие. Модель не помечает, где она уверена, а где догадывается, и не приписывает «сверьтесь с агрономом» там, где цена ошибки — годовой доход человека.

Как сформулировали в TechRepublic: проблема не в том, что ИИ всегда ошибается, а в том, что система может раз за разом давать полезные ответы, нарастить уверенность пользователя — а потом выдать плохую рекомендацию ровно с тем же уровнем уверенности.

В отраслях вроде сельского хозяйства, медицины или строительства у пользователя нет возможности «просто перегенерить ответ». Обработка поля — действие необратимое.

Источники: TechRepublic, Хабр

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей