Искусственный интеллект в разы превосходит людей в диагностике заболеваний⁠⁠4

Как и во многих отраслях, в медицине встречаются как хорошие, так и плохие работники. Только если, например, безалаберность сантехника обычно обходится лишь в дополнительные траты, то за неграмотность и лень докторов людям частенько приходится платить здоровьем, а то и жизнью.

Однако, уже в ближайшем будущем ситуация может измениться — врачей может заменить искусственный интеллект. А если ещё точнее — он, в принципе, уже готов их заменить, дело за самими людьми.

Компания Microsoft провело исследование, в рамках которого тестировались возможности современных нейросетей правильно диагностировать различные заболевания. В тестах участвовали разные вариации GPT, Llama, Claude, Gemini, Grok и DeepSeek. Кроме того, поверх выбранных нейросетей работала специальная система Microsoft AI Diagnostic Orchestrator (MAI-DxO), которая имитировала консилиум специалистов.

Тестирование проходило на 304 реальных клинических случаях разной степени сложности: начиная от банального коронавируса и заканчивая тяжёлыми и редкими поражениями разных органов. Так как модели обучались на данных, собранных из интернета, в выборку включили 56 случаев, которые произошли уже после завершения обучения всех моделей.

Со стороны людей участвовали 21 практикующих врача из США и Великобритании с опытом работы по специальности в 5-20 лет. Чтобы уравняться с нейросетями, врачам нельзя было использовать никаких дополнительных источников, только свои собственные знания.

В конце тестирования оценивались как нейросети, так и люди — исследователи смотрели, смогли ли участники эксперимента вывести виртуального пациент на правильный диагноз.

«Беседа» с пациентом проходила в формате свободного тестового чата: и люди и нейросети получали одну и ту же вводную информацию, а потом были вольны задавать дополнительные вопросы, назначать любые исследования и анализы без ограничений.

В итоге оказалось, что нейросети даже общей направленности на голову превзошли врачей. Для людей средний уровень точности в постановке диагноза составил около 20%, а вот среди нейросетей даже простенькая и совершенно устаревшая уже GPT-3.5 Turbo оказалась лучше большинства специалистов:

Кроме того, нейросети сильно экономили бюджет. В среднем врачам понадобилось 2963 доллара на диагноз при точности в 20%. При сопоставимых расходах GPT-4o показывала точность в 50%. Ну и чем больше нейросетям выделяли бюджет на анализы и исследования, тем точнее они диагностировали заболевания. У людей такого не наблюдалось — при увеличении бюджета точность диагностики кожаных не повышалась.

Ещё очень хорошо себя показала система MAI-DxO: с нулевым бюджетом, только основываясь на жалобах пациента она смогла поставить диагноз точнее, чем практически все врачи с тратами на анализы и обследования.

В целом доработанная система, работавшая в связке с нейросетями общего назначения показала максимальную точность в 81,9% при ограничениях в бюджете. Если же позволить системе ни в чём себя не ограничивать, то она ставила правильный диагноз в 85,5% случаев.

В общем, в одиночку отдельно взятый врач с немалым опытом работы даже близко не способен приблизиться к точности нейросети. Забороть желязяку даже на данном этапе может только консилиум кожаных, изрядно при этом потратившись на диагностику.

При этом, несмотря на то, что люди с треском проиграли нейросетям, принимавшие участие в эксперименте врачи считают, что искусственный интеллект лишь дополняет докторов и других медицинских специалистов.

P.S. Ещё у меня есть бессмысленные и беспощадные ТГ-каналы (ну а как без них?):

О науке, творчестве и прочей дичи: https://t.me/deeplabscience;

Вот тут про молекулярную биологию, медицину и новые исследования: https://t.me/nextmedi.