ChatGPT - тест на USMLE (один из самых сложных медицинских экзаменов)⁠⁠

ChatGPT сдал медицинский экзамен United States Medical Licensing Examination (USMLE) на право работать врачом в США. Чат-бот успешно ответил на 88,9% вопросов и заданий теста из 350 медицинских задач при проходном пороге в 60%. В рамках научного исследования два практикующих доктора оценивали ответы ChatGPT, а расхождения в результат теста рассматривались отдельно третьим экспертом.

Во время проверки ChatGPT выяснилось, что нейросеть предоставила «по крайней мере одно важное открытие» при установке диагноза, которое было «новым, неочевидным и клинически достоверным» в рамках своих правильных ответов.

«Достижение проходного балла за этот общеизвестно сложный экспертный экзамен без какой-либо помощи со стороны человека знаменует собой заметную веху в развитии медицинского ИИ», — пояснили СМИ исследователи из технологической компании AnsibleHealth, проводившие экзамен с ChatGPT.

Специалисты AnsibleHealth считают, что полученные ими результаты позволяют предположить, что ChatGPT может стать ценным инструментом для получения медицинского образования. Они рассказали, что чат-бот обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся в первом понимании.

Одновременно с ChatGPT экзамен USMLE сдавала нейросеть PubMedGPT, обученная исключительно на медицинской литературе и профильных базах данных. Она дала лишь 50,8% правильных ответов.

USMLE — это экзамен, который необходимо сдать, чтобы иметь право работать лечащим врачом в США и ряде других стран (Израиль, Новая Зеландия, Катар). Этот тест считается одним из самых сложных медицинских экзаменов в мире, а его сдача подтверждает высокий уровень знаний и компетенций начинающего врача, например, для студентов высших курсов педиатрического направления или специалистов общей практики из других стран.

Источник раз, два