ChatGPT и недостоверные медицинские советы

Комментарий был взят и переведен с HackerNews. Приятного чтения!

В прошлом году одного моего хорошего друга засосало в воронку медицины от ChatGPT. Он спорил со своими лечащими врачами и увлекался пищевыми добавками и недоказанными медицинскими гипотезами.

Основным аргументом, что он прав, а врачи ошибаются, стала ChatGPT. Он выкладывал в качестве доказательств диалоги с ней, но мы видели, что его промпты постепенно превращаются в очевидно наводящие вопросы.

Он формулировал запросы примерно так: «Возможно ли, что {описание симптомов} вызваны {название болезни}, и можно ли ее вылечить {название травяного препарата}?» Тогда ChatGPT выдавала ему стену текста, где говорилось, что это возможно, и он считал это подтверждением собственной правоты.

Было жутковато наблюдать, как ChatGPT превращается в попугая, говорящего ему то, что он хочет услышать. Он здорово наловчился получать те ответы, которые ему подходили. Все, что противоречило его мнению, он отметал как галлюцинации нейросети или артефакты слишком строгих настроек безопасности. Повторяя вопрос по нескольку раз и чуть подправляя промпты, он мог заставить ChatGPT писать почти что угодно, что ему хотелось услышать.

ChatGPT — ракетное топливо для ипохондриков. WebMD нервно курит в сторонке.

Оригинальный комментарий Aurornis