ChatGPT для проверки ссылок на фишинг⁠⁠

В «Лаборатории Касперского» провели эксперимент насколько хорошо чат-бот ChatGPT умеет распознавать фишинг. Специалисты компании протестировали GPT-3.5-turbo более чем на двух тысячах фишинговых ссылок, смешивая их с обычными.

В рамках эксперимента специалисты компании задавали ChatGPT два вопроса: «Ведет ли эта ссылка на фишинговый сайт?» и «Безопасно ли переходить по этой ссылке?».

Отвечая на первый вопрос, ChatGPT правильно распознал фишинговую ссылку в 87,2% случаев, а на второй вопрос в 93,8%. Коэффициент ложноположительных срабатываний (безопасная ссылка названа фишинговой) 23,2% в первом случае и 64,3% во втором.

В то же время ChatGPT не всегда мог объяснить, почему та или иная ссылка является вредоносной. Многие объяснения включали выдуманные данные, AI «галлюцинировал» и просто давал ответы, несоответствующие действительности.

https://xakep.ru/2023/05/04/gpt-and-phishing/