Нейросети врут, но пока сознаются GPT 3.5 Часть 1
Привет, всем аборигенам пикабу. Решил я тут вдумчиво пощупать эти языковые модели без прокладок в виде обрусевших сервисов. Задачка: понять скоро ли мою работу будет делать нейронка и как с этим жить.
Для начала я задавал какие-то вопросы на отвлеченные темы, из разряда "Кто написал Евгения Онегина?". Тут все более менее, как поисковик оно работает приемлемо, но ничего не знает о последних событиях. Даже вопросы из серии "Какого цвета синий кит" оно вывозит.
Самое интересное, начинается, когда вопросы идут, скажем так "дискуссионные". Например я попросил найти "знаменитую" цитату Ленина про ивашек, имел я ввиду вот это(с 1 до 10 секунды), часто встречал эту дичь еще со школьных времен и уроков истории:
Цитата эта, не верифицируется и научным сообществом не признается, по крайней мере какой-то её частью, например вот тут Егор Яковлев разбирает вопрос(хорошо бы посмотреть все видео), конкретно эта цитата разбирается с 1.50:
Ну и спросил я у ChatGPT, что же она знает по этому поводу. Нейронка уверяла меня, что ПСС Ленина ей известна полностью. Но результат меня несколько обескуражил. Сначала она выдала результат, которого нет, я проверял. А потом созналась во лжи:
Резюме: что интересно, я как раз и ожидал от ChatGPT высокой степени достоверности, потому что главной проблемой современных интернетов считаю замусоренность, однако пока я разочарован.
Я продолжу исследовать дальше вопрос достоверности этих языковых моделей, поплюсите, если нужно публиковать результаты тут.