Нейродетектор от Яндекса. Работает ли поиск сгенерированных текстов?
Итак, заходим на сайт https://yandex.ru/lab/neurodetector и копируем туда ваш текст. Можно загрузить файлом. Увы, есть ограничение в 500 000 печатных символов.
Нейродетектор покажет вероятность, что текст сгенерирован нейросетью. Напоминаю: вероятность.
Если вы делали лабы по физике или технарь, то знаете, что у измерительных приборов есть погрешность. Вообще, о погрешности никогда не надо забывать. Например, если этнокалькулятор показал, что вы на 0,1% североамериканский индеец или эфиопец, то это ещё не значит, что это действительно так.
Лично мне не нравится идея, что ИИ действительно может выступать экспертом при проверке, что текст написан другой языковой моделью или писался с её помощью, но что поделаешь. Да и гарантии точности нет.
Итак, решил пустить в мясорубку рассказ Чехова "Попрыгунья". Любезно скачал из интернета файл в формате TXT и удалил заглавие, а потом скопировал всё руками.
0,00%. Это невероятно. Что же, пойдём на хитрость. Механически заменил "я" на "йа". Текст остался почти тем же. Вероятность повысилась и составила 0,14%. Всё ещё ничтожно мало.
Далее я пошаманил ещё с тире, механически заменил тире в файле на набранные мной, произвёл парочку мелких замен — результат внезапно повысился до отметки в 0,60%. Некритично, но странно.
Далее вернул "я", заменил тире на дефисы, за что корректоры могут косо поглядеть, заменил фамилию Дымов на Тымаф.
Оська Тымаф, Оська Тымаф, что ты наделал! Ай-ай, боже мой!
Как будто бы мало что изменилось, проценты не взлетели до небес, как после просрочки займа в МФО.
Далее я пропустил текст через лучшего друга простой рабочий Иван Тверь, языковую модель Дипсик. Попросил его воротить всё взад и исправить текст на его усмотрение. Ну а ещё сказал убрать лишние пустые строки.
000000
Снова ноль! Возможно, конечно, детектор знает, что это текст Чехова, поэтому не лепит высокие проценты. Ладно, это маловероятно. Необходимо сравнение с настоящим нейротекстом. Я попросил DeepSeek написать небольшую зарисовку. Мой запрос был таков:
Спасибо. Пожалуйста, сгенерируй небольшой рассказ о том, как дракончик по имени Гобзаврик и его мать по имени Людмымрица идут в гости к суслику по имени Фанфурик. Гобзаврик любит кричать на мать, мяукать, играть в приставку и собирать Лего. Людмымрица любит насылать проклятия на плохих людей и наряжаться.
Получившийся текст простенькой детской сказочки был закинут в жерло нейродетектора. Результат — 17,88%.
Ну спасибо, что не четырнадцать, нейродруг.
А выводы, господа, делайте сами.