1

Ответ Velephec в «Либо слоп, либо смерть: можно ли верить детекторам AI-текстов?»⁠⁠

Серия Секреты современного автора

Современная литература находится на переломе. На неё одновременно влияют классические традиции, воплощённые мастерами вроде Стивена Кинга за границей и таких мастеров русской литературы как Пушкин, Толстой и Достоевский у нас на родине. Стремительное развитие технологий искусственного интеллекта и алгоритмов соцсетей меняют методы социального взаимодействия. Как же меняются литературные стандарты под воздействием алгоритмов и могут ли нейросети не просто имитировать, но и задавать стиль письма? В этом то мы и попытаемся разобраться.

Генеративные инструменты или когда алгоритмы смогут задавать стиль?

С бурным распространением генеративных инструментов, возникает резонный вопрос: "Смогут ли алгоритмы не просто помогать с текстом, но и формировать самостоятельные стилистические направления?"

  1. Текущие возможности.

Современные нейросети вроде ChatGPT, YandexGPT, GigaChat и специализированные инструменты вроде Jasper и Copy ai уже демонстрируют способность адаптироваться под заданный стиль. Они могут анализировать пример текста и подражать его тональности, ритму и лексике.

2. Технические ограничения.

Несмотря на прогресс, большие языковые модели пока неспособны к настоящему творчеству. Как отмечают эксперты, алгоритмы работают с паттернами, а не со смыслами, что ограничивает их способность создавать по-настоящему новаторские стилистические решения. Качество генерируемого контента может страдать при работе со сложными темами, а факты нуждаются в тщательной проверке. Особенно это касается русского языка.

3. Перспективы.

Профессор экономики MIT Дарон Аджемоглу выделяет два возможных будущего развития. Либо нейросетевые алгоритмы станут инструментом «посредственной автоматизации», либо будут использоваться как «про-рабочий» инструмент, расширяющий человеческие возможности. В литературном контексте это означает либо поток шаблонных текстов, либо появление принципиально новых инструментов творчества.

Критический момент может наступить, когда сервисы гигантов вроде Гугл и Яндекс разовьют способность не имитировать, а создавать устойчивые стилистические паттерны, которые окажутся привлекательными для человеческого восприятия. Пока же нейросети остаются мощными ассистентами, но не творцами.

Социнжиниринг литературных стандартов и как алгоритмы меняют спрос

Алгоритмы социальных сетей уже сегодня активно влияют на литературные предпочтения массовой аудитории, создавая новый тип социального инжиниринга в литературе.

  1. Формирование клипового сознания.

    Исследования влияния социальных сетей на русский язык показывают, что виртуальная коммуникация породила особый язык общения, который постепенно проникает в повседневную жизнь. Сетевой язык превратился в новый стиль онлайн-общения, где наличие орфографических ошибок входит в привычку и становится причиной падения грамотности.

2. Механики вовлечения.

Алгоритмы платформ построены на принципах быстрого вовлечения через лаконичность и эмоциональность. Простота восприятия становится ключевым качеством успешного контента. Это не может не влиять на литературные стандарты, делая популярными формы, соответствующие цифровой эпохе через короткие рассказы, миниатюры, фрагментарные повествования.

3. Обратная связь в реальном времени.

Писатели сегодня получают немедленную реакцию на свои произведения через отзывы, рейтинги и обсуждения в соцсетях. Это создаёт мощный контур обратной связи, неосознанно влияющий на творческие процессы. Алгоритмы рекомендаций дополнительно усиливают этот эффект, формируя литературные «пузыри» и направляя спрос в определенное русло.

Будущее литературных стандартов находится между человеческим и алгоритмическим.

Литературные стандарты, безусловно, будут меняться, и это естественный процесс. Однако сегодня впервые в истории у человечества появился мощный инструмент целенаправленного изменения этих стандартов через алгоритмическое влияние.

Стандарты Кинга с их акцентом на ясность, эмоциональную вовлеченность и чистоту языка ещё долго будут оставаться ориентиром, потому что они основаны на глубоком понимании человеческой психологии, а не технологических ограничениях.

Генеративные инструменты вероятнее всего займут нишу мощных ассистентов, которые смогут адаптировать классические стандарты под новые форматы и каналы распространения.

Социальные платформы будут продолжать влиять на формирование массового спроса, но их власть не будет абсолютной. Всегда останется пространство для «медленной» литературы, не ориентированной на сиюминутные тренды.

Стивен Кинг когда-то сказал: «Писать — значит создавать личную мифологию». В эпоху бурного развития нейросетей и алгоритмического социального инжиниринга эта мифология создаётся на стыке человеческого творчества и машинной эффективности. Стандарты будут меняться, но потребность в настоящем человеческом останется неизменной. Задача современного автора заключается не в том, чтобы противостоять технологиям и даже не в том, чтобы подчиняться им слепо, а в том, как найти баланс, при котором инструменты послужат усилению, а не замене человеческого творческого начала.

Использование генеративных инструментов и социальных сетей в создании контента уже реальность, но их способность задавать, а не просто имитировать стиль, пока остаётся вопросом будущего. Как предсказывает Дарон Аджемоглу, нам нужен «тревожный звонок в это самое критическое время, чтобы мы могли выбрать более светлое будущее, которое будет работать на благо работников всех слоёв». В данном случае, на благо писателей и читателей.

Показать полностью
8

Ответ на пост «Либо слоп, либо смерть: можно ли верить детекторам AI-текстов?»⁠⁠

Проверил ради интереса свой недавний текст в панграме. Результат впечатляет и пугает.

В общем, текст имеет технически-теоретическую направленность, всего порядка пол-тыщи слов (введение).

Первая треть написана полностью самостоятельно.

Вторую треть попросил продолжить нейронку, почитал что она выдала, переработал и написал от себя, существенно сократив и перефразировав.

Третью заключительную часть попросил сгенерит нейронкой как заключение к сделанному, и использовал результат с небольшими изменениями и дополнениями.

Результат панграма - третья часть, прямо с первого слова, выделена как ai-генерация.

--

Пугает то, что перечитывая текст, я, как автор, не чувствую разницы и разрыва, и объемы небольшие для вычисления сложных статистических параметров текста.

Мы на самом деле уже сейчас не представляем возможностей больших нейросетевых моделей, и рискуем, что они заберут от нас и уведут в тень ключевые технологии.

Поясню что хотел сказать.

Я занимаюсь системами промышленной автоматики, и если точнее - именно алгоритмами принятия решений в системах автоматизации. Так вот, решения там принимаются на основании проработанных и понятных специалистам алгоритмов, опирающихся на целый комплекс известных физических процессов и математический аппарат.

Для больших и сложных систем управление выполняется на разных уровнях по-разному, и разработка таких систем требует серьезных затрат, и все равно нет-нет, но содержит ошибки.

С точки зрения бизнеса (прибыльности) вполне может оказаться интересным натренировать модель такой системы на обширных данных, потом провести комплекс расширенных испытаний - и отправить всю ТАУ на свалку истории вместе с раздутым штатом инженеров.

Согласен, это выглядит как бред и паранойя, но, как говорится, осадочек остался.

Да сейчас есть строгая отраслевая нормативка, куча специалистов, методы сертификации и аттестации, но есть и другое - и новые протоколы, и стандартизованные объектные модели, и всё то, что переводит промышленные системы и их управление в цифровое пространство. Алгоритмы управления пока отданы на откуп вендорам или интеграторам, и остается ждать того, кто первый решит не заморачиваться старинными теориями.

Внезапно получилось много букв и оффтоп, поэтому, пожалуй, постом.

Этот пост был написан человеком. Можете проверить)

Показать полностью
15
Искусственный интеллект

Либо слоп, либо смерть: можно ли верить детекторам AI-текстов?⁠⁠

Во франкофонных литературных кругах последние две недели бушует скандал: там канадско-гаитянскому автору романа-бестселлера «Либо так, либо смерть» восторженные критики сначала навыдавали кучу престижных наград – а потом выяснилось, что всё произведение является AI-слопом чуть менее, чем полностью.

Ну как, «выяснилось»: на это указывает детектор слопа под названием Pangram. И во всех обсуждениях этого вопроса регулярно можно встретить комментарии в стиле «да все эти ИИ-детекторы просто неработающая ерунда, они там по длинным тире могут любой текст генерацией признать, глупо на них полагаться!!».

И тут даже есть зерно истины в том смысле, что решить задачу «со 100%-ной точностью разделять авторство любого произвольного текста между человеком и машиной» заведомо невозможно. Но, может быть, такой безумный уровень точности и не нужен, в целом? Может, условной 99,9% точности вполне хватит? Смотрите, я тут покопался в исследованиях по поводу этого Pangram:

🐌 По данным от самих разработчиков, их свежая модель ошибочно признает за ИИ написанный человеком текст в 0,004% случаев (40 срабатываний на 1 миллион проверок). В обратную сторону точность скалибрована в меньшую сторону (тут уж надо выбирать, какой тип ошибки минимизировать): примерно 0,3% ИИ-текстов модель приняла за человеческие.

🐌 Вот в этом независимом исследовании прошлогоднюю версию Pangram проверяли на паре тысяч чисто человеческих и паре тысяч нейронных текстов. У них вышло 0,1% ложноположительных срабатываний (ошибочно определили человека как ИИ) при 1% ложноотрицательных (ошибочно приняли ИИ за человека).

🐌 Здесь и здесь анализируется уже чуть более свежая версия Панграма на выборках в 40 и 500 людских текстов – в обоих исследованиях модель выдала ноль ложноположительных срабатываний, но при этом иногда консервативно помечала тексты от ИИ как человечьи (особенно там, где исследователи их специально «хьюманизировали» или просили подражать стилю конкретного автора).

🐌 Вот тут из 300 точно человеческих текстов Pangram ни один не заклеймил ошибочно нейрослопом. Но при этом он часто (в 60–80%) помечал как машинный текст, который после человека редактировала (по сути, переписывала, а не писала с нуля) нейронка. И еще авторы там с помощью хьюманайзера смогли заабьюзить ошибку в обратную сторону и заставить Панграм пропускать 95%+ ИИшных текстов как человеческие (правда, там сами тексты были короткие, всего 180 слов).

Краткие выводы:

  • Если Pangram говорит, что текст является нейрослопом – то с очень высокой вероятностью он либо полностью сгенерирован, либо его правила нейронка (модель специально калибруют так, чтобы она допускала как можно меньше ошибок в эту сторону).

  • В обратную сторону точность сильно меньше: метка «written by human» от Панграма не является гарантией, что речь не идет про слоп, который специально постарались хьюманизировать.

  • Более-менее адекватная точность в любом случае начинается примерно от 200 слов, совсем короткие фрагменты на пару предложений надежно задетектить не выйдет.

  • Большинство исследований делалось в первую очередь на английском, для других языков точность потенциально может быть ниже. Хотя, в карте модели Pangram 4 они там заявляют впечатляюще низкий уровень в 0,005% ложноположительных срабатываний для русского языка.

P.S. Как обсуждали еще сегодня в комментах к посту на моем канале: в интернете можно найти много смешных скриншотов на тему «Pangram думает, что тексты Гюго или Витгенштейна являются AI-слопом». Так вот, рекомендую вам проверять такое самостоятельно на оригиналах текстов – там в подавляющем большинстве случаев речь идет о фейках, чтобы собрать классы.

Показать полностью 1
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества