Меня разнесли за «нейрослоп» в ваншотах. Я собрал совет из пяти ИИ-критиков, и вот что из этого вышло
Привет. Пару недель назад я выложил здесь четыре бесплатных ваншота с картами. Потом пришёл refrizherator и прочитал «Ночного гостя». Потом прочитал ещё раз. Потом ещё. За четыре прочтения в комментах набрался подробнейший разбор, и главный вывод в нём был неприятный: сюжет не играется.
Не «вот тут опечатка» и не «бой слабоват». А вот так: если игроки просто посидят рядом с купцом до утра, приключение заканчивается на двадцатой минуте. Если сожгут бумаги в первой сцене, тоже конец. Персонажей обвиняют, «потому что так надо». НПС выходит ночью под дождь поговорить, потому что так нужно автору, а не потому что так поступил бы живой человек.
И отдельной строкой: не собирайте тексты с ИИ, он не держит логику.
С последним я поспорю ниже. А вот с остальным спорить было нечем. Он был прав.
Что я сделал сначала: пошёл учиться
refrizherator посоветовал посмотреть разборы «Пекарни Творцов», и я разобрал их всерьёз: 23 стрима, где жюри конкурса ваншотов разбирает работы участников, плюс письменные рецензии судей и их статьи. Честно: субтитры стримов прогонял через нейросеть и потом читал выжимки, иначе это недели. Параллельно разобрал, как устроены модули Лиги Авантюристов.
Самое интересное, что я оттуда вынес, это не правила, а статистика. Жюри хвалит форму: карты, арты, статблоки, вёрстку. И бьёт за драматургию и логику: зачем партии туда идти, почему НПС так поступает, что будет, если игроки провалятся. За 23 разбора жюри ни разу не похвалило сюжет целиком. Победители раундов получали от 4,6 до 6,7 из 10.
То есть мои ваншоты провалились ровно там, где проваливаются почти все. Утешение так себе, но зато понятно, куда копать.
Из этого вырос стандарт ваншота, документ на 19 тысяч знаков. Что такое ваншот, в каком порядке идут разделы, шаблон сцены, формула НПС, как считать бои, как делать финал. Но стандарт проверяет форму. А дыры были в логике.
Почему не помогла обычная вычитка
Я и до этого прогонял тексты через ИИ-рецензентов. Одна нейросеть проверяла логику, вторая язык. Они находили расхождения: здесь написано «в полночь», там «в час ночи», тут СЛ 13, там 15.
А refrizherator нашёл другое. Как однорукий охранник спускает связанного купца через окно? Почему гильдия держит весь долг на одной бумаге? Почему пропажа человека без тела и следов вообще повод кого-то задерживать?
Рецензенты проверяли, сходятся ли разделы между собой. И не проверяли, бывает ли так вообще и что сделал бы нормальный человек на месте персонажа. Текст может быть идеально согласованным и при этом полностью неправдоподобным.
Значит, нужен не один рецензент, а несколько, и каждый смотрит со своей стороны.
Совет по ваншоту: пять ролей
Каждая роль это отдельная нейросеть с отдельной инструкцией. Все пять читают один и тот же текст ваншота и не видят отчётов друг друга. Ни одна из них текст не пишет, только ищет, где он ломается.
Логик. Самый старый участник. Сходятся ли часы, деньги, сложности проверок, бюджеты боёв. Знает ли НПС в сцене 4 то, что узнал только в сцене 5.
Скептик. Читает как недоверчивый взрослый за столом, правила и цифры не трогает вообще. На каждый факт три вопроса: так бывает? что сделал бы обычный человек на его месте? откуда он это знает?
Пример из его отчёта по «Чертогам тысячи костей». В приключении послушник снял колокол с часовни и повесил его в склепе. Скептик: бронзовый колокол весит центнер с лишним, как худой парень 23 лет в одиночку снял его и спустил по узкой лестнице? И как городок, который три ночи слушает звон из-под земли, ни разу не посмотрел на пустую колокольню? Первый же игрок скажет: пойдём глянем на звонницу, там же дырка.
refrizherator в своём разборе «Чертогов» спросил почти то же самое: по какому принципу звонит колокол? Скептик поймал это сам.
Актёр. Эту роль придумал я, и она оказалась одной из самых полезных. Нейросеть по очереди становится каждым НПС и отвечает на анкету из десяти вопросов от первого лица. Кто я, чего хочу, что знаю, откуда знаю, что сделаю, если партия меня припрёт. Каждый ответ подкрепляет цитатой из текста. Если цитаты нет, пишет «НЕТ В ТЕКСТЕ».
В первом круге по таверне актёр нашёл 42 таких места. Сорок две вещи, которые персонажи знают или делают без всякого объяснения. Во втором круге, например, всплыло: у бандитов в тексте есть цена, 10 золотых за ночь, а сколько платят стражникам гильдии, нигде не сказано. Мелочь? Игрок предложит им денег, и мастер не будет знать, соглашаться ли.
Ломатель стола. Эта роль ищет то, чего не видно при чтении текста как текста: свободу игроков. По каждой сцене три вероятные заявки и три наглые, плюс шесть сквозных для всего приключения: уехать, заплатить, рассказать всем правду, убить ключевого НПС в первой сцене, разделиться, украсть главный предмет у владельца.
Из его отчёта по таверне:
«Кастую Очарование личности на купца и прошу показать папку». В тексте только проверка Убеждения. НЕТ ОТВЕТА.
«Выбиваем из рук подозрительную кружку». Текст описывает только, как её заметить. НЕТ ОТВЕТА.
«Сон на бандита в десятом часу». НЕТ ОТВЕТА.
Любой мастер скажет, что игроки делают именно это. А приключение делало вид, что они будут вежливо кидать проверки.
Редактор. Звучит ли это по-человечески. Не чеклист «найди канцелярит», а построчная редактура: каждая фраза, которую живой человек так бы не сказал, и готовая замена. Текст режется на три части, чтобы читал каждую строку, а не пробегал.
Его пришлось переделывать. Старый редактор на лёгкой модели четыре круга подряд пропускал фразу «в комнате подстроил окно». Что значит «подстроил окно»? Никто не знает. После этого редактор стал построчным и на модели посильнее. Полная редактура одной только таверны дала больше 700 правок.
И ещё одна деталь, которую поймал уже я, а не совет: в тексте таверны было 237 длинных тире на сто тысяч знаков. Это верный признак текста от нейросети. Осталось четыре.
Круги правок
Порядок такой. Перед тем как совет садится читать, заполняется «паспорт логики». Главное в нём таблица сторон (кто чего хочет, что знает, откуда узнал, что сделает сам, если партия не вмешается, на что рассчитывает и что у него пойдёт не так). Уже на этом шаге видно половину дыр: в клетке «откуда узнал» пусто.
Потом пять ролей читают текст, отчёты сводятся в один список, спорное решаю я, правки вносятся. Потом снова пять ролей. И так, пока у логика, скептика, актёра и ломателя не останется ни одного блокера.
Сколько это кругов на практике:
таверна прошла путь от версии 2.0 до 4.0, это больше десятка промежуточных версий за три дня;
три других ваншота прошли по 5–6 кругов каждый;
всего на четыре приключения набралось 174 разбора.
Вот что я понял по ходу, и это, наверное, самое полезное в посте для тех, кто пишет свои приключения.
Каждая правка ломает соседа. Чинишь мотив старосты в сцене 1, а в таблице сторон остаётся старая версия. В карточке НПС третья. В кругах 3–5 почти все блокеры были не новыми дырами, а швами от предыдущей правки. Пришлось завести отдельную роль, синхронизатора: он получает список изменённых и отменённых фактов и ищет все места, где живёт старая версия. Отменённые факты оказались коварнее новых: «купец не платит» пережил два круга в таблице после того, как мы решили, что платит.
Каждая правка растит текст. Логическая заплатка добавляет 10–15% объёма. После пяти кругов «Чертоги» разрослись до 104 тысяч знаков. Это уже не ваншот, это книжка, которую мастер не прочтёт перед игрой. Пришлось делать отдельный проход «диета» с целью в знаках, а после диеты ещё один круг, потому что сокращение оставляет свои швы: оборванные фразы, «он» без понятно кого, ссылки на удалённое.
Совет перестаёт видеть очевидное. После нескольких кругов пятеро критиков привыкают к тексту. Я показал его отдельной нейросети без всей нашей истории, с простым заданием: прочитай как готовый модуль, который собираешься вести в субботу, назови слабые места. И она сразу нашла то, чего совет не видел ни разу: спойлеры в шапке и во вводной для игроков. Теперь такой «свежий взгляд» идёт в каждом прогоне.
Решаю всё равно я. Совет находит дыры, но не знает, как их закрыть так, чтобы стало интереснее. Спорные места, вкус, тон, что оставить, а что вырезать, это моё. Роль «драматурга» мы сознательно не добавляли: вкус не делегируется.
Так что, ИИ всё-таки держит логику?
refrizherator написал, что ИИ не понимает сути и не может удержать логику происходящего. Если попросить «напиши приключение про таверну», это правда. Первая версия «Ночного гостя» так и была написана, и он её справедливо разнёс.
Но одна нейросеть, которая пишет, и пять, которые ищут, где написанное врёт, это разные вещи. Скептик не пишет лучше меня. Он просто задаёт вопрос «так бывает?» к каждой строке, и ему не лень. Мне лень. Вам, скорее всего, тоже.
При этом совет не заменяет стол. Недавно sandra.f написала, что сыграли «Ночного гостя» вчетвером вторым уровнем: боёвка слишком простая, подсказки слишком очевидные. Логику совет вычистил, а как это ощущается за живым столом, он не знает. Для этого нужны живые игроки, и первый такой отчёт для меня сейчас дороже всех 174 разборов.
Что дальше
Все четыре ваншота на сайте в новых версиях. Если ведёте, мне очень нужны отчёты со стола: где было скучно, где слишком легко, где игроки сделали то, чего я не предусмотрел.
И вопрос к тем, кто пишет свои приключения: как вы проверяете логику? Даёте почитать друзьям, водите тестовую группу, или сразу в бой?
Отдельное спасибо refrizherator за четыре прочтения и за «Пекарню». Без этого разбора этого поста бы не было.
Ваншоты: drakonarium.ru/vanshoty/
Девлог и закулисье в телеграме: t.me/drakonarium
