Нейро-комиксы, используете в работе?
Всем привет!
Я здесь совсем новенький. Это мой первый пост! Знаю, знаю первый пост он такой. Площадку не знаю, публику - тоже.
Вобщем научился я нейро-комиксы делать в Sora.
Сегодня расскажу Вам в общих чертах как. Возможно кому-то пригодится мой опыт.
Кому могут быть полезны комиксы?
Провёл небольшой ресёрч в Perplexity, согласно отчёту чуть ниже список ниш в которых могут быть полезны нейро-комиксы.
Востребованные ниши для нейро-комиксов:
IT- и маркетинговые агентства
B2B консалтинг
Образовательные платформы, онлайн-курсы и школы
Кофейни, рестораны, ритейл, салоны красоты
Корпоративное обучение и HR
Брендинг и имиджевые проекты
Продвижение продуктов и услуг
Контент-маркетинг и презентационные задачи
С этим вроде-бы всё понятно, но а что требуется, чтобы создать нейро-комикс? - задался этим вопросом и я.
Будучи человеком увлечённым, провёл небольшой мозговой штурм и выявил, чтобы сделать качественный нейро-комикс необходимо соблюсти ряд условий:
Высокий уровень консистентности персонажа в серии генераций.
Единство стиля, цветовой гаммы на протяжении всей серии генераций.
Таким образом, мы меняем только часть промпта, который отвечает за сюжет, персонажей, взаимодействия в кадре.
Ну хорошо! - подумал я.
Значит нейро-комикс начинается с разработки системного промпта. Поскольку я периодически увлекаюсь вайбкодингом на Cursor и автоматизациями на n8n мне часто приходится иметь дело с JSON файлами.
Я принялся писать промпт JSON подобного вида, где будет шаблон который я буду только частично менять. Пропишу туда стиль, цвет, особенности. А менять буду сцену, персонажа и так далее.
Пример того, как я решил промптить.
#Заголовок
Параметр: значение
Параметр: значение
Недолго думая, набросал промпт на русском, а затем перевёл в Gemini на англ. (Часто пользуюсь Gemini)
Вот что получилось:
#Scenario, Characters, Details
Character: Cyborg robot with an emblem on his chest
Style: Comic, professional illustration, cyberpunk, Terminator, robots as seen in sci-fi films
Plot: The image is split diagonally into two parts.
First half of the image: The robot is calling a young man from a bright office, sitting on a chair in front of a computer, holding a phone and talking.
Second half of the image: The young man is lying on a beach, hugging a beautiful girl; in his hands is a smartphone with which he is talking.
Both characters communicate using comic-style speech bubbles.
Language of dialogue: Russian, correct and proper speech
Detailing: Ultra-high detail, detailed rendering, best quality, professional illustration, crisp lines and detailed objects.
#Characters’ Dialogue
Robot: "Босс, все входящие заявки обработаны. Все купили всё, деньги уже на счету. Скоро деньги будет некуда складывать!"
Man: "Позвони мне когда я попаду в Forbes! И перестань звонить мне каждые 5 минут!"
#Important Features
The emblem must be rendered as clearly as possible. Correctly display Cyrillic symbols; distortions in text drawing are unacceptable.
Be attentive to which character is saying each line; the speech bubble’s corner must not point at the girl.
Получил пробную генерацию
Sora очень не дружит с кириллицей, собственно я знал об этом, но иногда бывает нормально. Обычно очень короткие фразы.
Немного изменил промпт, менял только определённые значения.
Изначально я наивно полагал, что смогу прописать реплики персонажей прямо в промпт. Уже расфантазировался на тему того, как настраиваю автоматизацию в n8n на генерацию автоматом. Представил как буду на диване лежать, а у меня будет комикс крутиться вечно в telegram канале, подписчики довольны будут, вовлечение большое, а может и вируситься начнёт.
Умерив фантазии понял, что по API подключать Sora к n8n смысла нет.
Нажал кнопку генерации с изменённым промптом вылезло:
С текстом на кириллице ничего путного не выходило.
Но было позитивное, картинка выходила приблизительно одинаковой. А поскольку Sora референсный подход к генерации, я каждый раз генерировал новую с использованием предыдущей в качестве референса.
Создание персонажа
Через некоторое время пришёл к тому, чтобы в качестве референсов буду каждый раз вместе с промптом грузить персонажа. Но для начала его нужно было создать.
Решил вместе с референсами где изображён мой робот из SKYNET загрузить промпт, который по моему мнению должен был-бы создать персонажа в трёх проекциях. Спереди, сбоку, сзади.
Писал на русском:
3 точные копии робота в полный рост в трёх проекциях: Спереди, сзади и сбоку (профиль) всё тело. однотонный фон.
Результат генерации не удовлетворил. Sora упорно слепляла руки персонажей и не хотела генерировать их раздельно.
Та-же самая история с мужиком:
Ладно! Очевидно без ручного вмешательства никак не обойтись.
Тогда я разделил каждого из персонажей в photoshop и начал использовать в качестве референсов полученные изображения.
Точнее я использовал только фронтальную и боковую проекцию, тыл оставил на всякий случай.
Продолжил с тем-же промптом но в референсах уже не предыдущие генерации, а персонажи на однотонном фоне. Sora на вход принимает до 4 пикч с референсами, грузил 2 с мужиком (фронт, бок) и 2 с роботом (фронт, бок)
Первая генерация с нормальным текстом на кириллице.
И знаете помогло, но не стабильно! Всё равно из 4-5 генераций, с плохой кириллицей было не менее половины.
Логично, что когда буду в будущем делать с помощью API и автоматом, буду иметь ввиду, что нужно брать в расчёт, что токенов потребуется в 2-3 раза больше для генерации комикса, чем могло-бы потребоваться если бы с текстом проблем не было бы.
Я принял решение, писать текст самому. Да не автомат, но это стабильнее. А стабильность важна, тем более, я собираюсь позиционировать нейро-комиксы как услугу.
С кириллицей мягко говоря тяжеловато работает что Sora, что NanoBanana (Image)
Решил попробовать использовать промпт чисто на кириллице:
компоновка в комикс‑стиле, персонажи общаются в облачках речи, эмблема на груди читается чётко, и речь героев грамотная и литературная.
Название и детали
Сценарий: Киборг‑робот с эмблемой на груди и молодой человек.
Стиль: Комикс‑иллюстрация профессионального уровня в киберпанковом духе, напоминая Терминатора; роботы в научно‑фантастических фильмах.
Сюжет: Мужчина лежит на диване, его лицо выражает, а робот в фартуке готовит еду у плиты на заднем фоне.
Место действия: Квартира
Язык диалогов: русский, образованный и грамотный, без разговорной лексики.
Персонажи и диалоги
Мужчина:
Фраза: «Скайнет, скажи кто лучше всех пишет промпты для комиксов?»
Робот:
Ответ: «Конечно Вы шеф, вы знаете это!»
Обратите внимание что мужик говорит, а что робот.
Нажимаю генерировать.
Вполне хорошо! Связка промпты в виде параметров и значений очень хорошо себя показывает + референсы персонажей на однородном фоне. Но есть нюанс!
Как мы видим, Sora всё перепутала.
Мужик в кадре говорит то, что должен говорить робот! А здесь всё наоборот.
И тут меня понесло и я начал химичить.
Выкручивался как мог.
Решил написать в промпте порядок кто говорит первый и кто из героев слева, а кто справа.
Пишу (конец промпта):
#Important
Порядок того, кто нарисован слева а кто справа определяет порядок записи в разделе "Персонажи и диалоги"
Если персонаж говорит первый, он слева. Если персонаж говорит второй, то справа.
Персонаж слева, всегда говорит первый, а справа ему отвечает и облачка реплик должны быть расположены соответственно.
#Персонажи и диалоги
1. Мужчина:
Фраза: Скажи, а как клиент может заказать комикс?»
2. Робот:
Фраза: «Нужно просто связаться со мной в Telegram!
Sora лишь запуталась и просто поменяла из местами.
В конечном итоге я вернул промпт к версии без объяснения кто первый говорит, кто где стоит и так далее.
Понял следующие тезисы:
1. Получил визуал с баблом для реплики писать текст нужно будет руками.
2. Это уже на самом деле кайфово, поскольку невероятно ускоряет создание комикса.
Да, хотелось суперпромпт который бы сам всё делал только переменные стиля, гаммы, одежды ну и описание сцен и взаимодействия описывай да и всё. Но увы не получается так.
По крайней мере, у меня! Может вы что подскажете? Пишите в комментах.
В целом я добился достаточно хороших результатов на мой взгляд.
Консистентность сохраняется в серии генераций из 10 кадров за счёт того, что есть персонажи, которые грузятся в качестве референсов.
Вот полностью комикс:
Спасибо Вам за прочтение!
Подпишитесь на этот канал, если Вам было интересно буду выкладывать сюда заметки, про своё творчество. Эксперементы.
Также, если Вам потребуются нейро-комиксы посмотрите мой сайт на notion там я сделал презентацию, с удовольствием посотрудничаю по фрилансу.
Подписывайтесь на пикабу и пишите комментарии)