Hester123

Hester123

Пикабушник
в топе авторов на 425 месте
96 рейтинг 2 подписчика 0 подписок 2 поста 2 в горячем

«Матушка-Звезда»: как мы создали музыку для AI-клипа⁠⁠

И так, с генерацией клипа Матушка Звезда и тонкостями - мы поверхностно разобрались Матушка-звезда: 24 часа в сутках, 7 дней работы и ровно 365 генераций и потраченные нервы: как мы сняли AI-клип и какой опыт был получен

. А что с аудио?

Здесь есть только 1 классный продукт на рынке и рекламой не пахнет, все наверное это знают - это Suno. Продукт отличный, создает вполне себе неплохое аудио, но как сделать так, чтобы получить максимально ожидаемый результат?

Эта статья про пародию (рефом была матушка-земля. Автора писать не буду - не заслужили, так как не соизволили ответить мне) и как это можно повторить с определёнными изменениями.

Помним правило - чаёк, пельмешки и погнали - я снова усаживаюсь в свое кресло и передаю слово моему "Джарвису".


Наша неудачная первая попытка, текст, песня-референс под микроскопом, бан от Suno,три дубля, ремикс — и трек, по долям которого потом резали видео.

Кадр из клипа: «Для меня — Империя» в ангаре, припев 1. Весь видеоряд стоит на сетке долей трека, о котором дальше.

Кадр из клипа: «Для меня — Империя» в ангаре, припев 1. Весь видеоряд стоит на сетке долей трека, о котором дальше.

Клип «Матушка-Звезда» — пародия: русская поп-фолк интонация плюс «Звёздные войны». Деревенская девушка, Звезда Смерти, ситх, джедаи «на окрошку». Про то, как мы генерировали кадры и видео, мы уже рассказали отдельно. Здесь — вторая половина истории, с которой клип на самом деле начался: музыка. Мы не музыканты, а айтишники, которые умеют вайб-кодить. Всё, что ниже, сделано в связке «человек + ИИ-агент в терминале»: агент писал и гонял скрипты разбора звука прямо на ноуте, человек слушал и поправлял. Поправлял не раз — и это главная мысль текста: замер подсказывает, ухо решает. Все графики построены по реальному звуку, никакой отсебятины. Где данных не хватило, так и пишем.

Что внутри

  1. Что было на входе: текст, референс и первая попытка

  2. Референс под микроскопом

  3. Текст под чужую сетку и style-промпт

  4. «Your lyrics contain copyrighted material»

  5. Три дубля: что мы мерили и почему выбрали первый

  6. Новый трек: ремикс, который лёг в клип

  7. Как музыка управляла монтажом

  8. Шпаргалка: как повторить

Что было на входе: текст, референс и первая попытка

Текст

Текст написан нами. Он про девушку, которой в космосе хорошо: световые мечи, бластеры, разговоры с ситхом, медихлорианы и «тёмной силушки глотку». Приводим его целиком, ровно так, как он ушёл в работу:

Матушка-Звезда
Световых мечей рядочек, лазерных лучей пучок,
Бластеров запев свисточек, обгоревших тел врагов.
Тишины послушать вволю – космоса простор родной,
С ситхом наболтаться вдоволь про него и про любовь.

Матушка-Звезда, тёмная энергия,
Для меня – Империя, для других – забвение.
Матушка-Звезда, тёмная энергия,
Для меня – Империя, для других – забвение.

Сколько мне еще джедаев на окрошку порубать,
Про любовь свою девичью на созвездьях погадать.
Медихлорианов вдоволь, тёмной силушки глотку,
В чистом космосе родимом в небе звёздном утону.

Матушка-Звезда, тёмная энергия,
Для меня – Империя, для других – забвение.
Матушка-Звезда, тёмная энергия,
Для меня – Империя, для других – забвение.

Референс: на что это пародия

Пародия — на песню «Матушка» («Матушка-земля»), поп-фолк 2022 года. Задача звучала так:

из чата с агентом, 20.10
«…препарировать, исследовать под микроскопом, готовимся к новому треку в Suno»

Агент по привычке начал разбирать всё подряд, включая текст. Его сразу остановили:

из чата, через шесть минут
«стой стой - разбор текста не нужен - он есть в сети. <…> меня интересует тональность, ритмика,
динамика, инструменты и так далее»

Задача простая: трек, который по музыке звучит как оригинал — форма, лад, грув, подача голос — а слова наши, космические.

Первая попытка, которая не зашла

Это была первая попытка NickXPro сделать песню в Suno, ещё 15 октября. Получилось слабо, и Suno про неё не забыл. А мы вспомнили, когда Suno отказался генерировать (глава 4): «фигня в том что вот уже была попытка генерации в Suno)». Звучит трек так себе, но пользу принёс: показал, какой текст фильтр уже пропускал. Разбирали его так же, как всё остальное, — замером.

Первая версия

Первая версия

Волна трека и границы частей. Границы мы сняли по стему голоса и распознаванию слов. 2:02, ровно 104 BPM, ре минор, −14.7 LUFS. Вступление до 0:18 идёт без слов. Припевы длиннее восьми тактов: в конце первого ещё раз звучит «для других — забвение».

Короткий эскиз: наш текст спет как есть, два куплета и два припева, без «ой» и без добавок. Запомним это — потом пригодится.

ЧТО ВЫНЕСТИ

Для пародии нужны три входа: свой текст, конкретная песня-референс и ясное «что берём от оригинала». У нас брали звук, а не слова. Если по этому тексту уже есть генерация, поднимите её сразу. Она покажет, что фильтр уже пропускал. Нам бы это сэкономило один отказ.

Референс под микроскопом

Технически: Demucs режет трек на стемы (голос, барабаны, бас, гитары, «прочее»), librosa считает темп и доли, хромаграмма даёт тональность, torchcrepe — высоту голоса, громкость меряем в LUFS. Всё это агент пишет и запускает сам, от нас — вопрос и проверка на слух.

Паспорт и форма

Оригинал оказался студийно ровным: 90.00 BPM, удары гуляют от сетки всего на ~8 мс. 4/4, ре минор натуральный, 65 тактов, финальный удар на 2:55 и три секунды затухания. Форма в тактах:

Референс: форма и «лестница» громкости. Сверху — волна с разметкой частей, снизу — громкость по секциям. Куплетытихие, каждый припев упирается в потолок около &#x2212;6.5 LUFS. Пре-припева нет: куплет бьёт прямо в припев.

Референс: форма и «лестница» громкости. Сверху — волна с разметкой частей, снизу — громкость по секциям. Куплетытихие, каждый припев упирается в потолок около −6.5 LUFS. Пре-припева нет: куплет бьёт прямо в припев.

Главная фишка песни — динамика лестницей: тихий куплет, взрыв в припеве, провал в брейке, снова взрыв. Мастер очень громкий, −7.9 LUFS.

Лад и гармония

Аккорд меняется каждые полтакта. Куплет: Dm B♭ | C Dm | Gm C | Gm Dm. Припев: Dm B♭ | Gm C | Gm C | Gm A5. Важная деталь: на доминанте нет мажорной терции. Звучит A5 или Asus4, а не A-мажор, и вводного до-диеза нет нигде. Гитары играют пустыми квинтами, терцию дают только голос и пэды. Отсюда «древний», модальный привкус.

Грув и «качание»

В припеве бочка на каждую четверть, хлопок на 2 и 4, хэт на «и», а под всем этим жирный сайдчейн: на каждой бочке бас и пэды проседают. Получается качающий дэнс-поп пульс под фолк-мелодией.

Инструменты и голос

Плот-твист для «народной» песни: народных инструментов нет вообще. Ни балалайки, ни домры, ни дудки. Синт-бас, электронные барабаны, перегруженные гитары, пэды и щипковое остинато. Голос занимает 38 % энергии микса, барабаны 22 %. Фолк держится на голосе, ладе и мелодии, а аранжировка — современный поп-рок. Голос низкий, ходит в пределах сексты, вибрато только на концах строк. В куплете он близкий и почти моно, в припеве — сжатый «белый» звук с широким даблом в унисон.

Где живёт голос. У референса 90 % нот лежат между C4 и G4. Первая версия поёт выше, D4–B4, новый трек — ниже и шире,D3–A4. Мы просили «low female alto… staying low», и Suno понял это буквальнее оригинала.

Где живёт голос. У референса 90 % нот лежат между C4 и G4. Первая версия поёт выше, D4–B4, новый трек — ниже и шире,D3–A4. Мы просили «low female alto… staying low», и Suno понял это буквальнее оригинала.

Где мы ошиблись, а ухо — нет

В первом разборе агент накосячил трижды, и все три раза его поймало ухо.

1. Щипок во вступлении. Агент не смог отличить по спектру гусли, арфу, нейлон и синт — и вписал в style «gusli-style». Ответ: «это действительно синтезатор - звуки очень плоские и глухие». Замер потом сошёлся. В style ушло «dull flat muffled synth pluck», а слово «nylon» не писали, иначе Suno сыграет живую гитару.

2. Два долгих «зова» во вступлении. Demucs положил их в стем вокала, агент принял их за вокализ «а- а». Ответ: «это тоже синты».

3. Пост-припев 1:37–1:48. В стеме вокала опять что-то «пело», и в текст встала заглушка «(О-о-о…)». Послушали: «там играется чисто инструментал, голосов нету». Demucs второй раз утащил синт-лид в голос.

Чем синт-лид из стема вокала отличается от голоса. Слева — долгая нота вступления, которую Demucs записал в вокал: высота стоит ровно, как по линейке. Справа — живая фраза с подъездами между нотами. Признак полезный, но это подсказка, а не доказательство: часть спетых долгих нот тоже держится ровно.

ЧТО ВЫНЕСТИ

  • Для style-промпта разбирайте звук, а не текст: темп, лад, форму по тактам, грув, динамику, подачу голоса. Каждая строка style должна опираться на замер.

  • Demucs охотно кладёт синт-лид в стем вокала. Любой «голос» в инструментальной части проверяйте на слух по точному таймкоду.

  • Если инструмент по спектру не определить, не угадывайте его в промпте. Спросите человека или опишите звук словами: «глухой плоский щипок».

Текст под чужую сетку и style-промпт

Слоги и ударения

Сначала проверили, ляжет ли текст в ритм оригинала. Куплет там — хорей 8+7, 15 слогов на два такта восьмыми. Припев — строки с ударением на третьем слоге от конца. Наш текст совпал идеально, ни слога править не пришлось — база:

Схема строки куплета: 16 восьмых на два такта, 15 слогов. Синим отмечены сильные (нечётные) позиции хорея: на них совпадаютударения «световы&#x301;х», «мече&#x301;й», «рядо&#x301;чек», «ла&#x301;зерных», «луче&#x301;й», «пучо&#x301;к».

Схема строки куплета: 16 восьмых на два такта, 15 слогов. Синим отмечены сильные (нечётные) позиции хорея: на них совпадаютударения «световы́х», «мече́й», «рядо́чек», «ла́зерных», «луче́й», «пучо́к».

В припеве «тёмная энЕргия» и «забвЕние» дают те же окончания, что «-онька» в оригинале, а ударное «пе» в «Империи» встаёт ровно на ударный слог.

Style и exclude

Style собирали из замеров, по строчке на каждое свойство оригинала: 889 знаков, в лимит Suno влезает. Ни имени исполнительницы, ни названия песни — только звук словами.

Modern Russian folk-pop anthem with ethno pop-rock drive; low powerful female alto in open
folk chest voice, straight tone with short narrow vibrato only on held line endings, bright
pressed belt in choruses, narrow chant-like melody staying low; intimate close near-mono solo
verses, wide unison double-tracked choruses; D minor aeolian, power-chord harmony with
suspended dominant; instrumental intro: dull flat muffled synth pluck sixteenth-note ostinato,
warm pads and two long steady synth lead notes; half-time verse beat with light claps and deep
sub-drop booms; four-on-the-floor chorus kick with clap backbeat and offbeat hats, sidechain-
pumping synth bass with downward glides, wide wall of distorted rhythm guitars; drums-out
breakdown, noise riser into final chorus, one-bar stop before outro chant; steady 90 BPM, loud
modern master, ends on a final hit with natural ring-out.

EXCLUDE: male vocal, rap, screamed, growl, autotune, falsetto, breathy, whisper, operatic,
heavy vibrato, ballad, piano, guitar solo, flute solo, balalaika tremolo, accordion, trap hi-
hats, EDM drop, waltz, 6/8, swing, lo-fi, fade out

Теги формы и наши добавки

Текст разметили тегами секций строго по форме оригинала ( [Verse 1], [Chorus], [Breakdown], [Outro] и т. д.), в каждом теге — подсказка по аранжировке:

[Chorus: full band explodes, four-on-the-floor, distorted guitar wall, belted unison double]

Но в оригинале 11 частей, а у нас текста на четыре. Поэтому агент «достроил» песню, и вот что он добавил от себя:

  • «ой» на повторе припева: «Матушка-Звезда, ой, тёмная энергия» — так поёт оригинал;

  • строки припева повторяются в брейке, разгоне, финальном припеве и аутро, последнее «забве-е- ение» растянуто под стоп-такт;

  • ударения в редких словах: «си'тхом», «джеда'ев», «глотку'» ;

  • заглушка «(О-о-о…)» в пост-припеве, которую убрали после проверки на слух.

Агент сам предупредил: пара строк совпадает с оригиналом дословно, фильтр может забанить. Через пару минут так и вышло.

ЧТО ВЫНЕСТИ

  • Перед генерацией разложите строки на слоги и ударения под сетку референса. Если размер не совпал, Suno сам «доломает» фразировку.

  • Style собирайте из замеров, а не из прилагательных. Каждый кусок должен отвечать на вопрос «откуда это».

  • Всё, что ИИ добавил к вашему тексту, держите отдельным списком, чтобы это было легко снять. Нам это понадобилось уже через десять минут.

«Your lyrics contain copyrighted material»

Первая же попытка закончилась так:

Couldn't generate that.
Your lyrics contain copyrighted material. Please change it and try again.

Текст и правда свой. Но пародия нарочно цепляется за оригинал. Тут и всплыла версия от 15 октября: этот же текст Suno уже пропускал.

Почему отказал

Suno не говорит, что именно совпало, так что дальше — наша гипотеза. Фильтр сверяет текст с базой песен и срабатывает на долю совпадений.

Был и план C: переписать те четыре полустроки в том же размере. Не понадобился.

Рофл в том, что инструментальный финал Suno держать не стал: в дубле 1 он сам спел финальный припев, «Матушка-Звезда… для меня — Империя» дважды. Похоже, фильтр смотрит на присланный текст, а не на то, что модель потом споёт.

ЧТО ВЫНЕСТИ

  • Пародия берёт у оригинала форму, ритм и интонацию, но не его дословные приметы. Никаких «ой», рефренов и повторов оригинала поверх своего текста.

  • Если отказ — откатитесь к тексту, который уже проходил, и меняйте по одной вещи. Объём пропетого текста — тоже переменная.

  • Форму песни можно держать тегами без слов. Поздние секции Suno заполнит сам, иногда даже голосом.

Три дубля: что мы мерили и почему выбрали первый

Вариант B дал несколько генераций. Первая реакция

из чата
«везде в intro фолковый голос пихает))) зараза такой)»

Тег просил «no vocals», style описывал синты, а слышался распев. Агент предложил дописать в exclude vocalise, humming, choir, chanting, но до экспериментов не дошло: человек отобрал три дубля и прислал на сравнение.

По замеру во вступлении скорее синт-пэд с «голосовым» тембром: Demucs не кладёт туда в вокал почти ничего. Но человек слышал голос. Спор открыт — без уха его не решить.

Все версии на одной шкале времени. Громкость в окне 3 с, вертикальная черта — конец звука. У референса лестница, у всехверсий из Suno кривая ровнее, и все они примерно на 7 LU тише оригинала.

Все версии на одной шкале времени. Громкость в окне 3 с, вертикальная черта — конец звука. У референса лестница, у всехверсий из Suno кривая ровнее, и все они примерно на 7 LU тише оригинала.

Темп по ходу трека. Мы просили «steady 90 BPM». Референс держит 90.0 как метроном, а все дубли варианта B плывутвверх: первый с 101 до 105, третий с 104 до 108.5. Ближе всех к 90 второй, 92–94.

Темп по ходу трека. Мы просили «steady 90 BPM». Референс держит 90.0 как метроном, а все дубли варианта B плывутвверх: первый с 101 до 105, третий с 104 до 108.5. Ближе всех к 90 второй, 92–94.

Лад по 20-секундным окнам. Синие ячейки — ре минор. Дубль 2 большую часть времени тянет в фа мажор, у дубля 3середина уходит в соль и до мажор. Дубль 1 и новый трек держат ре минор.

Лад по 20-секундным окнам. Синие ячейки — ре минор. Дубль 2 большую часть времени тянет в фа мажор, у дубля 3середина уходит в соль и до мажор. Дубль 1 и новый трек держат ре минор.

Как заканчиваются версии: последние 10 секунд. Просили финал ударом с затуханием, как в оригинале — так закончил только сам референс. Дубль 1 и новый трек обрываются на полной громкости. В клипе обрыв мы превратили в приём: трек режется на сильной доле, на прыжке в гиперпространство, дальше тишина и титр.

Выбор

Замер подтвердил выбор. Дубль 1 ближе всех к референсу по вайбу: широкая гитарная стена, синт-лид после второго припева, ре минор держится. Плюс бонус — финальный припев спет, хотя мы не просили.

Минусы: темп разгоняется на ~5 %, вступление вдвое длиннее, сайдчейн еле живой, конец обрывается. Обрыв и громкость чинятся после генерации, плавающий темп — нет.

Дальше прозвучало: «…на этой песне полный стоп!» — и пять дней чила. 25 октября вернулись: «работаем с этой версией». Первые пробы видео и раскадровка всего клипа делались на дубле 1.

ЧТО ВЫНЕСТИ

  • Style — это пожелание, а не спецификация. «Steady 90 BPM», «no vocals» и «final hit» Suno выполнил частично или не выполнил вовсе. Проверяйте каждый пункт замером.

  • Сравнивайте дубли таблицей: длина, темп, лад, громкость, финал. Сразу видно, что чинится, а что нет.

  • Тихий мастер и обрыв лечатся после генерации. Плавающий темп и чужой лад — нет.

Новый трек: ремикс, который лёг в клип31 октября, когда первые полторы минуты клипа уже были смонтированы на дубль 1, пришёл новый

из чата, 31.10
«…сверь вот этот вариант аудио трека с нашим текущим - в новой версии трека несколько слов
поются более правильно, но suno не может сделать remix 1 в 1 и немного меняет ритмику песни»файл:

Ремикс дубля 1 внутри Suno: та же аранжировка, но слова местами чище. Вопрос один — сколько смонтированного придётся переделывать?

Насколько ремикс разошёлся со старым треком. Голубая полоса — &#xB1;2 кадра. До 1:25 расхождение в пределах двух кадров:монтаж переносится без правок, губы в синхроне. Дальше новый трек уходит вперёд — к концу на 0.5–0.6 с.

Насколько ремикс разошёлся со старым треком. Голубая полоса — ±2 кадра. До 1:25 расхождение в пределах двух кадров:монтаж переносится без правок, губы в синхроне. Дальше новый трек уходит вперёд — к концу на 0.5–0.6 с.

Что ещё мы увидели при сверке:

  • Длина почти та же: 3:28.4 против 3:28.6. Форма — та же.

  • Темп: разгон с 100 до 106 BPM против 101–105 у старого.

  • Финальный припев начинается раньше и спет с другой фразировкой: те же строки припева дважды, примерно 2:40–3:00, поверх брейкдауна, где музыка почти пропадает.

  • Слова: распознавание речи в старом треке слышит «на кружку порубать», в новом — «на крошку». Но на пении whisper сам галлюцинирует, так что решало ухо автора текста.

Решение в тот же вечер: «переходим на новый трек и все считаем по нему». Почти всё после 1:26 ещё не было смонтировано, так что финал снимали сразу под ремикс.

Что в итоге звучит в клипе

Звуковая дорожка клипа и что под ней происходит. Волна нового трека с разметкой частей, под ней — блоки сюжета. Трек обрезан на 3:27.95, дальше 3 секунды тишины под титр. Весь клип — 3:30.93.

Громкость так и не трогали: трек звучит как пришёл из Suno. Длинную инструментальную середину, 1:47– 2:38, отдали под охоту на джедаев — музыка там сама ставит драматургию: громкий синт-лид, потом нарастание к финальному припеву.

Припев 2, 1:30: «…тёмная энергия, для меня — Империя». В новом треке голос здесь приходит на 2–3 кадра раньше, входплана пересчитали.

Припев 2, 1:30: «…тёмная энергия, для меня — Империя». В новом треке голос здесь приходит на 2–3 кадра раньше, входплана пересчитали.

ЧТО ВЫНЕСТИ

  • Ремикс в Suno не повторяет трек один в один, даже если звучит «так же». Прежде чем менять звук под готовым монтажом, сверьте старый и новый трек по долям и по голосу.

  • Расхождение копится к концу. Поэтому менять трек проще всего тогда, когда вторая половина ещё не снята.

  • Обрыв в конце можно не чинить, а обыграть: резать на сильной доле под событие в кадре.

Как музыка управляла монтажом

Коротко, как трек превратился в монтажный план (про видео — отдельная статья).

Сетка долей вместо формулы. Темп плывёт от 100 до 106 BPM, и формула «такт = 60/BPM×4» уползает уже за минуту. Поэтому сетку снимали трекером по реальным долям: в среднем ~103 BPM, такт ~2.3 с.

Акты по частям песни. Вступление — деревня и луч. Куплет 1 — новый мир. Припев 1 — грим, ангар, меч. Куплет 2 — тренировка. Припев 2 — война. Инструментал — охота. Финальный припев и громкий финал — трофеи, пляска, парад, отлёт. Раскадровку переписали «по строкам песни», когда картинка перестала биться с текстом.

Склейки на долях. Смены планов ставились на доли и сильные доли тактов. Пляски из Kling в родной скорости суетились и не попадали в темп, поэтому их замедляли — на мостике вдвое.

Проверка по готовому клипу. Детектор нашёл в клипе 78 смен картинки. Сверху — припев 2: склейки ложатся на первые доли тактов. Снизу — сдвиг каждой смены от ближайшей доли: 62 % лежат в пределах &#xB1;80 мс, при случайной расстановке было бы около 27 %.

Проверка по готовому клипу. Детектор нашёл в клипе 78 смен картинки. Сверху — припев 2: склейки ложатся на первые доли тактов. Снизу — сдвиг каждой смены от ближайшей доли: 62 % лежат в пределах ±80 мс, при случайной расстановке было бы около 27 %.

ЧТО ВЫНЕСТИ

  • Трек — это техзадание на монтаж. Снимите с него сетку долей, границы строк и части песни, и раскадровка начнёт «биться» с музыкой сама.

  • Если генеративная музыка плывёт по темпу, сетку только измерять, никогда не вычислять.

Шпаргалка: как повторить

  1. Соберите входы. Свой текст, песня-референс, формулировка «что берём от оригинала». Плюс все прошлые генерации по этому тексту, если они есть.

  2. Разберите референс замером. Стемы через Demucs, темп и доли, лад по хромаграмме, форма по тактам, громкость по секциям, диапазон голоса. Текст не разбирайте, он есть в сети.

  3. Проверьте всё сомнительное на слух. Особенно «голос» в инструментальных местах и тембры, которые по спектру не различить.

  4. Уложите текст в сетку. Слоги, ударения, окончания строк. Ударения в редких словах можно подсказать знаком «'».

  5. Соберите style из замеров и exclude из того, что Suno любит добавлять сам: балалайка, аккордеон, трёхдольность, фейд.

  6. Не добавляйте дословных примет оригинала. При отказе фильтра откатитесь к тексту, который уже проходил, и держите форму тегами.

  7. Сравнивайте дубли таблицей: длина, темп, лад, громкость, финал. Чините то, что чинится: громкость, концовку. Не надейтесь починить темп.

  8. Меняете трек под готовым монтажом — сначала сверка по долям и голосу, потом решение.

  9. Отдайте трек монтажу как техзадание: измеренная сетка долей, границы строк, части песни, акты

Показать полностью 17
14

Матушка-звезда: 24 часа в сутках, 7 дней работы и ровно 365 генераций и потраченные нервы: как мы сняли AI-клип и какой опыт был получен⁠⁠

Всем привет! Меня зовут Hester, я - разработчик, менеджер, киберспортсмен и один из авторов этого клипа и сегодня будет может быть немного душный пост для всех, но интересный для тех, кто не знает как делаются AI-клипы, но хочет с чего-то начать и чтобы это выглядело смотрибельно, а не как полный хлам. В интернете есть много по истине крутых гайдов от иностранных мастеров пера, но я решил поделиться и своим опытом.

Первое и самое важное!

Я делал клип по референс кадру. Мне его прислал автор текста (музыку я тоже сделал, но как делал - тема для отдельного поста, если вдруг зайдет этот).

Не важно. Был референс кадр девушки ситха. От этого референса строилось всё видео, но я и не подозревал, что это наша пикабушница (она, кстати, тоже не знает). Так что... ну звезды сошлись чтоли, не знаю - вот наша героиня клипа - https://pikabu.ru/@Sibozyaka

Второе, но не менее важное.

После просмотра комментариев к основному посту (Матушка Звезда) хочется сказать - в клипе нет никакой ненависти или каких-либо плохих посылов, поэтому если кого-то вдруг задел ролик - сорян, но ситхи есть ситхи и они готовы валить своих, стоит вспомнить как Энакен задушил Падмэ. Ну вот такие они ситхи, чтож поделать. Может быть доярка еще попробует искупить свою вину, пока этого никто не знает)))

И так, завариваем чаек, пельмешки и погнали разбираться, как же делался ролик (далее моя скупая речь заканчивается и в дело вступает мой верный "джарвис")

«Матушка-Звезда» — наш AI-клип на песню-пародию. Деревенская доярка, Дарт Мол, Звезда Смерти и корова, которая прошла с героиней весь путь от хлева до капитанского мостика. Три с половиной минуты, около 70 планов, 365 запусков нейросетей и примерно $155–160 на генерации.

Клип: https://www.youtube.com/watch?v=nfI-DSPl4Tc

Мы не режиссёры и не аниматоры, а обычные айтишники. Рутину — запуск генераций, журнал расходов, нарезку по музыке — вёл AI-ассистент (Claude Code). Мы придумывали, выбирали и браковали. Спойлер: браковать пришлось много, потому что нейросети косячат с удивительной фантазией. Вот как это было.

Сначала история, потом нейросети

Почему Дарт Мол прилетел ради одной доярки? Он издалека почувствовал, что в Силе что-то изменилось, пригнал целую Звезду Смерти и прилетел сам — проверить. Не знал только, сколько в ней Силы: с первой попытки она вырвала меч у него из рук. Отсюда его удивлённое лицо.

Сюжет клипа: от коромысла до своего разрушителя

Сюжет клипа: от коромысла до своего разрушителя

Начали мы вообще с трека: разложили его на голос и музыку, сняли сетку долей (около 104 ударов в минуту). Каждый акт истории привязали к своей части песни, а сетка задала длину каждого плана.

Нейросеть снимет любой красивый кадр, но не знает, зачем он нужен. В первой версии героиня эффектно крутила мечом в каюте — почти капоэйра. Красиво, вайбово, но история стояла на месте. Заменили: она выходит в коридор с новым мечом, а штурмовики, которые до этого чилили у стены и в начале клипа недоумевали от коромысла и коровы, в спешке строятся в шеренгу. Она проходит мимо и чуть улыбается. Армия её признала — без единого слова.

Было: капоэйра в каюте. Стало: штурмовики видят её и строятся, а она аккуратно улыбается без издевки

Было: капоэйра в каюте. Стало: штурмовики видят её и строятся, а она аккуратно улыбается без издевки

Ключевые сцены мы расписывали до мелочей: кто где стоит, что в руках, чем заканчивается план. На первом кадре испытания Силой наставник стоял посреди комнаты, и сцена читалась как «да проще рукой отобрать». Отодвинули его к комоду в другой конец каюты — и полёт меча стал событием.

Испытание Силой: Мол посреди комнаты и Мол у комода в другом конце каюты

Испытание Силой: Мол посреди комнаты и Мол у комода в другом конце каюты

Детали, которые пересказывают

«Простая девушка получает суперсилу» видели сотни раз. Запоминают детали. Чай с ситхом — из самовара. Красное молоко — «медихлорианов вдоволь». Сундук с хохломой посреди ангара.

Корова в ангаре, чай из самовара, красное молоко, корова на мостике

Корова в ангаре, чай из самовара, красное молоко, корова на мостике

А в финале, если присмотреться, корова впервые не жуёт сено: оно кончилось. Поэтому героиня и идёт в хлев — накормить её перед отлётом. Трофейные мечи, которые она поднимает к Звезде Смерти, — это отчёт Молу: «Хотел, чтобы я наказала джедаев? Держи». Этот жест нам случайно подкинула генерация, а смысл мы достроили сами.

Финал: трофеи — отчёт Молу, корова без сена, поход в хлев

Финал: трофеи — отчёт Молу, корова без сена, поход в хлев

У нейросети нет памяти

Каждый ролик модель делает с нуля и не помнит, как героиня выглядела в прошлой сцене. Поэтому до первого видео мы собрали «библию» героини: портрет, вид в рост со всех сторон, вид со спины, она же с мечом. Эти картинки уходили в каждую генерацию.

Лист 360 без меча и с мечом: спереди, сбоку, сзади

Лист 360 без меча и с мечом: спереди, сбоку, сзади

Лист 360 без меча и с мечом: спереди, сбоку, сзади

Лист 360 без меча и с мечом: спереди, сбоку, сзади

Эталон нужен всем, кто появляется больше одного раза. Даже корове: про неё мы забыли, и в сцене с молоком она вышла размером с телёнка. Мини-корова — это мило, но не наш лор.

Корова размером с телёнка и после пересъёмки

Корова размером с телёнка и после пересъёмки

Картинка дешевле видео

Видеомодели работают от стартового кадра. Переделать картинку стоит $0.06–0.13 и пару минут, переделать видео — от доллара и с риском новых ошибок. Поэтому все спорные решения мы принимали на картинках: где стоит наставник, куда идёт героиня, что у неё на поясе. Для финальногоплана сделали восемь вариантов кадра и выбрали один. А из статичных кадров под музыку ещё до видео собрали черновой монтаж — сразу видно, где провисает.

Восемь вариантов финального плана; внизу — выбранный кадр и тот же план в готовом клипе

Восемь вариантов финального плана; внизу — выбранный кадр и тот же план в готовом клипе

На стартовых кадрах мы тоже сначала экономили: базовая gpt-image-2 стоит $0.06 за кадр, но героиня на общих планах терялась, а меч держала так, будто видит его впервые. Старшая gpt-image-2.5 вдвое дороже, $0.13, зато почти не косячит. Перешли на неё целиком: лишние семь центов на картинке дешевле пересъёмки видео.

Одна сцена войны в двух моделях: в gpt-image-2 героиня потерялась, в gpt-image-2.5 — на месте

Одна сцена войны в двух моделях: в gpt-image-2 героиня потерялась, в gpt-image-2.5 — на месте

Ящик Пандоры: мы забыли про меч

Героиню проработали в первый же день, а её главный предмет — двусторонний меч с хохломой — нет. Рукоять в каждом плане вышла своя: посох, бейсбольная бита, короткий одноручник. В нашей переписке это навсегда осталось как «ящик Пандоры».

Одна и та же рукоять до эталона: посох, бита в полёте, одноручник, толстая труба

Одна и та же рукоять до эталона: посох, бита в полёте, одноручник, толстая труба

Спасли эталонным листом: рукоять с двух сторон, и героиня держит её двумя руками на ширине плеч — масштаб через тело работает лучше любых сантиметров в промпте. Пересъёмка обошлась примерно в $8.5 и целый вечер.

Эталонный лист меча: ракурсы и масштаб в руке

Эталонный лист меча: ракурсы и масштаб в руке

Два неочевидных урока. Эталон предмета даём только тогда, когда предмет в руках: иначе модель показывает его крупно, и меч на поясе превращается в толстую трубу. И размер задаёт финальный кадр, а не слова: одна фраза «длиной с предплечье» превратила двусторонний меч в одноручник.

Капитанский мостик: с эталоном в референсах рукоять стала трубой, без него — нормальный меч на поясе

Капитанский мостик: с эталоном в референсах рукоять стала трубой, без него — нормальный меч на поясе

Kling против Seedance

Главная сцена — меч вырывается из рук Мола и летит к героине. Kling тут нейрослопил по полной: рукоять стала метровым посохом, а лёгкий красный ореол — огромными спиралями на полкадра. Мы уже придумывали запасную сцену, но отдали те же кадры в Seedance — и он сделал всё с первой попытки.

Сцена с Силой: спирали в Kling и чистый дубль в Seedance по тем же кадрам

Сцена с Силой: спирали в Kling и чистый дубль в Seedance по тем же кадрам

Модели учили на разных данных. Kling хорошо держит лица, эмоции и массовку, Seedance — физику и предметы в полёте. Пение лучше всего вышло в Wan 2.7, дешёвая Pruna годится для черновиков. Правило: три брака подряд — меняем модель, а не промпт. Хороший пример — парад вдоль армии. Seedance три раза подряд отказал по фильтру копирайта. Pruna фильтр прошла и вышла вдвое дешевле, но к концу плана картинка стала мультяшной. В клип попал Kling. А на взрыве шагохода Pruna вместо огня выдала белое облако — эпик превратился в пар из чайника.

Парад: Pruna к концу плана и Kling 4.0, попавший в монтаж

Парад: Pruna к концу плана и Kling 4.0, попавший в монтаж

Поэтому выбирайте модель не по рейтингам и чужим демо. Прогоните одну свою сцену в двух-трёх моделях с одинаковыми кадрами — за $3–5 узнаете больше, чем за час обзоров.

Бой — самая дорогая сцена

Хореография на мечах не далась ни одной модели: неживые движения, ладони прямо на светящемся клинке, клинки гнутся буквой V и сплющиваются в «лопасти». На охоту и бой ушло около $43 — 73 запуска ради 42 секунд клипа. Вместе со сценой войны бои съели около 40% бюджета.

Брак в бою: клинки сплющиваются в лопасти

Брак в бою: клинки сплющиваются в лопасти

Собирали бой из коротких дублей по 4–7 секунд, склеенных по совпадающей позе: последний кадр одного дубля почти совпадает с первым кадром следующего. Так 16 склеек из 13 разных дублей смотрятся одним движением.

Камера и свет: чтобы не вышло лоскутное одеяло

Видео из разных моделей и разных вечеров легко рассыпается на лоскуты. Склеивают их свет и камера. У нас два мира света: холодная синяя ночь с красными акцентами — на корабле и в бою, и тёплый фонарь — в хлеву. Плюс одна и та же стилевая строка в конце каждого промпта: плёнка, объектив, зерно, палитра. Скучно, зато кадры из разных моделей смотрятся как один фильм.

Два мира света: холодная ночь с красными мечами и тёплый хлев

Два мира света: холодная ночь с красными мечами и тёплый хлев

Постановка камеры - отдельная наука и тут лучше предварительных раскадровок никто ничего еще не придумал.

Как разговаривать с моделью

Модель понимает слова не как человек — часто буквально и с перебором:

  • писали «лёгкий блик на рукояти» → получили красное свечение по всей рукояти;

  • «лёгкий красный ореол» → огромные спирали на полкадра;

  • референс меча «для справки» → меч крупно, рукоять-труба;

  • «длиной с предплечье» → двусторонний меч стал одноручником;

  • «солдаты в коридоре» → отказ фильтра; «фигуры в белой броне» → прошло.

Что у нас работало: показывать картинкой, а не описывать словами; расписывать действие по секундам («0–1 с — …, 1–2 с — …»); писать явные числа («ровно ОДНА девушка», иначе их станет две); делать одну правку за раз. И помнить, что в модели есть случайность: иногда дешевле просто перезапустить, чем переписывать промпт.

Пение и губы

Губы ставим по отдельной дорожке голоса, иначе рот двигается под барабаны. Крупный план и наезд камеры — враги: зубы и лицо начинают плыть. Ещё модели обожают делать поющих счастливыми до кринжа — приходится прямо писать «без широкой улыбки». Для финала мы сделали пять новых дублей пения, и все оказались хуже старого. Взяли старый дубль из второго припева, нарезали и вставили там, где губы совпадают с новыми словами. Новый дубль не обязан быть лучше старого.

Пение в финале: забракованные новые дубли и старый дубль Wan, который попал в клип

Пение в финале: забракованные новые дубли и старый дубль Wan, который попал в клип

Фильтры

Пародия на знаменитую сагу — фильтры это почувствовали: 38 отказов из 365 запусков. Хорошая новость: отказы бесплатны. Плохая: они съедают время. Главное правило — никаких имён. Не «штурмовики», а «фигуры в белой броне», не название станции, а «серая сферическая станция». И полезная диагностика. Если отказ пришёл мгновенно — не понравился промпт или кадр. Если через пару минут — промпт прошёл, а забраковано готовое видео: слишком похоже на оригинал. Тут менять надо не слова, а картинку, или идти в другую модель.

Монтаж спасает брак

В монтаж попало видео примерно на $56, в корзину ушло на $79. Но под музыку план часто длится один такт, и в неудачном дубле почти всегда есть 1–2 чистые секунды. Ворона в первом кадре появляется из воздуха — накрыли этот момент титром с названием, и у клипа появилась заставка.

Ворона появляется из воздуха — первые полторы секунды накрыты титром

Ворона появляется из воздуха — первые полторы секунды накрыты титром

В плане изнутри ящика комода начало хорошее, а потом к мечу тянется гигантская рука. Взяли отрезок до руки и замедлили его, чтобы закрыть такт.

План из ящика: отрезок до полутора секунд в монтаже, дальше гигантская рука

План из ящика: отрезок до полутора секунд в монтаже, дальше гигантская рука

Модель пустила по рукояти красное свечение вместо лёгкого блика — оставили: будто меч просыпается. Героиня падает в снег, а следующий план — уже другой дубль; стык спрятали затемнением.

Затемнение: падение в снег, уход в чёрное и выход из чёрного в другом дубле

Затемнение: падение в снег, уход в чёрное и выход из чёрного в другом дубле

Что мы оставили как есть

Внимательный зритель найдёт в клипе ещё немало нейрослопа. Часть мы оставили сознательно: бюджет не резиновый, а переснимать всё подряд — путь в никуда. У падающего флага героиня протаскивает меч сквозь себя, чтобы отбить луч. Мы переснимали эту сцену и так и сяк, но ни одна модель не понимала, как анимировать отбивание. В итоге решили: это её Сила, она так может.

У падающего флага: меч за спиной, клинок идёт сквозь тело и отбивает луч

У падающего флага: меч за спиной, клинок идёт сквозь тело и отбивает луч

А платье героини меняется от сцены к сцене — рефы не спасли. Мы «продали» себе этот косяк так: пусть она доярка и новичок в мире ситхов, но она женщина — и платья меняет как носки. Надо же выгулять весь гардероб.

Гардероб героини: в разных сценах — разные платья

Гардероб героини: в разных сценах — разные платья

Сколько стоило

По журналу — $151 (видео около $136, картинки около $15.5), всего с запасом $155–160. Половина ушла на Seedance. Музыка, монтаж и наше время сюда не входят.

Половина бюджета ушла на Seedance:

журнал генераций Replicate &#xB7; 365 запусков, конец октября — начало ноября 2026

журнал генераций Replicate · 365 запусков, конец октября — начало ноября 2026

Шпаргалка перед стартом

  • Трек разложен, есть сетка долей, акты привязаны к частям песни.

  • История в одну фразу и ответ на «а почему так?».

  • Эталоны всех героев (включая корову) и ключевого предмета в руке.

  • Один-два мира света и одна стилевая строка на все промпты.

  • Все спорные решения — на картинках, видео — только по утверждённому кадру.

  • Одно простое движение камеры на план.

  • Модель под тип сцены; три неудачи — меняем модель.

  • На бои закладываем треть бюджета и больше.

  • Брак не удаляем до конца проекта, журнал расходов ведём с первого запуска.

Вместо заключения

Главное, что мы поняли: нейросети не снимают клип за вас. Они дают съёмочную группу, которая работает круглосуточно и стоит как пара ужинов в ресторане. А режиссёр, оператор и монтажёр — по- прежнему вы. Модель не знает, зачем Дарт Мол прилетел к доярке и почему корова не жуёт сено. Это знаете только вы — и именно это делает клип вашим. Если делаете свой AI-клип — пишите в комментариях, на какие грабли наступили. А если найдёте в клипе пасхалку, о которой мы не написали, — тоже пишите.

Показать полностью 24 1
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества