Это видео я создал уже достаточно давно.Само видео(его абсолютно бОльшая часть), - было создано неким Карнелием Чукотским,а нашёл я его тогда на YouTube.В оригинальном видео звучит совсем другая песня.Я отредактировал видео(в частности сделав в него свои вставки),и заменив аудиодорожку(трек).И на мой вкус, - трек "Плюша"(Карт-Бланш cover-plus)[Tunee AI](Дмитрий Котин), - подошёл к видео идеально,словно видео ждало,когда я найду его и сделаю с ним то, - что сделал ...

Тыкался мыкался, взлетело тяжело, и не так как я рассчитывал. Она конечно всё перевела. Но во 1 прям очень плохо, во 2 звук мне пришлось сводить потом вручную. Согласитесь для того что бы посмотреть видео с русским дубляжом, слишком много возни.

Ну и так как количество видео убавилось на 1, а впереди их было много и в планах ещё больше. Я решил что надо исправить недоразумение и собрать что-то своё. Благо нейронки позволяют.

Так родилась идея, родить фабрику по переводу видео. Мы на вход кидаем видео, выбираем настройки, нажимаем старт, уходим, возвращаемся и получаем готовое видео.

А тут ещё на пикабу (@Magor15, как и обещал, я тебя тегаю.) задал вопрос про простой сценарий. На что я справедливо решил, что такая идея вероятно все же имеет спрос.

К тому моменту программа была готова где-то наполовину. Я выбрал самые стабильные модели из возможных.

И всё шло хорошо. Whisper хорошо определял текст, алгоритмом мы их размечали и получалось меньше 1% промахов в распознавании и разметке реплик. Что мотивировало работать дальше.

Из принципиального, хотелось иметь возможность закольцевать пайплайн локально. Для чего потребовалась LLM как переводчик текста. По началу я использовал qwen на 8b параметров, но во 1 он был квантованный, т.е. сжатый, и работы по переводу не специализированной моделью, занятие честно не благодарное. Поэтому я пошерстил информацию и обнаружил TranslateGemma 4B, более скормная модель, из плюсов, в нашей сборке она почти без квантования, и потому работа переводчика у неё лучше. Но опять же с оговоркой, что на высокую художественность тут расчитывать не стоит. Однако. После распознания речи, у нас генерируются субтитры на языке оригинала. И тут есть некоторый фокус, если хочется больше художественности.

Мы просто отгружаем srt файл с субтитрами в любую топовую нейросеть, прямо в чат, и просим красиво перевести. Результат получается кратно лучше, высокохудожественно, но немного не автоматизированно.

И после этой манипуляции выбираем в настройках "Только озвучить" подтягиваем полученные субтитры и смело озвучиваем выбранной далее нейросетью для озвучивания.

И тут мы подходим к этапу который съел больше всех времени. На выбор для озвучки есть две нейросети. Supertonic, простой как палка, есть пачка предобученных голосов от самого поставщика, работает как на процессоре так и на видеокарте, достаточно шустро. С ним было буквально 0 проблем, он работает с самой первой версии.

А вот его коллега OmniVoice, мммм, сколько нервов он мне промотал. Фокус в том, что omnivoice умеет клонировать голоса. Но для этого ему нужно хотя бы 10 секунд чистого звука. А если вы озвучиваете длинный фильм, то их надо правильно достать и отдать ему. Ошибок было много. О них я расскажу в следующих постах. Пока в общем.

Финальный штрих, который закрывал мою боль, это автоматическая сборка. Т.е. после озвучки, нужно было её добавить в оригинальное видео. А т.к. озвучка у нас идёт в чистом виде, без фоновых звуков фильма, нужно было применить алгоритм приглушения оригинала, который вставлял переведенную фразу в тайминги оригинала, и заглушал оригинальную дорожку.

И в итоге я получил готовое видео, переозвученное на русский язык. Да, результат далек от фантастики. Но если желание посмотреть видео с переводом сильно выше, чем желание ждать дубляж. И есть хотя бы rtx 3060 на 12 гб, то у меня есть что вам предложить :) Кстати вы можете оценить работу озвучивания supertonic вот в этом посте

Что по итогу. Работает всё. Я бросил все силы на то, что бы максимально отладить функционал. На моём пк, всё работает великолепно. И потому я предлагаю вам присоединится к бета тесту функционала. Однако должен предупредить, интерфейс пока болезный. Доверять полосам прогресса нельзя. Поэтому я дальше вам дам немного известных багов, а вы будете их иметь в виду во время пользования.

Если программа будет пользоваться спросом, интерфейс я приведу в порядок, но лично мне такого костыльного интерфейса хватает. Там не очень много проблем на самом деле.

И самая первая проблема в обманчивом окне для перетаскивания видео. Бросаем видео во вторую зону, а потом ОБЯЗАТЕЛЬНО нажимаем кнопку Определить. Всё, у вас создаётся проект для видео и вы можете выбирать модели, настройки и запускать. Это ключевая ошибка интерфейсная, на которой можно жестко споткнутся.

Ещё буквально пока писал пост обнаружил что окошечко "Откуда берём субтитры" может не появится, если ещё ни одного видео не перевели в принципе. Переводим одно видео, жмём несколько раз на кружок со стрелочкой, это обновляет интерфейс. И окошко должно появится.

Ну и финальное, что полосы прогресса отображают хрен пойми что. Внизу есть журнал, когда прогон закончится, у вас появится уведомление о завершении. Просто не обращайте внимания.

Архив с программой весит чуть больше 1 гб, после распаковки, установки и скачивания моделей распухнет до 15+ гб, имейте в виду. Для комфортного пользования рекомендуется хотя бы RTX 3060, модельки небольшие, на каждом этапе выгружаются. Я постарался максимально всё оптимизировать в этом месте. Если будет возможность, поделитесь на каком железе запускали и как прошло.

Спасибо что прочли, ссылочка на vt - переводчик видео.

P.S. Программа кстати бесплатная, предоставляется as is, все модели вы скачиваете из их оригинальных источников, для этого вам предоставлен мастер для скачивания, коммерция и клонирование чужого голоса без согласия запрещены. Подробную информацию о моделях можете прочитать на их оригинальных сайтах.

Ну и конечно ссылка на телеграм канал, куда ж без неё

Здесь собраны 14 готовых промтов для ИИ фотосессии на Хэллоуин, где вы на одном кадре с легендарными монстрами: Чаки, Призрачным лицом из «Крика», Арт-клоуном из «Ужасающего» и другими. Страшные герои тут дружелюбные, делают с вами селфи и строят рожицы, а у вас красивый хэллоуинский макияж. Загрузите своё фото как референс, вставьте промт и получите кадр в стиле плёнки, фотобудки или селфи на смартфон.

Как сделать ИИ фотосессию на Хэллоуин за три шага

Весь процесс занимает несколько минут на кадр, а нужны только ваше фото и сервис с генератором изображений.

1. Выберите исходное фото. Лицо крупно, спереди или в три четверти, ровный свет, один человек в кадре. Берите снимки только тех, кто не против.

2. Загрузите фото как референс. Зарегистрируйтесь в AIgrator, подтвердите email и получите бонус 50 ₽. В разделе изображений выберите GPT Image 2.5: одна генерация стоит 4,72 ₽, цена видна до запуска.

3. Вставьте промт. Скопируйте нужный из списка. Макияж в промтах нарисует нейросеть, реальный грим не нужен.

Каждый промт собран по одной схеме: вы и ваш макияж, дружелюбный монстр, что смешного вы делаете вместе, место и стиль съёмки. Её легко повторить для любого героя. Парням макияж можно заменить на театральный грим: тёмные тени, лёгкие «шрамы» или блёстки.

Генераторы иногда отказываются рисовать героев из фильмов или упрощают образ. Если модель отказалась, переходите к следующему кадру из списка.

Селфи с монстром: герои фильмов ужасов

Эти десять промтов собраны вокруг самых узнаваемых героев хорроров. У каждого кадра своё место, поза и шутка, поэтому фотосессия не получится из десяти одинаковых портретов.

Селфи с Призрачным лицом из «Крика» в тёмной прихожей

Сохрани лицо и черты человека с референса. Готический макияж: чёрные стрелки, бордовая помада, серебристые блёстки на скулах. Рядом дружелюбное Призрачное лицо из фильма «Крик». Они делают селфи на смартфон в тёмной прихожей загородного дома, человек смеётся, а монстр показывает знак мира двумя пальцами. Плёночное фото со вспышкой, зерно, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Фото с Чаки в детской с гирляндой

Сохрани лицо и черты человека с референса. Кукольный макияж: фарфоровая кожа, розовые круги румян, стразы под глазами. Рядом Чаки из фильма «Детская игра» ростом с куклу, сидит у человека на плече и корчит рожицу. Селфи сверху в детской, на стене светится гирлянда, на ковре разбросаны игрушки. Тёплая плёнка, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Попкорн с Арт-клоуном в ночном метро

Сохрани лицо и черты человека с референса. Яркий клоунский макияж: красные стрелки в форме сердечек, белая пудра, блёстки на веках. Рядом Арт-клоун из фильма «Ужасающий» делит с человеком большой стакан попкорна на скамейке пустого вагона ночного метро, оба смеются. Фото на одноразовую камеру со вспышкой, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Фредди Крюгер дремлет на плече в прачечной

Сохрани лицо и черты человека с референса. Макияж с зелёными и красными тенями и блёстками у внешних уголков глаз. Рядом Фредди Крюгер из «Кошмара на улице Вязов» уснул на плече у человека на лавке круглосуточной прачечной, а человек снимает селфи с хитрой улыбкой. Неоновая вывеска, стиральные машины, плёночное зерно, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Джейсон с удочкой на причале

Сохрани лицо и черты человека с референса. Макияж с голубыми ледяными тенями и перламутровыми блёстками. Рядом Джейсон Вурхиз из «Пятницы, 13-е» с удочкой, на крючке резиновая уточка. Оба обнимаются и смеются, снимая селфи на деревянном причале у ночного озера. Лёгкий туман, мягкая вспышка, плёночный стиль, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Пеннивайз в плёночной фотобудке

Сохрани лицо и черты человека с референса. Макияж в стиле весёлого клоуна: красная помада, сердечки из блёсток на щеках. Рядом Пеннивайз из фильма «Оно» в тесной фотобудке, они корчат рожицы, вокруг красные шарики. Полоска из четырёх кадров, как в старой фотобудке, зерно, тёплый свет, вертикальный формат.

👉Сгенерировать фото бесплатно

Монахиня из «Заклятия» просит тишины в библиотеке

Сохрани лицо и черты человека с референса. Макияж «стеклянная кожа»: бледная база, серебристые стразы по линии бровей, тёмно-вишнёвые губы. Рядом Монахиня из фильма «Заклятие» прикладывает палец к губам и шепчет «тише» в старой монастырской библиотеке, человек подмигивает в камеру. Селфи при свете свечи, плёночное зерно, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Самара из «Звонка» с пультом в гостиной

Сохрани лицо и черты человека с референса. Макияж с голубыми тенями и стразами-слезинками под глазами. Рядом Самара из фильма «Звонок» наполовину вышла из старого телевизора и держит в руке пульт, на экране надпись «нет сигнала». Человек снимает селфи на диване и делает вид, что удивлён. Холодное свечение экрана, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Битлджус на кладбище с селфи-палкой

Сохрани лицо и черты человека с референса. Неоновый макияж: фиолетовые стрелки, узор паутины из чёрной подводки на скуле. Рядом Битлджус из одноимённого фильма обнимает человека за плечи, оба корчат смешные рожицы, у монстра в руке селфи-палка. Кладбище, покосившиеся надгробия, фиолетовый туман. Плёночное фото со вспышкой, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Бабадук подглядывает из-за шкафа в спальне

Сохрани лицо и черты человека с референса. Лёгкий макияж с тёмно-синими тенями, человек в пижаме и ночной маске на лбу. Рядом Бабадук из фильма «Бабадук» стесняется, выглядывает из-за шкафа в спальне, а человек со смехом показывает на него пальцем. Зеркальное селфи, мягкая вспышка, серо-синий свет, вертикальный кадр 9:16.

👉Сгенерировать фото бесплатно

Фото на Хэллоуин нейросетью: классические монстры

Эти четыре кадра не привязаны к конкретным фильмам, поэтому модели генерируют их без отказов, и они хорошо подходят для семейной и дружеской фотосессии.

Селфи с графом-вампиром в зеркале склепа

Сохрани лицо и черты человека с референса. Вампирский макияж: бордовые губы, тёмные тени, лёгкое сияние на скулах. Рядом граф-вампир в тёмном плаще обнимает человека за плечи, оба в старинном зеркале в каменном склепе, но в отражении виден только человек. Свет канделябра, плёночное зерно, вертикальный кадр 9:16.

Оборотень жарит зефир у костра

Сохрани лицо и черты человека с референса. Макияж с золотистыми тенями и блёстками, как у лунной феи. Рядом дружелюбный оборотень с густой шерстью обнимает человека за плечи, у костра на дачной веранде они жарят зефир на палочках. Тёплый свет огня, лёгкий дым, плёнка, вертикальный кадр 9:16.

Ведьма катает на метле над болотом

Сохрани лицо и черты человека с референса. Макияж ведьмочки: зелёные тени, фиолетовая помада, звёздочки-стикеры у висков. Рядом ведьма в остроконечной шляпе управляет метлой, человек сидит сзади и снимает селфи. Под ними ночное болото с низким туманом и чёрным котом в лодке. Зеленоватая подсветка, вертикальный кадр 9:16.

Тыквоголовый с пряным латте в кузове пикапа

Сохрани лицо и черты человека с референса. Осенний макияж: оранжевые тени, веснушки, золотистые блёстки на скулах. Рядом тыквоголовый с оранжевым светом внутри протягивает человеку стаканчик пряного латте. Они сидят в кузове старого пикапа на закате у кукурузного поля, на заднем плане ворона на заборе. Тёплая плёнка, вертикальный кадр 9:16.

Как оживить ИИ фотосессию на Хэллоуин

Лучший кадр можно превратить в короткое видео. В AIgrator для этого есть модель Seedance 2.0 Mini по цене 37,31 ₽ за генерацию. По описанию модели, ролик получается от 4 до 15 секунд. Для Reels, Shorts и TikTok выбирайте вертикальный формат, а наличие режима «из изображения» проверьте в интерфейсе до запуска. Хватает одной фразы про движение, например «монстр показывает знак мира, человек смеётся и подмигивает».

Затем наложите звук: смех, ветер, скрип двери или низкую музыку. Из нескольких кадров склеивается ролик «Хэллоуин с монстрами» по 3-4 секунды на каждый.

Сколько стоит ИИ фотосессия на Хэллоуин

Десять кадров в GPT Image 2.5 стоят 47,20 ₽ (10 × 4,72), поэтому бонуса 50 ₽ хватает на целую подборку. Оживление одного кадра в Seedance 2.0 Mini добавит 37,31 ₽. Баланс можно пополнить картой РФ или через СБП, подписок нет. Цены могут меняться, актуальные значения видны в личном кабинете перед запуском.

Частые вопросы

Ответы на то, что чаще всего спрашивают перед первой хэллоуинской фотосессией с нейросетью.

Какой нейросетью сделать ИИ фотосессию на Хэллоуин?

Подойдёт любая модель, которая принимает референс-фото, например GPT Image 2.5 или Nano Banana Pro. Они лучше держат лицо и меняют макияж, место и свет.

Как сделать красивый хэллоуинский макияж на фото?

Опишите его в промте: цвет теней, помады и блёстки, а также где они расположены. Чем конкретнее описание, тем аккуратнее результат. Реальный грим не нужен, нейросеть нарисует его сама.

Почему нейросеть не рисует Чаки или Фредди?

Некоторые генераторы ограничивают персонажей из фильмов. В таком случае возьмите другой кадр из подборки или классического монстра.

Итог

Промты для ИИ фотосессии на Хэллоуин работают проще, чем кажется: один референс, макияж, дружелюбный монстр, шутка и стиль плёнки. Скопируйте любой из 14 промтов, зарегистрируйтесь в AIgrator и получите 50 ₽ после подтверждения email, этого хватит на десять кадров. Подробности о сервисе и моделях есть в нашем обзоре AIgrator. Расскажите в комментариях, с каким монстром вы сделали селфи.

Сам по себе каждый запрос не обязан быть убыточным. Можно зарабатывать на обслуживании клиентов и всё равно уходить в минус из-за разработки следующих моделей. Поэтому мне мало аргумента «нейросетями пользуются миллионы». Хочу понять, останется ли прибыль после всех расходов на эту бесконечную гонку. При нынешнем подходе я оцениваю шансы отбить всё вложенное как низкие. Для меня надежда на будущий скачок возможностей пока не заменяет понятной экономики.

Мой прогноз: часть компаний закроется, часть продастся более богатым владельцам, часть сильно урежет свои амбиции. Большое имя вроде Anthropic само по себе от такого исхода не защищает. Успешный продукт может пережить компанию, которая его создала, причём уже с другим хозяином и другими ценами.

Конца ИИ я при этом не жду. Мы его любим, он полезен, и я сам хочу увидеть, что ChatGPT сможет делать дальше. Но моя симпатия к технологии не обязывает меня верить в окупаемость каждого миллиарда, который в неё закинули. Пользоваться нейросетями мы, скорее всего, продолжим. А оплачивать весь этот праздник инвесторам, боюсь, придётся без нас.

Подписывайтесь на «Пост Завтра». пожалуйста,
веду канал своим сердечком