Видеомонтаж

Всем привет! Вчера вечером наконец добрался до нашумевшего «Бэкрумса» от A24 — того самого, выросшего из интернет-вселенной. Забавно, странно, местами прям пробирает. И меня накрыло: захотелось сделать свой вариант.

Назвал «Задворки». История чуть более понятная для нас: срезал через деревню, или вышел не на той остановке — и всё, ты уже не там.

Арты нагенерировал через ChatGPT, видео из них собирал на разных моделях на artgeneration.me. Особенно удачно себя показала H3 от MiniMax — новинка, и она уже доступна на сайте, идите щупайте.

Но самое интересное тут даже не то, ЧТО я сделал, а КАК.

Я впервые в жизни вообще не притронулся к ручному монтажу. Трейлер практически целиком собрал AI-агент из уже отснятых и нарезанных футажей. Опыт — крышесносный.

Чем собирали «Задворки»:

➡️ OpenMontage — агентная система: разбор видеоматериала, построение монтажного пайплайна, организация ассетов.

➡️ video-shotcraft — набор рецептов для кинематографического монтажа: динамика кадров, хоррор-подача, перебивки, звуковые акценты, структура трейлера.

➡️ FFmpeg и FFprobe — собственно монтаж: обрезка исходников, перестановка кадров, цветокор, затемнение, виньетка, сведение звука и финальный рендер.

➡️ UVR — разделение исходного звука и удаление речи из футажей, но так, чтобы атмосфера и эффекты остались.

➡️ Локальные ASR-модели — распознавание диалогов и проверка того, что вообще происходит на исходных аудиодорожках.

➡️ Google Lyria 3 Pro через OpenRouter — оригинальная тревожная музыка. Пришлось погонять несколько итераций: сначала лез рейвовый ритм, потом классический оркестр, потом обычный эмбиент — и только после правок вырулили в нормальный supernatural-horror.

➡️ MiniMax Speech 2.8 HD — первый вариант озвучки персонажей. Слишком синтетично, отказались.

➡️ Grok Voice TTS 1.0 через OpenRouter — второй кастинг русских голосов: девушка, Лёша, парень из автобуса и мужской закадровый. В финале диалоги убрал вообще — без них страшнее.

➡️ Библиотека SFX из video-shotcraft — помехи, плёночные щелчки, глитчи, кассетные артефакты, переходы, сердцебиение и низкочастотные удары на склейках.

➡️ Финальный титр — заставка «ЗАДВОРКИ» со слоганом: «Сюда нельзя попасть. Здесь можно только оказаться».

Итоговый пайплайн:

разбор футажей → удаление исходной речи → пересборка кадров → хоррор-монтаж → генерация музыки → расстановка SFX → эксперименты с TTS → отказ от диалогов → финальное сведение и рендер.

То есть агент сам разобрал исходники, пересобрал трейлер, догенерировал недостающий звук и несколько раз переделал музыку и голоса по моим режиссёрским правкам. Я только смотрел и говорил «не то, давай ещё раз».

Расскажите в комментариях: вы бы досмотрели такое до конца? И готовы ли уже отдать монтаж агенту — или руки всё-таки не отпускают таймлайн?

Я рассказываю больше о нейросетях у себя на YouTube, в Телеграме и на Бусти. Залетайте, каждую пятницу смотрим новинки нейросетей и генерируем вместе.

Ключевая идея: агент не выдаёт «сгенерированный ролик, который уже не поправишь», а пишет реальные правки в дорожки, клипы, переходы, субтитры и эффекты внутри проекта. Дальше продолжаешь монтаж руками, отменяешь, версионируешь или передаёшь проект другому агенту. Проекты и медиа лежат локально (~/.openchatcut), API-ключи хранятся на стороне сервера, а не в браузере.

Агент-нативный монтаж. Встроенный агент и внешние (Claude Code, Codex по протоколу MCP) используют одни и те же инструменты: опиши задачу словами — агент читает проект, предлагает правки и пишет их на таймлайн. Каждая правка отслеживаемая и отменяемая через команды EditorCore, а формат проекта один и тот же для редактора и внешних агентов.

Настоящий редактор, а не генератор. Мультитрек с перемещением, обрезкой, сплитом, ripple, снаппингом, кейфреймами, маркерами и undo/redo. WebGL-эффекты, LUT, хромакей, зумы, переходы и кастомные шейдеры. Аудио: несколько дорожек, звуковые эффекты, музыка, запись озвучки, авто-дакинг, выделение вокала.

Монтаж по транскрипту: пословная расшифровка, резка текстом, сжатие пауз, спикеры. Субтитры: авто-генерация, стили, перевод, оверлеи, экспорт SRT. Motion Graphics: встроенные шаблоны в песочнице и генерация редактируемых клипов.

Генерация картинок, видео, речи, музыки и звуковых эффектов прямо в проект. Экспорт MP4, аудио, субтитров, FCPXML и полного дампа проекта. Аппаратное ускорение H.264: NVENC на Windows, VideoToolbox на Mac, с софт-фолбэком.

Установка: инсталлеры с GitHub Releases (DMG для macOS, x64 для Windows) или запуск из исходников (git clone, npm install, npm run dev на localhost:5199, нужен Node.js 24). Лицензия AGPL-3.0.

Проект молодой и активно развивается. Если полезно — поставьте автору звезду на GitHub.

GitHub: 0xsline/OpenChatCut · Сайт: openchatcut.com · Скачать: Releases

РЕПАКИ И ПОРТАТИВКИ ПОЛЕЗНЫХ НЕЙРОСЕТЕЙ ● НЕЙРОСОФТ

Dub Studio — опенсорсный «CapCut для ИИ-дубляжа»: берёт любое короткое видео и переозвучивает его на другой язык — полностью локально и бесплатно, без облака и подписок. Авто-анализ делает первый проход (распознавание речи, разделение спикеров, перевод, чтение текста на экране), а дальше ты в живом редакторе с превью правишь каждую реплику, голос, субтитр, плашку и заголовок.

Изначально это была версия на Python — а теперь я полностью переписал её с нуля на нативный стек (Rust + Tauri + C++/CUDA-движки).

• 5 режимов: полный дубляж · закадровый (голос поверх приглушённого оригинала) · только субтитры · Funny-режим (Gemma переписывает сценарий и переозвучивает) · транскрипт+диаризация

• Клон голоса оригинала (движок Higgs Audio v3), авто-кастинг разных голосов по спикерам или голос из пака

• Мультиспикерная диаризация (NVIDIA Sortformer, до 4 голосов) — каждому спикеру свой голос

• Текст на экране распознаётся (PP-OCR) и локализуется прямо на кадре — блюр оригинала + свой заголовок в подобранном стиле

• Импорт готовых субтитров (SRT/ASS) — берём текст и тайминг из файла вместо распознавания; галочка «уже на языке перевода» → дубляж напрямую из них, без ASR и перевода

• Мультиязычный экспорт — одно видео сразу на несколько языков, каждый наследует все твои правки

• Выбор ASR-движка — Parakeet-TDT (GPU) или Whisper (можно на CPU), с выбором размера модели и кванта

• 26 стилей субтитров (караоке / по словам / hormozi / неон…), рендер прямо на твоём кадре в реальном времени

• Сохранение проектов, поиск по сотням голосов и 100+ языкам, batch-обработка папок, живое превью ~0.17 с/кадр

• 100% оффлайн — ничего не уходит в облако

Скачать на GitHub — и поставить ⭐
README на русском языке
Сайт с примерами «до / после»

Мой Телеграм канал 👾 РЕПАКИ И ПОРТАТИВКИ ПОЛЕЗНЫХ НЕЙРОСЕТЕЙ ● НЕЙРОСОФТ