Автоматический монтаж видео нейросетью Wunjo
Я не получаю кайф от монтажа видео, когда это долго — часы или дни, а еще что-то нужно пересобирать. Нужно подобрать подходящий звук, вырезать ненужные моменты и удалить некачественные фрагменты. И я подумал для себя, как это все упростить и ускорить. Автоматизировать монтаж длинных видео или создавать шортсы, где один клик мыши, 2 минуты — и результат.
Я нашел решение в двух подходах: на основе контентного анализа (например, для спортивных событий или фильмов) и на основе анализа звука (например, для интервью, новостей). И что самое главное — я решил сделать этот функционал доступным бесплатно в пет-проекте (код открыт на GitHub).
Вот, что из этого получилось:
Достаточно загрузить видео любого качества и длины — даже многочасовое. Далее нужно просто написать в чате, какое видео нужно получить, выбрать длительность всего видео и фрагментов. Искусственный интеллект сам анализирует видео, выбирает нужные фрагменты и собирает их в единый контент.
Например, создает грустное видео или собирает самые яркие моменты — такие как голы или красные карточки в футбольном матче. Возможности ограничены только вашей фантазией. Процесс обработки займет от 2 до 10 минут, в зависимости от длины видео, и на выходе — готовый контент, который можно использовать как шортс или для удаления скучных моментов.
Если человек полностью не доверяет нейросети при монтаже, существует еще один способ. На основе запроса нейросеть найдет длинные фрагменты видео, которые можно использовать для дальнейшего ручного монтажа. Больше не нужно просматривать часы видео, чтобы найти моменты.
Еще можно выбрать нужный фрагмент или все видео и задавать вопросы, например: «Что происходило на этом отрезке?», «Во что одеты люди?», «Как падает свет?» или «На какую камеру можно снять подобный отрывок?». Хотя не все вопросы могут получить ответ, но всегда можно попробовать спросить!
В будущем появится функция монтажа видео на основе звука — для создания шортсов из интервью, новостей и других звуковых материалов, если текущий функционал зайдет. Сейчас программа на стадии теста в Patreon и Boosty, а общий релиз будет в апреле.
А пост создан для того, чтобы узнать из комментариев: при монтаже видео, чего еще не хватает и надо ли в этом направлении проект развивать?
