DrawTube

DrawTube

https://drawtube.ru/ Создавайте мультипликацию из любого видео с российских видеохостингов rutube.ru vk.com vkvideo.ru ok.ru
На Пикабу
Дата рождения: 1 июня
100 рейтинг 0 подписчиков 0 подписок 13 постов 0 в горячем

Пример преобразования видео. ffmpeg+Stable Diffusion

Преобразование в два этапа

1) создание чёрно-белого эскиза - далее объединение эскиза с оригиналом = цветной эскиз

2) создание анимации из эскиза

Видео получается более ровным и стабильным

Показать полностью
1

Stable Diffusion - вторая версия скрипта. Создание анимации из видео

При создании анимации картинка слишком сильно прыгать начинает

поэтому пока вижу только один выход, делать двойное преобразование
Сначала создавать набросок чёрно-белый (монохром)

потом накладывать на него цвет

и только уже на основе первичного эскиза создавать анимацию, тогда картинка будет более менее стабильной

Показать полностью 3

Stable Diffusion - создание анимации из любого видео. Подключил вычислительное облако Yandex Cloud. 1 минута видео = 33 рубля берет яндекс

Подключил облачные вычислительные мощности, выбор пал на Yandex Cloud из плюсов понятно как резиденту РФ можно пополнять баланс в отличии от гугла, и жИРНЫЙ минус - отсутствие бесплатных месячных лимитов как в гугле....
Создал 8 серверов (виртуальных машин. На ФЕДОРЕ 16 ядер по 16 Гб ОЗУ на каждой машине в автозагрузке прописал запуск fastsdcpu
Ссылка на исходники https://github.com/rupeshs/fastsdcpu

Цели две
посмотреть как быстро справится и сколько будет стоить по деньгам, благо 4000 рублей приветственных яндекс выдает... позорные 50 долларов.... это конечно не 300 долларов как в буржуйском гугле ну хотябы.....

Первая цель: 3 минутный ролик который преобразует мой 16 ядерный настольный комп за 12 часов, облако яндекса справилось за ОДИН час двадцать минут.... но это не главное, главное сам принцип масштабирования, можно выпросить больше ядер и если дадут можно и за 5 минут видео конвертировать, сократить время - эта возможность есть

Втора цель - ЦЕНА. 8 серверов 16 ядерных в яндоксовском облаке за 1 час 20 минут прмерно обошлись = 100 рублей если округлить, цена одной секунды видео в разрешении 848х384 стоит примерно = 56 копеек
Делать превьювы в 3 секунды бесплатными.... полтора рубля за каждый превьюв....теперь вот думаю, стоит ли овчинка выделки, ну пока от 4000 рублей халявных осталось после испытаний 3400... пока оставлю бесплатными
так что можете тестировать если интересно

https://drawtube.ru/

Показать полностью

Добавил ControlNet в преобразование видео в stable diffusion в анимацию

Изображение стало более узнаваемым, удалось немного стабилизировать границы рисунка.
Последняя проблема - подключить Google Cloud к проекту
Создание 2 сек. ГИФки обходится 5 мин работы одного сервисного процессора

Как распараллелить работу я знаю, а как использовать облачные вычислительные мощности, пока не понял.

Если кто знает хорошее руководство по использованию облачных вычислений посредством API можете скидывать ссылки, буду читать.

Нужно научится программно запустить удаленный сервер, проверить программно что он в рабочем состоянии и уметь отключать, очень важно, чтоб лишних денег не платить.

Показать полностью 2
0

Преобразование видео в Stable Diffusion (оболочка FastSDCPU)

Покадровое изменение видео

выбрал 12 кадров в секунду
модель тензора - toonyou_beta6.safetensors

Добавил в свой скрипт новые возможности

распараллелил обработку кадров, теперь могу подключать неограниченное количество серверов Stable Diffusion, под рукой имеется только два (два компа дома только есть, но мощные компы)

если среднее время обработки кадра 26 секунд, то с двумя машинами получилось 13 сек
всего кадров 1600 примерно (12 кадров в секунду)
одна машина обрабатывала бы видео длиной2 минуты 14 секунд часов 10
две машины справились за 5 часов
это я подсчитал, если бы я арендовал бы две такие машины в облачном сервисе то заплатил бы 20 тысяч рублей за месяц

5 часов аренды получается = 150 рублей стоит арендовать вычислительную мощность
надо теперь научится поминутно аренду через АПИ запускать, наверное такие конторы есть где-то, к сожалению в этой теме пока не разбирался.

А протестировать как оно будет на 50 серверах конвертироваться за 15 минут очень хочется, еще больше хочется узнать сколько это будет стоить в рублях.

в общем пошёл изучать тему - возможно ли где-то поминутно арендовать облачные сервера....

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества