Но для больших видео или высокого разрешения понадобится много видеопамяти потому что эта технология использует целый каскад нейросетей включающих в себя сегментацию для отслеживания объектов и создания масок и специальную диффузионную модель обученную для работы с видео.

Специально для вас мы с каналом 👾 НЕЙРО-СОФТ сделали портативную версию, которую легко скачать и так же легко удалить, это лучший способ быстро протестировать новую технологию.

Установка очень простая, переходите в публикацию в телеграм, выбираете удобную для себя версию, есть самораспаковывающийся архив 7z, он весит меньше, но нам говорили что на него иногда ругается встроенный антивирус винды, потому рядом есть обычный zip архив, если не хотите отключать антивирус.

Распакуйте содержимое архива и запустите start_nvidia_portable.bat после загрузки всех необходимых компонентов приложение откроется в вашем браузере по умолчанию.

Интерфейс у приложения максимально простой, но чтобы было еще удобнее мы перевели все на русский язык.

Для начала работы загрузите видео в окошке Шаг 1, и нажмите на кнопку Получить информацию о видео.

Очень хорошо работают гифки из телеграма. У них мало кадров и маленькое разрешение, то что нужно для тестирования. Загружать видео больше чем 640х480 и длиннее нескольких сотен кадров - не советую, не хватает даже 24гб видеопамяти.

После того как информация о видео получена надо создать маску на том объекте который надо удалить. Для этого кликните на объект где нужно создать маску. Возможно кликнуть придется много раз, если выделено лишнее нажмите на кнопку Очистить клики и начните сначала.

После того как маска задана надо нажать Добавить маску для сохранения выбранной маски.

Теперь когда маска сохранена можно перейти к Шагу 3, просто нажмите на кнопку Отслеживание.

На этом этапе вы можете проверить хорошо ли отрабатывает автоматическое отслеживание маски и если нет, то создать еще несколько масок указывая другой Начальный кадр отслеживания в шаге 2. Но если все получилось отлично, просто нажмите на кнопочку Инпеинт.

Вот такой получился результат

Можно добиться действительно хороших результатов, хоть и придётся наложить много масок.

Или можно убрать кого-то лишнего.

Иногда приходится создать несколько масок, чтобы получить устойчивое отслеживание.

Качество видео конечно не идеально там где был инпеинтинг. Но для улучшения можно отправить его в Topaz Video AI.

Я увеличил в два раза разрешение, добавил улучшение и интерполяцию кадров, но вернуть лицо парнишке уже не получится.

Мне ProPainter точно пригодится для мелких задачек типа удаления водяных знаков на гифках или лишних артефактов на небольших видео, уверен пригодится этот инструмент и другим контент мейкерам, а в будущем мы увидим его улучшенную версию в составе пакетов для видеомонтажа.

Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Ну и на канал с репаками тоже подпишетесь, чтобы не пропустить ничего полезного. Всех обнял. Удачных генераций!

Был бы рад услышать что вы думаете?

Сабато Висконти - бразильский цифровой художник, работающий на стыке pixelart и glitchart, черпающий вдохновение в видеоиграх и новых медиа. Сабато начал экспериментировать с глитч-процессами в 2011 году. Он очень разносторонний художник, а также фотограф, работающий с широким спектром «инструментов»: от графики старых компьютеров 80-х годов, GIF до использования AI.

Работы из серии "Chrome Period Drawings" созданы в графическом редакторе Delux Paint IV с эмулятором компьютера Amiga A1200, выпущенного в 1992 году.

[ Авторы ]

Ссылка на каждого автора тут: https://www.behance.net/gallery/200230239/k-u-b-i-k

Расскажу немного про свой процесс, к тому же я впервые участвовала в коллаборации.
Сначала нужно было придумать идею вокруг куба. Условия были такими: нельзя менять положение камеры, нельзя менять первый и последний кадр положения кубика для лёгкого сшивания всех видео. Я пошла вдохновляться на ютуб, т.к. подобные челленджи (с чуть другими условиями) уже делали. Наскриншотила себе наиболее понравившиеся, собрав их в доску на pureref:

Хотела привязать тематически к культурной отсылке, первыми пришли на ум кубик из игры Portal, потом кубик-рубик, но это такие очевидные варианты, что их точно кто-то сделает, решила я.

Выбор пал на не менее попсового Марио.

Готовых ассетов по Марио полно.

Я бросила идею с Марио, и стала думать, какой бы хоррор мне воплотить, из любимых с детства - Звонок, главная героиня вылезает из телевизора (помимо колодца), который можно адаптировать под куб.

Модель героини была скачена со стока, анимирована в Mixamo

Поставила в угол телик, героиню, видик с кассетами, повесила постеры, как бы намекающие, и чтобы заполнить пустое пространство, воткнула кровать ни к селу ни к городу:

На фильм не очень похоже, надо посмотреть окружение в той самой сцене, где героиня вылезает из телика.

Открыла фильм, наскринила окружения, соорудила полки с хламом из кассет, плёнок, и старых фотокамер, которые окружали падающего от страха героя в фильме 2002 года (которые все равно не разглядишь толком, рендер у меня примитивный для скорости).

Остальные наверняка будут анимировать сам куб, поэтому я анимирую окружение - и добавила второго персонажа, который испугался главной героини, что тоже из фильма. Можно было бы реализовать динамику разлетающихся кассет, на которых герой поскользнулся, но не умею, да и не так уж важно это. Еще постеры будут мигать и экран телека. На посте надо сине-зеленых фильтров, чтоб сообразно фильму было.

На этом этапе подобрала звук на фон и звук крика мужика из бесплатных библиотек звуков. Еще фишкой фильма была муха, которая, будучи снятой на пленке кассеты превращалась в реалистичную на экране телевизора при воспроизведении, но найти бесплатный реалистичный футаж ползающей мухи оказалось проблемой.

Это смешной вариант, который я не стала использовать, т.к. было бы слишком заметно, что это не ползающая муха.

Не хватало мистики от героини, помехов VHS. В фильме она шлёпает грязью, но на моём темном фоне этого будет не видно, поэтому в Афтере накинула эффекты привидения, отрендерив её предварительно отдельно с альфа-каналом, докинув футажи дыма.

у меня все детали мылятся, с одной стороны вроде так и надо, и вид получается такой, аля "паранормальное явление" со съёмкой со скрытой камерой, но в таком разрешении не видно ничего.

Мой финальный рендер после фильтров в Афтере вышел таким:

Мы смотрим как будто из скрытой камеры с помехами на действие из фильма.

3д было реализовано в Cinema4d, постэффекты + звуки добавлены в After Effect. Такие коллабы позволяют выйти за рамки своих типичных задач, охватив максимум: идея, сборка композиции кадра, взаимодействие окружения при анимации, тайминг звуков, постобработка, заодно поддержка участников. Каждый делал по 5 сек анимации, которые склеили потом в один ролик, ссылка вначале этой статьи.
Спасибо, что дочитали!
Подписывайтесь:

Behance / Нейроинст / Телега / LinkedIn / Youtube / Tiktok