1704

«Тайна третьей планеты» HD-ремастер нейросетями

сравнение оригинал-ремастер

«Тайна третьей планеты» HD-ремастер нейросетями Тайна третьей планеты, Нейронные сети, Машинное обучение, Мультфильмы, HD, Видео

Как это сделано:


Использовались следующие технологии:


FFMPEG
ESRGAN
Gigapixel AI

Смотрим доступные форматы на ютубе


youtube-dl -F https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

Качаем нужные форматы (аудио и видео)


youtube-dl -f 11 https://www.youtube.com/watch?v=ИДЕНТИФИКАТОР

Проверяем фреймрейт файла


ffprobe -v error -select_streams v -of default=noprint_wrappers=1:nokey=1 -show_entries stream=r_frame_rate input.mp4

Раскадровка


ffmpeg -i "input.mp4" -start_number 0 -vf fps=25 "convert/capture-%002d.png"

Далее стандартная процедура увеличения кадров с помощью нейросети.


Склеивание из png + аудио


без заданного разрешения - ffmpeg -framerate 25 -i convert/capture-%002d.png -vb 20M -i audio.webm -vcodec mpeg4 -y "ffmpegtest.mp4"
с заданным разрешением - ffmpeg -framerate 25 -s 900x720 -i convert/capture-%002d.png -vb 20M -i audio.webm -c:v libx264 -pix_fmt yuv420p -crf 23 -y "ffmpegtest3.mp4"

автор ремастера: Евгений slimper

источник: https://www.reddit.com/r/GameUpscale/comments/a7msxo/getting...

Дубликаты не найдены

+110

Йей! Теперь можно смотреть как стукают индикатор в HD!!!

раскрыть ветку 9
+268
Иллюстрация к комментарию
раскрыть ветку 2
+11
-3

На Невского чем-то похож

+60
А эта нейросеть может старые видеоролики с инопланетянами в ужасном качестве починить?) Мы стоим на пороге ведикого открытия !
раскрыть ветку 4
+30

я один последнюю фразу гнусавым голосом прочитал?)

раскрыть ветку 3
-3

Да! Пастукать этих людишек!

+35

До чего великолепный мультфильм, в детстве не замечал но сейчас вижу насколько хорошо переданы эмоции персонажей, голос, мимика, движения всё так идеально сочетается, смотреть одно наслаждение, словно ты сам путешествуешь с персонажами.

раскрыть ветку 14
+35

Мне нравится начало: " - Всё это добром не кончится..."

Это божественно.

раскрыть ветку 3
+9

С возрастом всё больше понимаешь Зелёного

раскрыть ветку 1
+1

А ведь он предупреждал... https://coub.com/view/1sxz1j

+6
Особенно музыка, которая сумела отлично передать атмосферу космических путешествий.
+8

Не смущает что Алиса похожа на Зелёного, а не на папу своего, Селезнёва?

раскрыть ветку 8
+18
Иллюстрация к комментарию
+11

Ладно хоть не на Громозеку.

+5
Иллюстрация к комментарию
+8

"Художница Наталья Орлова, придумавшая и воплотившая образы героев, была соседкой Кира Булычева. По некоторым воспоминаниям, прообразом Алисы Селезневой послужила ее дочка ― Екатерина Семенова. А капитана Зеленого она рисовала с отца девочки ― режиссера Тенгиза Семенова."

https://pikabu.ru/story/tayna_tretey_planetyi_interesnyie_fa...

раскрыть ветку 2
+3

А может у Зеленого была сестра, возможно даже близнец,  которая является матерью Алисы.

0

Интрига))

+58

Есть у меня дома пара сокровищ, штуковин я считаю ценными, это квантовая пельменница и оригинальный кадр из этого моего любимого мультика. Не могу не похвастаться

Иллюстрация к комментарию
раскрыть ветку 12
+9
А пельменница?
раскрыть ветку 2
+23

Это она и есть ))

+7

С пельменницой все сложнее :) я не знаю что это за хрень но она красивая. Надо бы пост создать и спросить что это но лень :)

+5
А какими судьбами досталось такое сокровище расскажете?
раскрыть ветку 1
+42

На союз мультфильме подрабатывал. И как то раз дали выбор премию деньгами или залезь на чердак с барахлом и выбери себе что-нибудь:) а деньги я никогда особо не любил

0
Ясно. И где твой пост про это?
раскрыть ветку 1
+2

Я не умею в посты :) я пробовал получилась полная хрень

0

Это уже какой-то новодел сериальный или из какой игрушки.

раскрыть ветку 4
+2

Не прям орига орига, ориентировочно из сцены с тортиком

раскрыть ветку 3
+21

Далее стандартная процедура увеличения кадров с помощью нейросети.

Тьфубля! Стандартное - то, что вы делаете ffmpeg'ом. А про нейросеть надо писать максимально подробно: где строить, чему и как учить...

раскрыть ветку 3
+11

на хабре фраза "стандартная процедура" кликабельная и ведет на реддит, но там на английском:


https://www.reddit.com/r/GameUpscale/comments/a7msxo/getting...


кстати, @moderator,  а нельзя ли в пост на фразу "стандартная процедура" эту ссылку добавить, как в первоисточнике? если тс не против будет?

раскрыть ветку 1
0

я только за, @EpicMorg, спасибо

0

Согласен, это можно и в Adobe AE сделать, в пару кликов.

+13
"программа/интерфейс/GUI для нейронных сетей"

Если кто заинтересовался апскейлингом и не хочет в командной строке ковыряться, то один парниша под ником Bighead написал полноценный инструмент [url=https://forums.dolphin-emu.org/Thread-custom-texture-tool-ps-v40-0?page=68]Custom Texture Tool PS v40.0[/url], который (в том числе) значительно расширяет функционал нейронных сетей ESRGAN и SFTGAN (разбивка на сегменты, чтобы память не переполнить, раздельная обработка альфа канала, правила исключений и еще куча всего). Работать одно удовольствие, если разберетесь. Там даже автоустановка нейронок и необходимых программ имеется.
[url=https://imgur.com/a/oDuU6wK]Скрины коллажем[/url]  (добавьте плиз, рейтинга нет)

P.S. Прежде чем преступать, почитайте что такое скрипты Power Shell, как с ними работать. Система и антивирус на них ругаются, потому что политикой безопасности запуск *.ps1 запрещен. Недалеких отпугнет, а остальные разберутся да и код открытый, если паранойя заест.
P.P.S Кому не лень, запилите про приложение пост плиз. Даже на красном ресурсе про неё одна единственная ссылка. Я чудом нашел. Автор также принимает отзывы и делает правки по отзывам. Я вот попросил чекбокс для альфа каналов, а он за ночь накатал полноценное табло с правилами исключений.

+6
Если бы эти ваши нейросети в 16:9 дорисовывали им бы цены не было!
раскрыть ветку 7
+4

Кстати тоже об этом подумал, привыкли мы уже к 16:9, квадрат как то немного раздражает. Кстати если мультфильм делали не только для ТВ, то возможно где то есть пленочка с 16:9 для кинотеатров.

раскрыть ветку 3
+6
Я вас расстрою сейчас, но подавляющее большинство голливудской классики вышедшее на BD в 16:9 - есть "обрезки" высшей марки. Я не беру в счёт монументальные эпики типа "Клеопатры" или "Безумного, безумного мира" - это золотая эра киноформата...
Но если начать копаться - то даже всеми любимые "Парк Юрского периода" и Т2 были сняты в квадрате, а потом урезались до киноформатов
раскрыть ветку 2
0

И новые серии рисовали

0

Пфффф, в 21:9 сразу

раскрыть ветку 1
0

32:9

+4

Дело само по себе хорошее, но, в данном примере есть ошибки:
1. Источник - Youtube. Самое лучшее качество на данный момент релиз крупного плана, а на Youtube теряется зернистость и качество, на выходе - мыло.
2. Разрешение на Youtube немного ниже - у офф. канала Союзмультфильма 480p. Самый верный вариант - скачать DVD5 от КП с rutracker, прогнать через фильтры и апскейлить как душе угодно.
3. По качеству вышло как качественный апскейл. Если такая работа затратила много часов, то это пустая трата времени.

раскрыть ветку 2
+2

я тоже не понял отчего не использовались более качественные источники, но автору видео было очевидно нужно тренировать собственную нейросеть. я бы с ним еще поспорил по выбору алгоритмов. выбранный им - неоптимален

раскрыть ветку 1
-2

Вот технологии 90-ых, дальше не прыгнули

https://www.researchgate.net/publication/3940589_Robust_supe...

Иллюстрация к комментарию
+4

Ну круть же! Такие очумелые ручки можно только поприветствовать!

+8

Технология перспективная, но пока не отработана. У персонажей в движении прям рожи жутко изкорёжены.

раскрыть ветку 2
+4
По-моему вы уже доёбываетесь. Технология сделала такой шаг, о котором даже и не думали с 10 лет назад, и хотите что бы сразу это работало идеально
раскрыть ветку 1
+1

По-моему вы тоже доёбываетесь. Я ж написал, что вещь перспективная. А когда доработается - вообще круто будет. Но рожи реально жуткие получаются.

+3

Чёрную дыру сфотографировали ещё в далёком 1981 году...

10:10

Иллюстрация к комментарию
Иллюстрация к комментарию
Иллюстрация к комментарию
+3

Местами кадры остались размытыми, особенно мелкие объекты.

https://pp.userapi.com/c847121/v847121484/1e52e4/bt1_Ut_x3oA...

https://pp.userapi.com/c847121/v847121484/1e52da/p-BLMITCEiE...


Мульт здоровский. Надо дитяте показать.

Иллюстрация к комментарию
Иллюстрация к комментарию
+3

Результат, прямо таки скажем, не особо впечатляет. Контрастность плавает.

Чего-то такого можно добиться средствами и FSRCNN, а оно в виде шейдера есть, который реалтайм к mpv можно цеплять.

+3

Круто!

+15

на сравнении как будто рисованный мультфильм и что то на флеш

переходы грубые

лучше явно не стало

раскрыть ветку 5
+25

"переходы грубые" -- это скорее к создателям мульта, Евгений просто сделал раскадровку и с помощью нейросети улучшил качество картинки: убрал артефакты, повысил резкость, увеличил размер и склеил назад. на "переходы" это ну никак не могло повлиять, он же не сокращал количество кадров

раскрыть ветку 4
+14

нет

просто сравните два скрина, слева плавно цвета переходят, справа полосы разных цветов

раскрыть ветку 1
-6

Вот именно, что толку от нейросети нет.

раскрыть ветку 1
ещё комментарии
+2
Я один разницы не вижу?
+2
А кто может сделать такое с "Островом Сокровищ"? И залить в сеть?
+2

Старые видеокассеты со свадеб 20-ти летней давности возьмет алгоритм?

раскрыть ветку 2
+5
Сделает голливудскую вечеринку из торжества. Со знаменитостями и военным оркестром.
+2

Тоже сразу промелькнула мысль семейные домашние хроники прогнать.

+5

всегда смотрел его на одном дыхании и сейчас с удивлением узнал, что он длиться аж 47 минут

раскрыть ветку 2
+21

Что делаЕТ? ДлиТСя.

Что делаТЬ? ДлиТЬся.

Иллюстрация к комментарию
раскрыть ветку 1
+2

ок

+2

Gigapixel Ai топазовский вообще чума, картинки для полиграфии шикарно пересчитывает

раскрыть ветку 7
0

Дорогой только зараза. А так, да. Лучшее пока что я видел из подобного.

раскрыть ветку 6
0

Версия 4.03 для PC ждет вас на торрентах

раскрыть ветку 5
+2
Иллюстрация к комментарию
раскрыть ветку 2
+1

Может он ее родственник по материнской линии?

раскрыть ветку 1
+2

не она модифицированный клон зелёного

+1

А до FullHD, 4K можно допилить таким макаром? или у нейросети есть ограничения?

раскрыть ветку 3
+5

Я развлекался таким (методику использовал такую же но в качестве нейросети использовал waifu2x). Ограничений нет. Хоть 16К делай. Состаришься пока она всё обсчитает, но технических ограничений нет.


Проблема в другом. Нейросеть то конечно может посчитать 16К но ей для этого все равно нужны исходные данные. То есть она пытается дорисовывать, но если увеличивать во много раз она дорисовывает всякую ересь. То есть например я взял картинку. Уменьшил её в 8 раз, а потом нейросетями обратно увеличил в 8 раз. Результат конечно лучше, чем если бы я увеличивал бы обычными алгоритмами. Но чуда не случилось и нейросети насажали столько артефактов, что толку от разрешения никакого.


По могу сказать, что для waifu2x предел это 2-4 раза. Дальше уже особо смысла нет, они начинают такую ересь дорисовывать, что лучше не надо.

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 1
+2

Покажи дичь

+1
Можно и 360р до 8к растянуть. Вот только результат будет мягко говоря не очень)) Это по сути интерполяция изображения, нейросеть пытается угадать промежуточные пиксели, чем больше пикселей нужно угадать (по отношению к общему числу пикселей) тем хуже будет результат
0
Оригинал роднее.
0

Ну назвать это hd все равно нельзя, контрастность конечно подкручена, но мыла много. Ещё раздражает звук, как будто его писали в кинотеатре с внешнего микрофона, дикий холл. В детстве как то на это внимания не обращал, сейчас режет уши.

Вообще сам мультик, ляп на ляпе, а примитивный прямолинейный сценарий честно говоря удивил, ну отвыкли мы от такого.

Но, все равно, пересмотрел мультик, и получил ностальгические удовольствие.

0
Межпланетный экспресс, до того как это стало мейнстримом
0
Теперь "Незнайку на луне"
0

На выходных смотрела советский "Трое в лодке, не считая собаки", это было чудовищно, оно было в таком замечательном качестве, что было видно каждый прыщик и толстый слой грима на лице Миронова и всю подмосковность реки "Темзы", очень расстроилась, пропало какое-то волшебство((

0

Хм... А на статичных кадрах видно что картинка немного "пляшет". На титрах особенно хорошо видно. Интересно, это можно как нибудь убрать?

0
Спаси-и-и-бо!
0
Почему почитав этот пост у меня в башке теперь крутится песня "человек собаке друг"?)))

Автор молодец, норм работа. Союзмультфильму уже давно пора взять на вооружение.
0

Спасибо за информацию по youtube-dl по работе пригодится

0
Потом посмотрю
0
Шикарно
0
А я ещё прикалывался, мол со спутника время на часах на земле в фильмах показывают. А вон оно что...
0

А можно его растянуть на 16:9 ?

раскрыть ветку 1
0

Растянуть пока невозможно,  только обрезать.

0

Просто резкость увеличена.

0

Мы не бандиты, а благородные пираты! Эх, пересмотреть, что ли. Шикарный был мульт.

раскрыть ветку 4
+1

А чо был то, он и щас есть.

раскрыть ветку 3
0

ну я про возраст, давно его смотрел последний раз.

раскрыть ветку 2
0

По сути, обычный апскейл, нейросеть-то нафиг использовали? А как же снижение шумов, восстановление четкости? Картинка заблюрена до такой степени, что местами разницы вообще нет.

раскрыть ветку 1
+8

Нейросети умеют гораздо лучше увеличивать изображения чем стандартные алгоритмы интерполяции. Например берем картинку. Уменьшаем в 8 раз, а потом увеличиваем её при помощи обычной интерполяции и при помощи нейросетей. До оригинала результат конечно не дотягивает, но лучше чем просто бикубическая интерполяция

Иллюстрация к комментарию
Иллюстрация к комментарию
Иллюстрация к комментарию
0

Не ну круто, возможности нейросетей поражают. Только в случае с данным мультом - нафига? Вроде и так все супер было.

-1

Довольно геморно. Неужели до сих пор нет плагинов для видеоредакторов, делающих подобное?

-1

На r это зайдет:)

-3

Ламповость пропала

-13
Вопрос - нахрена? Потому что может? А перекрашивать, сиськи вставлять, чо нет то?
ещё комментарий
Похожие посты
Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: