Нейросети: Побродить внутри видео⁠⁠

Товарищи из Хуачжунского университета науки и технологии (Huazhong University of Science and Technology) представили концепт нейросети на основе 4D Gaussian Splatting, позволяющую как бы передвигаться внутри видео - вращать и двигать камеру, меня точку обзора.

За основу взят уже известная Nerf и зарекомендовавший себя быстрый 3D Gaussian Splatting (для статичных сцен).

На следующем видео представлен пример выдаваемый нейросетью, с плавающей камерой.

По заверениям разработчиков, нейросеть на RTX 3090 может создавать картинку разрешением 800х800 с скоростью 70 FPS . Этого может показаться очень мало, но у "конкурентов" скорость сильно меньше, а также отстает качество, да и нейросети пожирнее.

Нейросети: Побродить внутри видео Нейронные сети, Исследования, Цифровые технологии, Видео, Без звука, YouTube, Длиннопост

Для тренировки нейросети требуется значимое количество видео с разных ракурсов (скажем, 10-20).

Пока это только концепт, и он не представляет ничего более как "смотри как я могу" на примере короткого видео.
Но если данное направление сможет получить достаточно развитие, то возможно, на ютубе мы сможем не просто вертеть камеру в центре статичной сферы (видео с 360 панорамой), но и получить небольшую свободу "передвижения" внутри видео и эффект стерео-зрения. VR шлемы получат еще одно применение. Например, поприсутствовать на концерте летая по залу.

Ссылка на публикацию https://arxiv.org/abs/2310.08528
Ссылка на страницу проекта (ОСТОРОЖНО, куча видео грузится одновременно!) https://guanjunwu.github.io/4dgs/

P.S. Немного про то как выглядит результат 3D Gaussian Splatting (для статичных сцен). "4D версия" будет в чем-то похожа, просто в кадре будет движение. Видео все равно на английском, так что "полистайте". Да-да, если вы вспомнили про фотограмметрию, вы восхитительны.

P.S.S. Порно-индустрия... ну вы поняли.

Нейронные сети Исследования Цифровые технологии Видео Без звука YouTube Длиннопост

2.4K постов9.7K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)

Разрешено:

- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.

Запрещено:

I) Невостребованный контент

I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

II) Нетематический контент

II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

II.3) Создавать контент, входящий в противоречие с правилами Пикабу.

III) Непотребный контент

III.1) Эротика, порнография (даже с NSFW).

III.2) Жесть.

За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан