Помните я писала про суперреалистичные аватары от Meta (признана экстремистской в РФ)? Так вот, в полку прибыло, причем код с помощью которого можно будет запустить нейросеть будет выложен здесь на GitHub.
Проект "Gaussian Head Avatar" занимается созданием чрезвычайно реалистичных аватаров головы с использованием динамических гауссовых моделей. Это может быть полезно в областях, где требуются высококачественные визуализации человеческой головы, например, в виртуальной реальности, играх, или в обучающих симуляциях.
Особенность
Эксперименты показывают, что этот проект превосходит другие современные методы разреженного просмотра, достигая сверхвысокого качества рендеринга в разрешении 2K даже при преувеличенном выражении лица.
На рисунке ниже показано как Гауссова голова аватара позволяет достичь сверхвысокой точности синтеза изображения с управляемыми выражениями при разрешении 2K.
Сверхточная копия до мельчайших деталей
Вверху показаны различные виды синтезированного аватара, а внизу - различные личности, анимированные одним и тем же выражением лица. В процессе обучения используется 16 ракурсов.
Сравнение с другими технологиями
На рисунке показаны качественные сравнения различных методов в задаче самовоспроизведения. Слева направо: NeRFBlendShape, NeRFace, HAvatar и Gaussian Head Avatar. Gaussian Head Avatar позволяет качественно восстанавливать такие детали, как борода, зубы и т. д.
Сравнение с конкурентами 1
На рисунке ниже - Качественное сравнение различных методов в задаче перекрестного воспроизведения идентичности. Слева направо: NeRFBlendShape, NeRFace, HAvatar и Gaussian Head Avatar. Метод Gaussian Head Avatar и тут отличился - синтезирует высокоточные изображения, обеспечивая при этом точность передачи выражения.
Сравнение с конкурентами 2
Что ж, имеет смысл подождать на Гитхабе этот проект и потестить бесплатно
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса
ПРИМЕЧАНИЕ: Данная карточка персонажа предназначена только для использования в CharaStudio и не будет адекватно работать в геймплее.
Как использовать:
1. Имейте более-менее новую версию Koikatsu Better Repack (гугл в помощь). На Sunshine не тестировалось. 2. Скачайте по ссылке выше карточку персонажа (это png с мета-данными). 3. Положите файл в каталог UserData/chara/male или любой его подкаталог. 4. Наслаждайтесь!
ПРИМЕЧАНИЕ: Данная карточка персонажа предназначена только для использования в CharaStudio и не будет адекватно работать в геймплее.
Как использовать:
1. Имейте более-менее новую версию Koikatsu Better Repack (гугл в помощь). На Sunshine не тестировалось. 2. Скачайте по ссылке выше карточку персонажа (это png с мета-данными). 3. Положите файл в каталог UserData/chara/female или любой его подкаталог. 4. Наслаждайтесь!
ПРИМЕЧАНИЕ: Данная карточка персонажа предназначена только для использования в CharaStudio и не будет адекватно работать в геймплее.
Как использовать:
1. Имейте более-менее новую версию Koikatsu Better Repack (гугл в помощь). На Sunshine не тестировалось. 2. Скачайте по ссылке выше карточку персонажа (это png с мета-данными). 3. Положите файл в каталог UserData/chara/female или любой его подкаталог. 4. Наслаждайтесь!
1. Имейте более-менее новую версию Koikatsu Better Repack (гугл в помощь). На Sunshine не тестировалось. 2. Скачайте по ссылке выше файл сцены (это png с мета-данными). 3. Положите файл в каталог UserData/Studio/scene или любой его подкаталог. 4. Наслаждайтесь!
Примечание: из-за зеркала на стене сцена почему-то лагает, можете его отключить и потом при желании включать для финального рендера.
