Серия «[Fish Club]»

FMV-игры - это жанр full motion video, обычно с живыми актерами. Игра ориентируется на Fear Effect и Resident Evil2.

На данный момент кодеки неплохо продвинулись и почти во всех процессорах встроен хадрварный декодировщик. При этом минута видео+видео глубины занимает даже меньше чем пару статичных качественных картинок.

Удалось так же сделать собственный кодирощик видео глубины и нормалей, что позволило их сжать в 1000 раз.

Окружение игры строится из видео+глубины и совещается с обычным 3D, point cloud и иногда Gaussian Spats.

Камера не совсем зафиксирована, она может двигается и поворачиваться в небольшом радиусе.

Это дает несколько часов уникального контента без бектрекинга и процедрной генерации. И минимальные системные требования - пойдет даже на амберниках и webgl.

Со стороны это выглядит так:

https://www.youtube.com/watch?v=Qvw-CpC90ig

Небольшой тизер-ролик сделанный на игровом движке.

Вся графика - это точки, миллиарды точек.

Геймплей - Dino Crisis с большими насекомыми.

https://t.me/sv_fish_club

Бонус:

Проверяю новый способ разработки персонажа:

1. Набор рефов обучает слабую Lora для Stable Diffusion 1.5, усреднение всех рефов.

2. По Lora дорабатываются рефы.

3. Уточнение промта и каждой детали.

4. С помощью ai-видео генерится мимика и доп позы.

5. Дообучается Lora

6. С помощью магии генерится консистетный персонаж с разных сторон.

7. Позы используются для генерации чернового 3d-mesh.

8. На этот меш проецируются и прикрепляются облака точек.

Использовалась img2video с промтом, без липсинга.

Можно с помощью вебки добавить захват и своего лица.