Doom внутри нейросети
Нейросети научили мечтать о Doom'e.
Из пресс релиза:
Мы представляем Game Engine - первый игровой движок, полностью основанный на нейронной модели, который позволяет взаимодействовать в режиме реального времени со сложной средой по длинным траекториям с высоким качеством. Игровой движок может интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном процессоре. При прогнозировании следующего кадра PSNR достигает 29,4, что сопоставимо со сжатием в формате JPEG с потерями. Люди-оценщики лишь немногим лучше, чем случайные пользователи, могут отличить короткие фрагменты игры от фрагментов симулятора. Обучение GameNGen проходит в два этапа: (1) RL-агент учится играть в игру, и учебные сессии записываются, и (2) обучается диффузионная модель для создания следующего кадра, обусловленного последовательностью предыдущих кадров и действий. Дополнительные функции кондиционирования обеспечивают стабильную авторегрессивную генерацию по длинным траекториям.
