Нейросеть научилась додумывать изображения⁠⁠

Результат улучшения пиксельного изображения главного героя Doom.

Британская компания Magic Pony Technology использовала методы машинного обучения для создания программного обеспечения, которое способно улучшить существующее изображение несколькими методами. Кратко о разработках компании рассказывает MIT Technology Review.

Специалисты компании использовали для тренировки нейросети массив данных из парных изображений, одно из которых было в меньшем разрешении, чем другое. При этом нейросеть не требует классификации элементов на изображениях и самостоятельно вычленяет общие закономерности других подробностей о реализации технологии не сообщается.

Оригинальная текстура кирпичной стены с осыпавшейся штукатуркой.

Текстура большего размера, сгенерированная нейросетью.

В качестве примера улучшения изображения разработчики демонстрируют несколько примеров. В частности, нейросеть способна перерисовать изначально пиксельное изображение в более высоком разрешении, реалистично дорисовать текстуру, дополнив существующее изображения, а также улучшить резкость видео.

По словам разработчиков, их программное обеспечение не слишком требовательно по мощности и может использовать для обработки в режиме реального времени видеокарты потребительского уровня. Представители компании считают, что их алгоритм может пригодиться для улучшения фотографий, сделанных на смартфон, для генерации реалистично выглядящих непрерывных текстур в виртуальном окружении, а также для улучшения качества потокового видео в прямых трансляциях.