Искуственный интеллект раскрасил черно-белые фотографии
Ученые из Университета Васэда создали систему искусственного интеллекта на базе сверточных нейронных сетей, которая может раскрашивать черно-белые фотографии без вмешательства человека. Работа авторов доступна на сайте университета.
Основная проблема раскрашивания фотографий ранее заключалось в том, что для того, чтобы добиться правдоподобного цвета, необходимо было участие человека. Однако ученые создали систему искусственного интеллекта, которая способна самостоятельно анализировать изображение и выбирать подходящие цвета.
Система состоит из четырех связанных компонентов: сети функций низкого уровня, сети функций среднего уровня, сети глобальных функций и раскрашивающей сети. На вход подается изображение — по словам исследователей, оно может быть любого размера, но лучше всего обрабатываются фотографии с разрешением 224х224 пикселей — и нейросеть идентифицирует его тип. Например, если она определяет, что фотография была сделана в помещении, то компонентам будет дана команда не использовать цвета неба или цвета травы, а вместо этого использовать цвета, характерные для мебели. Также нейросеть распознает, что именно изображено — например, дерево, здание или человек — и подбирает характерный для объекта цвет.
Для того чтобы натренировать нейросети, ученые преобразовывали цветную картинку в черно-белую, подавали ее на вход, затем вычисляли среднеквадратическую ошибку при обработке изображения и давали обратную связь. Для обучения они использовали 2,5 миллиона фотографий из базы данных классифицированных изображений и 20 тысяч фото из этой же базы для тестов. В результате, по оценкам пользователей, исследователям удалось добиться натуральности цвета в 92,6 процентах случаев.Система искуственного интеллекта, кроме того, может использовать входные данные одного изображения для раскрашивания другого, что позволяет переносить стиль на фотографию.
Основное ограничение состоит в том, что нейросеть может раскрашивать только те изображения, которые имеют сходные признаки с теми, что использовались для обучения. Для переноса стилей желательно, чтобы два изображения были сходны по содержанию.
Система искуственного интеллекта, кроме того, может использовать входные данные одного изображения для раскрашивания другого, что позволяет переносить стиль на фотографию.
Основное ограничение состоит в том, что нейросеть может раскрашивать только те изображения, которые имеют сходные признаки с теми, что использовались для обучения. Для переноса стилей желательно, чтобы два изображения были сходны по содержанию.