25

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению»

Не прошло и полгода и я решил запилить ответ на один весьма заинтересовавший меня пост. В нём нейросеть раскрашивает старинные фотографии, и получается весьма реалистично. Или нет?

Как у человека, занимающегося аналоговой (плёночной) фотографией, у меня возникло несколько вопросов к работе нейросети и тому, насколько колоризованому ей можно верить. Вооружившись парой пластиночных фотокамер начала прошлого века и своей не очень склеротической памятью, я пошёл снимать.


Начал с самого близкого к оригинальному посту — городского пейзажа конца XIX века...

Цвета добавилось не очень чтобы много — чего вы хотели от пасмурного ноябрьского Питера? Впрочем, основные цветовые зоны оказались правильными — почти правильными. Жёлтое здание Гостинного Двора нейросеть действительно окрасила в жёлтый.

Гораздо хуже досталось красной башне Городской Думы у правого края фотопластинки. Причина этого проста — моя фотопластинка, как и ряд материалов из эпохи начала фотографии, нечувствительна к красному спектру. По итогу, на позитивном изображении ярко-красная башня стала тёмно-серой. А разницу между красным и чёрным светом нейросеть уловить не смогла.


Что ж, пора перенести точку съёмки немного повыше...

Жёлтые стены Гостинного двора не изменились с предыдущей фотографии, а его крыша абсолютно правдиво окрашена в зелёный цвет. Про башню было сказано на фотографии выше, но только вот помимо башни теперь добавился ещё серый купол Казанского собора чуть левее центра фотографии. Купол, в оригинале, ярко-зелёный. Впрочем, эту ошибку я готов частично списать на себя — кадр немного недопроявлен. А вот с ярко-красными лобовыми стёклами машин уж извиняюсь — тут уж проблема целиком нейросети.


Оба этих кадра, впрочем, были сделаны весьма и весьма неплохо. Как и следующий:

Тут ошибочно покрасили только водосточную трубу в фиолетово-красный цвет. Пейзажи у нейросети выходят весьма похожими на реальность, чего не скажешь о другом жанре — портретах:

Если раньше я указывал что НЕ правильно колоризировала нейросеть, на этом фото я скажу что она окрасила правильно — голову коня. Его пальто было ярко-зелёным, руки были одеты в белые перчатки. Плитка, на которой он стоит, в реальности жёлто-зелёная. Каркас ТРК на заднем плане вовсе не серый, а ярко-голубой. Фигурки мышей — серые. А стена на заднем плане — серо-жёлтая.


Если попробовать другой снимок человека, снятый правда уже на фотоплёнку на совсем другую камеру, ситуация лучше не становится.

Нейросеть угадала только траву. Форма, разумеется, на самом деле не синяя, а зелёная.


В качестве третьей попытки нейросети был скормлен мой шнобель:

С цветом кожи она примерно угадала. С цветом футболки снова мимо — футболка была зелёная. Вот пруф (она робко проглядывает через куртку:

Про мелочи по типу красной окантовки фирменного кэноновского ремня я уже умолчу — тут для меня не было ничего удивительного — традиционные проблемы отображения красного на фотоплёнке..


Нейросеть — фотоплёнка 1:1. Портреты мы пробовали, пейзажи тоже — а что будет если попробовать предметную фотографию. Подкинем-ка нейросети сложную задачку с большим количеством весьма близких цветов...

И снова мимо почти всё. Коробок спичек я думаю видели все, а гильза — классическая барнаульская 7.62, покрытая зелёным лаком. Только деревянная рама верно угадана.


Дадим нашему коробку второй шанс...

Увы, но нет.


На этом пластинки у меня вроде как кончились, а желание продолжать было. Дальнейшие кадры были сняты на узкую чёрно-белую плёнку. Впрочем, на механику получения чёрно-белого изображения размер плёнки почти не влияет.


Лучше всего у нейросети получаются пейзажи? Особо ни на что не надеясь, прогоняем летний кадр из Сосновки снятый на единственную (и очень хреновую) плёнку из тех что были у меня:

Это первый кадр, где правильно раскрашены все цвета. Даже почти грозовые тучи на горизонте (ух и промок я тогда как цуцик!)


Впрочем, нейросеть вполне можно ввести в заблуждение.Например если мы снимаем вид из окна моей альма-матер, стены которой покрашены в ярко-жёлтый цвет:

Нейросеть посчитала их белыми...


А вот "Комсомольская" в Москве колоризирована более чем нормально:

Иногда нейросеть путает чёрный и зелёный:

Кадр снят зимой, и сзади — не ёлки.


Большие проблемы наблюдаются с оранжевым цветом (смотрите на спасательные круги!)...

Синим (смотрите на знак!)...

Впрочем, все остальные цвета на фото выше почти верны.


Ярко-жёлтым (золотой купол Исаакия) и по традиции красным (козырьки)...

На всех дальнейших фото ситуация аналогична. Увы, на данный момент нейросеть хотя бы примерно правильно раскрашивает изображения только в половине случаев, при этом портреты и предметная съёмка вызывают у неё особые затруднения.


Насколько можно верить кадрам в оригинальном посте? Я бы очень поспорил. Увы, чукча не айтишник, и поэтому как и по какому принципу работает данная нейросеть я сказать не могу. А выводить модель ошибок на основе небольшой выборки результатов — не лучшая идея.

Основные цвета при пейзажной фотографии примерно правдивы, но если вы решите раскрасить фотографию своей прабабушки — посмотрите на фотографию коня в пальто.


Засим откланиваюсь, удачи.


P.S. Снимал на это:

Показать полностью 17
1324

Нью-Йорк 1900-1910 в цвете благодаря машинному обучению

Собрал старые фотографии Нью-Йорка с сайта pastvu и позволил MyHeritage улучшить и раскрасить их.

Кажется, будто эти фотографии сделаны сейчас, однако им уже больше 100 лет.

Невероятно!

Некоторые оригинальные фотографии

Показать полностью 25
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества