Не прошло и полгода и я решил запилить ответ на один весьма заинтересовавший меня пост. В нём нейросеть раскрашивает старинные фотографии, и получается весьма реалистично. Или нет?
Как у человека, занимающегося аналоговой (плёночной) фотографией, у меня возникло несколько вопросов к работе нейросети и тому, насколько колоризованому ей можно верить. Вооружившись парой пластиночных фотокамер начала прошлого века и своей не очень склеротической памятью, я пошёл снимать.
Начал с самого близкого к оригинальному посту — городского пейзажа конца XIX века...
Цвета добавилось не очень чтобы много — чего вы хотели от пасмурного ноябрьского Питера? Впрочем, основные цветовые зоны оказались правильными — почти правильными. Жёлтое здание Гостинного Двора нейросеть действительно окрасила в жёлтый.
Гораздо хуже досталось красной башне Городской Думы у правого края фотопластинки. Причина этого проста — моя фотопластинка, как и ряд материалов из эпохи начала фотографии, нечувствительна к красному спектру. По итогу, на позитивном изображении ярко-красная башня стала тёмно-серой. А разницу между красным и чёрным светом нейросеть уловить не смогла.
Что ж, пора перенести точку съёмки немного повыше...
Жёлтые стены Гостинного двора не изменились с предыдущей фотографии, а его крыша абсолютно правдиво окрашена в зелёный цвет. Про башню было сказано на фотографии выше, но только вот помимо башни теперь добавился ещё серый купол Казанского собора чуть левее центра фотографии. Купол, в оригинале, ярко-зелёный. Впрочем, эту ошибку я готов частично списать на себя — кадр немного недопроявлен. А вот с ярко-красными лобовыми стёклами машин уж извиняюсь — тут уж проблема целиком нейросети.
Оба этих кадра, впрочем, были сделаны весьма и весьма неплохо. Как и следующий:
Тут ошибочно покрасили только водосточную трубу в фиолетово-красный цвет. Пейзажи у нейросети выходят весьма похожими на реальность, чего не скажешь о другом жанре — портретах:
Если раньше я указывал что НЕ правильно колоризировала нейросеть, на этом фото я скажу что она окрасила правильно — голову коня. Его пальто было ярко-зелёным, руки были одеты в белые перчатки. Плитка, на которой он стоит, в реальности жёлто-зелёная. Каркас ТРК на заднем плане вовсе не серый, а ярко-голубой. Фигурки мышей — серые. А стена на заднем плане — серо-жёлтая.
Если попробовать другой снимок человека, снятый правда уже на фотоплёнку на совсем другую камеру, ситуация лучше не становится.
Нейросеть угадала только траву. Форма, разумеется, на самом деле не синяя, а зелёная.
В качестве третьей попытки нейросети был скормлен мой шнобель:
С цветом кожи она примерно угадала. С цветом футболки снова мимо — футболка была зелёная. Вот пруф (она робко проглядывает через куртку:
Про мелочи по типу красной окантовки фирменного кэноновского ремня я уже умолчу — тут для меня не было ничего удивительного — традиционные проблемы отображения красного на фотоплёнке..
Нейросеть — фотоплёнка 1:1. Портреты мы пробовали, пейзажи тоже — а что будет если попробовать предметную фотографию. Подкинем-ка нейросети сложную задачку с большим количеством весьма близких цветов...
И снова мимо почти всё. Коробок спичек я думаю видели все, а гильза — классическая барнаульская 7.62, покрытая зелёным лаком. Только деревянная рама верно угадана.
Дадим нашему коробку второй шанс...
Увы, но нет.
На этом пластинки у меня вроде как кончились, а желание продолжать было. Дальнейшие кадры были сняты на узкую чёрно-белую плёнку. Впрочем, на механику получения чёрно-белого изображения размер плёнки почти не влияет.
Лучше всего у нейросети получаются пейзажи? Особо ни на что не надеясь, прогоняем летний кадр из Сосновки снятый на единственную (и очень хреновую) плёнку из тех что были у меня:
Это первый кадр, где правильно раскрашены все цвета. Даже почти грозовые тучи на горизонте (ух и промок я тогда как цуцик!)
Впрочем, нейросеть вполне можно ввести в заблуждение.Например если мы снимаем вид из окна моей альма-матер, стены которой покрашены в ярко-жёлтый цвет:
Нейросеть посчитала их белыми...
А вот "Комсомольская" в Москве колоризирована более чем нормально:
Иногда нейросеть путает чёрный и зелёный:
Кадр снят зимой, и сзади — не ёлки.
Большие проблемы наблюдаются с оранжевым цветом (смотрите на спасательные круги!)...
Синим (смотрите на знак!)...
Впрочем, все остальные цвета на фото выше почти верны.
Ярко-жёлтым (золотой купол Исаакия) и по традиции красным (козырьки)...
На всех дальнейших фото ситуация аналогична. Увы, на данный момент нейросеть хотя бы примерно правильно раскрашивает изображения только в половине случаев, при этом портреты и предметная съёмка вызывают у неё особые затруднения.
Насколько можно верить кадрам в оригинальном посте? Я бы очень поспорил. Увы, чукча не айтишник, и поэтому как и по какому принципу работает данная нейросеть я сказать не могу. А выводить модель ошибок на основе небольшой выборки результатов — не лучшая идея.
Основные цвета при пейзажной фотографии примерно правдивы, но если вы решите раскрасить фотографию своей прабабушки — посмотрите на фотографию коня в пальто.
Засим откланиваюсь, удачи.
P.S. Снимал на это: