26

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению»

Не прошло и полгода и я решил запилить ответ на один весьма заинтересовавший меня пост. В нём нейросеть раскрашивает старинные фотографии, и получается весьма реалистично. Или нет?

Как у человека, занимающегося аналоговой (плёночной) фотографией, у меня возникло несколько вопросов к работе нейросети и тому, насколько колоризованому ей можно верить. Вооружившись парой пластиночных фотокамер начала прошлого века и своей не очень склеротической памятью, я пошёл снимать.


Начал с самого близкого к оригинальному посту — городского пейзажа конца XIX века...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Цвета добавилось не очень чтобы много — чего вы хотели от пасмурного ноябрьского Питера? Впрочем, основные цветовые зоны оказались правильными — почти правильными. Жёлтое здание Гостинного Двора нейросеть действительно окрасила в жёлтый.

Гораздо хуже досталось красной башне Городской Думы у правого края фотопластинки. Причина этого проста — моя фотопластинка, как и ряд материалов из эпохи начала фотографии, нечувствительна к красному спектру. По итогу, на позитивном изображении ярко-красная башня стала тёмно-серой. А разницу между красным и чёрным светом нейросеть уловить не смогла.


Что ж, пора перенести точку съёмки немного повыше...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Жёлтые стены Гостинного двора не изменились с предыдущей фотографии, а его крыша абсолютно правдиво окрашена в зелёный цвет. Про башню было сказано на фотографии выше, но только вот помимо башни теперь добавился ещё серый купол Казанского собора чуть левее центра фотографии. Купол, в оригинале, ярко-зелёный. Впрочем, эту ошибку я готов частично списать на себя — кадр немного недопроявлен. А вот с ярко-красными лобовыми стёклами машин уж извиняюсь — тут уж проблема целиком нейросети.


Оба этих кадра, впрочем, были сделаны весьма и весьма неплохо. Как и следующий:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Тут ошибочно покрасили только водосточную трубу в фиолетово-красный цвет. Пейзажи у нейросети выходят весьма похожими на реальность, чего не скажешь о другом жанре — портретах:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Если раньше я указывал что НЕ правильно колоризировала нейросеть, на этом фото я скажу что она окрасила правильно — голову коня. Его пальто было ярко-зелёным, руки были одеты в белые перчатки. Плитка, на которой он стоит, в реальности жёлто-зелёная. Каркас ТРК на заднем плане вовсе не серый, а ярко-голубой. Фигурки мышей — серые. А стена на заднем плане — серо-жёлтая.


Если попробовать другой снимок человека, снятый правда уже на фотоплёнку на совсем другую камеру, ситуация лучше не становится.

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Нейросеть угадала только траву. Форма, разумеется, на самом деле не синяя, а зелёная.


В качестве третьей попытки нейросети был скормлен мой шнобель:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

С цветом кожи она примерно угадала. С цветом футболки снова мимо — футболка была зелёная. Вот пруф (она робко проглядывает через куртку:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Про мелочи по типу красной окантовки фирменного кэноновского ремня я уже умолчу — тут для меня не было ничего удивительного — традиционные проблемы отображения красного на фотоплёнке..


Нейросеть — фотоплёнка 1:1. Портреты мы пробовали, пейзажи тоже — а что будет если попробовать предметную фотографию. Подкинем-ка нейросети сложную задачку с большим количеством весьма близких цветов...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

И снова мимо почти всё. Коробок спичек я думаю видели все, а гильза — классическая барнаульская 7.62, покрытая зелёным лаком. Только деревянная рама верно угадана.


Дадим нашему коробку второй шанс...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Увы, но нет.


На этом пластинки у меня вроде как кончились, а желание продолжать было. Дальнейшие кадры были сняты на узкую чёрно-белую плёнку. Впрочем, на механику получения чёрно-белого изображения размер плёнки почти не влияет.


Лучше всего у нейросети получаются пейзажи? Особо ни на что не надеясь, прогоняем летний кадр из Сосновки снятый на единственную (и очень хреновую) плёнку из тех что были у меня:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Это первый кадр, где правильно раскрашены все цвета. Даже почти грозовые тучи на горизонте (ух и промок я тогда как цуцик!)


Впрочем, нейросеть вполне можно ввести в заблуждение.Например если мы снимаем вид из окна моей альма-матер, стены которой покрашены в ярко-жёлтый цвет:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Нейросеть посчитала их белыми...


А вот "Комсомольская" в Москве колоризирована более чем нормально:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Иногда нейросеть путает чёрный и зелёный:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Кадр снят зимой, и сзади — не ёлки.


Большие проблемы наблюдаются с оранжевым цветом (смотрите на спасательные круги!)...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Синим (смотрите на знак!)...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Впрочем, все остальные цвета на фото выше почти верны.


Ярко-жёлтым (золотой купол Исаакия) и по традиции красным (козырьки)...

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

На всех дальнейших фото ситуация аналогична. Увы, на данный момент нейросеть хотя бы примерно правильно раскрашивает изображения только в половине случаев, при этом портреты и предметная съёмка вызывают у неё особые затруднения.


Насколько можно верить кадрам в оригинальном посте? Я бы очень поспорил. Увы, чукча не айтишник, и поэтому как и по какому принципу работает данная нейросеть я сказать не могу. А выводить модель ошибок на основе небольшой выборки результатов — не лучшая идея.

Основные цвета при пейзажной фотографии примерно правдивы, но если вы решите раскрасить фотографию своей прабабушки — посмотрите на фотографию коня в пальто.


Засим откланиваюсь, удачи.


P.S. Снимал на это:

Ответ на пост «Нью-Йорк 1900-1910 в цвете благодаря машинному обучению» Нейронные сети, Фотография, 20 век, Нейросеть Deep nostalgia, Колоризация, Ответ на пост, Длиннопост

Искусственный интеллект

897 постов7.1K подписчика

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Подробнее