Нейросети и старые фотографии

Помимо основной своей работы, немного занимаюсь реставрацией и восстановлением фотографий. С приходом в наше время нейросетей, я с любопытством за ними наблюдаю. Помните, сначала эти фотографией с мордами животных, будто лсд трип? Потом наложение фильтров на фото в тему различных художественных стилей, далее изменение сезона года с камер видеорегистраторов , где из зимы делали лето и наоборот. Потом всем известный deepfake с заменой лиц, который с каждым годом всё лучше и лучше (гляньте только эпизод из "Назад в будущее" с Томом Холладном и Робертом Дауни Мл.!). Вспоминается ещё небольшая рисовалка от Nvidia, где можно было мазками как в паинте нарисовать красивый пейзаж. И вот теперь то, что я честно ждал - восстановление расфокусированных, старых, низкокачественных или низкого разрешения фотографий.

Для начала я попробовал на старом отсканированном фото своего деда, где много шума, видно текстуру бумаги и т.д.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Если долго смотреть на фотографию, видно что получается будто нарисованная карандашом  картина, но профессиональным художником. Да, белые точки, царапины и др. дорисовываются также, потому что нейросеть не понимает нужные ли это объекты для фото или нет. Но радует как преобразуются волосы, щетина и другие детали. И главное убирается этот проклятый шум!

Далее фото ещё одного дедушки, погибшего в ВОВ. Не идеально. Но лицо стало лицом.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Третей фотографией я залил фото своей тёти, трагически погибшей в 14 лет, у который поэтому было очень мало фотографий. На эмоциях скидываю фотографии своему отцу, который "тыжпрограммист" со стажем. Сказал: Очень круто! Особенно сестра. Если судить памяти, по похожести дорисовалось примерно на 80-90%. Единственное с глазами беда, но можно дофотошопить.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Скидываю ему ссылку на приложение, отец открывает свой архив сканов, и первым делом заливает свою расфокусированную фотку с мыльницы из 90х. Идентичность 100%. Даже прыщ на бороде.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Ну и напоследок. Недавно как раз восстанавливал фотографию одной бабушки. Само фото было очень маленькое, а лицо на нём вообще составляло меньше сантиметра.

1. Фото отсканировано в 2400dpi.

2. Моё восстановление + быстрая коллоризация

3. Восстановление оригинала скана приложением

4. Восстановление моей обработанной фотографии + немного фотошопа

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

По итогу хочу сказать, что это очень круто. Жаль работает только на лица.

Ещё видел не мало отзывов, что "рисует" абсолютно других людей. Но в моём случае (да если ещё совмещать с фотошопом) получается практически идеально. Приложение называется Remini есть на iOs и Android. И да, может быть кто-то знает аналоги для ПК?

Искусственный интеллект

2.5K пост9.8K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

560
Автор поста оценил этот комментарий

А с нас все смеялись!!!!!!!! МУхахаахахахахахах!!!

Иллюстрация к комментарию
раскрыть ветку (1)
192
Автор поста оценил этот комментарий

кстати, а это идея :)

Что можно сказать по ребятам из CSI - да, из супер шакального качества, дорисовывает не очень похоже, тем более когда есть оригинал с которым можно сравнить. Но что мне понравилось:

1) Мужик третий слева имеет в оригинале лёгкую слащавость и женственность, от чего был дорисован его женский вариант :D

2) Брюнетка - брови почти как на оригинале, хотя в шакале, ни то что бровей, глаз то не видно.

3) Блондинка - приоткрытый рот и видимость передних зубов как на оригинале!

4) Ну и носы. фактически все идентичны.

Иллюстрация к комментарию
показать ответы
179
Автор поста оценил этот комментарий

Вот только что прогнал ещё одно фото

Оригинал / Моя реставрация + колоризация / Прогнал через Remini

Приложение убрало лёгкий расфокус, сделав глаза, волосы и черты лица ясными. От чего общий вид фотографии улучшился в разы. Как бы я это сделал в фотошопе? Без понятия. Если бы я только был бы художником и сам бы это дорисовывал планшетом/кистью + накладывал текстуры волос, кожи и т.д. вручную долго и кропотливо.

Иллюстрация к комментарию
показать ответы
201
Автор поста оценил этот комментарий
По моему у вас слишком хорошего качества фотографии, вот моя для примера
Иллюстрация к комментарию
раскрыть ветку (1)
54
Автор поста оценил этот комментарий

Да, и такое он может тоже дорисовать, ничего не говорю. :) Но я по большей части с профессиональной стороны смотрю на этот вопрос, чтобы можно было так сказать довести до идеала некоторые моменты в работе, которые тяжело убирать вручную или наоборот добавлять (расфокус, шум, текстуры кожи, волос, щетина, морщины)

показать ответы
43
Автор поста оценил этот комментарий

по-моему, понять, насколько это охуенно, может только тот, кто занимается фотообработкой

для такого результата вручную нужны порой часы работы художника-ретушёра, а приложение справляется за минуту

без особых ожиданий кинула расплывчатое селфи и сидела прифигевшая  потом

раскрыть ветку (1)
19
Автор поста оценил этот комментарий

Вот такие комменты приятно читать :)

показать ответы
12
Автор поста оценил этот комментарий

С ухом произошло что-то страшное. Если на оригинале фото видно, что это завиток волос, на последнем уже видоизменения конкретные. Глаза еще увеличились за счет нижних век.

раскрыть ветку (1)
31
Автор поста оценил этот комментарий

Да это мелочи, всё можно довести в редакторе. Думаю кто занимался восстановлением понимают, что бывает очень проблематично убрать, например, мелко-потрескавшийся глянец с советских фоток. Или текстуру в виде шестиугольников. А нейросети это убирают с лёгкостью.

показать ответы
Автор поста оценил этот комментарий

а у меня прядь волос к лицу пришил... как то странно получилось

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (1)
6
Автор поста оценил этот комментарий

царапину справа распознало как прядь. идеальным вариантом было бы обработать фото перед использованием программы и потом ещё после :)

показать ответы
31
Автор поста оценил этот комментарий

автор, спасибо! Весь день залипаю. В детстве увлекался фотографией, буду реставрировать. Есть несколько недостатков: например зимнюю шапку программа  воспринимает как волосы:

Иллюстрация к комментарию
раскрыть ветку (1)
18
Автор поста оценил этот комментарий

Сильно не увлекайтесь на очень размытых фотографиях. Всё таки оно "видоизменяет" память. Рисует чужие глаза и губы ;) А вот для улучшения и шлифовки более-менее хороший фотографий подходит отлично

42
Автор поста оценил этот комментарий

Давай вместе подумаем чем это отличается от твоих смутных воспоминаний лица человека, которое ты видел 27 лет назад.

раскрыть ветку (1)
9
Автор поста оценил этот комментарий

жирный плюс

4
Автор поста оценил этот комментарий

Remini бесплатным пользуешься? Пишут, что два дня дает обработать три фото в день, а потом только заплатить денег.

раскрыть ветку (1)
15
Автор поста оценил этот комментарий

Пост писал под впечатлением от пробной версии. А так, да, там 389 рублей в месяц по подписке. Думаю для работы приобрести, ведь очень дёшево.

показать ответы
2
Автор поста оценил этот комментарий

Приложение называется Remini есть на iOs и Android.

Цены на ios - от 75 до 50 рублей за карточку.

Иллюстрация к комментарию
раскрыть ветку (1)
8
Автор поста оценил этот комментарий

это Pro+ карточки. Улучшенный режим, можно сразу несколько фото и без очереди на сервере.

А так там месячная подписка для обычного безлемитного режима. Но по одной и бывает с минутными или более ожиданием.

показать ответы
2
Автор поста оценил этот комментарий

Программа конечно хорошая, но я так поняла, что там не за месяц 389, а за 7 фоток, может ошибаюсь

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

есть подписка, можно делать сколько угодно фоток за 389 рублей в месяц (+ дают 7 фоток бонусом для Pro+ режима)

Pro+ там улучшенный режим, можно заливать фотографии скопом и не надо ждать пока сервер освободиться для улучшения ваших фото.

Иллюстрация к комментарию
показать ответы
16
Автор поста оценил этот комментарий

Какое максимальное разрешение можно сохранить?

Вообще фигею, что для телефона столько крутых приложений есть, а на пк хрен

раскрыть ветку (1)
9
Автор поста оценил этот комментарий

на счёт максимального не знаю. но щас я ему загрузил 800х1500, на выходе получил 1600х3000. Т.е. выдаёт х2

показать ответы
Автор поста оценил этот комментарий

сканируете фото в 4 направлениях, с поворотом на 90 градусов, ну или в 6 с поворотом на 60 если не лень - выравниваете, делаете смарт обьект из слоев, включаете режим стэк - медиана, и вуаля - бликов от текстуры глянца нет

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Делал так. Муторно и не всегда результат ни то чтобы идеальный, хотя бы до хорошего еле дотягивает.

показать ответы
Автор поста оценил этот комментарий
Да да ссылку
раскрыть ветку (1)
4
Автор поста оценил этот комментарий

3 года назад делало очень плохо. я пробовал, результат отвратный. в посте отобраны одни из самых лучших результатов которые могут получиться. выглядит как использование нескольких цветов с наложением.

Нейросеть научили колоризировать ЧБ картинки.


как сейчас с этим обстоят дела, не знаю.

показать ответы
Автор поста оценил этот комментарий
А как вы так сделали? У меня приложение из всей фотографии выбирает только лицо и его преобразует. Как сделать чтоб все фото сохранить с общим фоном?
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

внизу будут в круглых иконках лица, а первая слева в квадрате это общее фото, на него нажимаем и сохраняем.

показать ответы
Автор поста оценил этот комментарий

каким сканером посоветуете оцифровывать фото?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Я приверженец сканеров Epson. Сам пользуюсь V330, но, например, есть новый V370 за 10к деревянных. Отличный аппарат.

показать ответы
1
Автор поста оценил этот комментарий
Не проклятый шум, а благородное плёночное зерно.
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

некоторые фотки отсканированы на древнем BearPaw, поэтому там от благородного ничего не осталось) Только цифровой шум)

показать ответы
Автор поста оценил этот комментарий

А можно ли обратиться к вам за реставрацией и восстановлением древнего фото? У меня есть фото прапрапрапрабабушки, но на нем сильно поцарапано лицо. Оно видно, но требуется восстановление. Варианты взаимовыгодности обсуждаемы)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Ох, сколько тут с аналогичной просьбой написало. :) окей, давай попробую с тобой посотрудничать. prime.photo@mail.ru

Автор поста оценил этот комментарий

Можно возьму фото в качестве примера показать другим? (сделаю реверс) Сам занимаюсь колонизацией (правда ручной). Приложение удивило!

раскрыть ветку (1)
Автор поста оценил этот комментарий

Эти 2 фотографии в этом комменте без какой либо обработки. Это просто сканы, смысл их кому то показывать.

1
Автор поста оценил этот комментарий

Не могли бы сказать, у второго деда что за форма? Какие войска?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

На фото в посте он в казачьем обмундировании. А по форме ниже.

Иллюстрация к комментарию
Иллюстрация к комментарию
показать ответы
6
Автор поста оценил этот комментарий

Но лица получаются совсем другие, где-то линия губ другая, где-то нос, морщины. Нейросеть слишком идеализирует, получаются совсем другие люди.

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

В чём-то согласен, но это если прям очень плохого качества фотография. А вот расфокус и шум убирает на отлично. Для постобработки это идеально.

7
Автор поста оценил этот комментарий

По хорошему за месяц можно весь архив домашний привести в божеский вид, но  лучше на пк, 2 террабайта фото. А если фото из нулевых расфокус пофиксить, так вообще огонь.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

не забываем что работает только на лица.

если есть расфокус на фото, то лица будут в итоге чёткие, будто приклеенные, а всё остальное нет.

показать ответы
Автор поста оценил этот комментарий

там выше написали, что можно поставить на Пк эмулятор Андроида и уже потом эту прожку. Тоже буду щупать что и как.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

У меня уже отец накатил эмулятор BlueStacks, насоздавал кучу аккаунтов и сидит фотки прогоняет на пекарне. Говорит пробывал еще Nox и Andy, но у них проблемы то с сохранениями, то еще чё нить. Так что пока тока BlueStacks, но он оч требовательный. Моя картошка на работе запердела от него, еле запустил ремини на нем, а дальше тормоза и глюки.

показать ответы