5614

Нейросети и старые фотографии

Помимо основной своей работы, немного занимаюсь реставрацией и восстановлением фотографий. С приходом в наше время нейросетей, я с любопытством за ними наблюдаю. Помните, сначала эти фотографией с мордами животных, будто лсд трип? Потом наложение фильтров на фото в тему различных художественных стилей, далее изменение сезона года с камер видеорегистраторов , где из зимы делали лето и наоборот. Потом всем известный deepfake с заменой лиц, который с каждым годом всё лучше и лучше (гляньте только эпизод из "Назад в будущее" с Томом Холладном и Робертом Дауни Мл.!). Вспоминается ещё небольшая рисовалка от Nvidia, где можно было мазками как в паинте нарисовать красивый пейзаж. И вот теперь то, что я честно ждал - восстановление расфокусированных, старых, низкокачественных или низкого разрешения фотографий.

Для начала я попробовал на старом отсканированном фото своего деда, где много шума, видно текстуру бумаги и т.д.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Если долго смотреть на фотографию, видно что получается будто нарисованная карандашом  картина, но профессиональным художником. Да, белые точки, царапины и др. дорисовываются также, потому что нейросеть не понимает нужные ли это объекты для фото или нет. Но радует как преобразуются волосы, щетина и другие детали. И главное убирается этот проклятый шум!

Далее фото ещё одного дедушки, погибшего в ВОВ. Не идеально. Но лицо стало лицом.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Третей фотографией я залил фото своей тёти, трагически погибшей в 14 лет, у который поэтому было очень мало фотографий. На эмоциях скидываю фотографии своему отцу, который "тыжпрограммист" со стажем. Сказал: Очень круто! Особенно сестра. Если судить памяти, по похожести дорисовалось примерно на 80-90%. Единственное с глазами беда, но можно дофотошопить.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Скидываю ему ссылку на приложение, отец открывает свой архив сканов, и первым делом заливает свою расфокусированную фотку с мыльницы из 90х. Идентичность 100%. Даже прыщ на бороде.

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

Ну и напоследок. Недавно как раз восстанавливал фотографию одной бабушки. Само фото было очень маленькое, а лицо на нём вообще составляло меньше сантиметра.

1. Фото отсканировано в 2400dpi.

2. Моё восстановление + быстрая коллоризация

3. Восстановление оригинала скана приложением

4. Восстановление моей обработанной фотографии + немного фотошопа

Нейросети и старые фотографии Реставрация, Нейронные сети, Длиннопост, Remini

По итогу хочу сказать, что это очень круто. Жаль работает только на лица.

Ещё видел не мало отзывов, что "рисует" абсолютно других людей. Но в моём случае (да если ещё совмещать с фотошопом) получается практически идеально. Приложение называется Remini есть на iOs и Android. И да, может быть кто-то знает аналоги для ПК?

Дубликаты не найдены

Отредактировал Stern137 1 год назад

Искусственный интеллект

322 поста4.4K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Подробнее
+543
ответный пост

Прочитав об улучшайзинге фотографий посредством нейросетей (а конкретно - при помощи приложения Remini), решил посмотреть, что это за зверь такой и с чем его едят. Благо – в семейном архиве имеются фотографии, обработка которых вручную, скажем так, довольно затруднительна. Итак, погнали.

Первое фото. На нём запечатлён мой дед (он слева) с сослуживцем (март 1942 года, г. Раменское, 201-я ВДБ). Оно уже, в общем-то, по большей части отреставрировано (убраны заломы и большинство артефактов на значимых местах фотографии). Мне просто захотелось добавить резкости и уменьшить зернистость. Смотрим:

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

В целом неплохо. Однако при увеличении картинка становится не столь однозначной. Всё-таки – иногда всё же лучше картинка с «зерном».

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Второе фото. Дед с бабушкой и их дети (среди них мой отец и, соответственно, мои дядя и тётя). Примерно 1958-59 год. За обработку этой фотографии даже не брался ввиду ее сильной размытости. Результат намного интереснее. Обратите внимание – картинка стала практически цветной (колоризация слабенькая, но вполне ощутимая; особенно заметна на увеличенных фрагментах). Похоже, нейросеть не поняла, что перед нею Ч/Б изображение )).

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Дед, кстати, тут ощутимо помолодел. Выглядит чуть ли не моложе, чем на фронтовых фотографиях.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Дети выглядят как-то… странно. Хотя в чём именно странность, сформулировать вряд ли получится.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Третье фото. Опять-таки – бабушка и дедушка с внучкой (моей старшей сестрой). Год примерно 1972-73. Тут проблема другого плана – фотография (сама по себе довольно нечеткая) напечатана на текстурированной фотобумаге. Кстати – печать на такой бумаге является неплохим способом «замаскировать» не слишком высокое качество изображения. В результате на скане появился характерный рисунок. Было интересно – справится ли нейросеть с такой «шагренью»? Не справилась. Точнее – справилась частично и только на светлых участках изображения (опять-таки частично). Зато лица обработаны достаточно корректно.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

А теперь минутка крипоты. Обратите внимание на фрагмент узора юбки внучки (для ЛЛ обведен кружком):

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Семейное фото, Длиннопост, Ответ на пост, Remini

Вот как-то так )).

ЗЫ: Баянометр предлагает что-то странное - от рыбной ловли в Екатеринбурге до службы в израильской армии :).

Показать полностью 5 комментарии 70
+550

А с нас все смеялись!!!!!!!! МУхахаахахахахахах!!!

Иллюстрация к комментарию
раскрыть ветку 42
+191

кстати, а это идея :)

Что можно сказать по ребятам из CSI - да, из супер шакального качества, дорисовывает не очень похоже, тем более когда есть оригинал с которым можно сравнить. Но что мне понравилось:

1) Мужик третий слева имеет в оригинале лёгкую слащавость и женственность, от чего был дорисован его женский вариант :D

2) Брюнетка - брови почти как на оригинале, хотя в шакале, ни то что бровей, глаз то не видно.

3) Блондинка - приоткрытый рот и видимость передних зубов как на оригинале!

4) Ну и носы. фактически все идентичны.

Иллюстрация к комментарию
раскрыть ветку 36
+51
Нет ничего лучше
Иллюстрация к комментарию
раскрыть ветку 4
+85

Это очень круто! Осталось узнать у родни на сколько результат сходится с реальным человеком, а то я прадеда не видела живым. А еще, он похоже его омолодил на фотке.

Иллюстрация к комментарию
раскрыть ветку 10
+14

Очень круто, можно возьму фото для примера показать другим?

раскрыть ветку 2
+5
Ну прям Роберт Де Ниро
+1
Правда, ещё и гетерохромию дорисовал
+1
Теперь найти приложение, которое немного состарит)
Faceapp, вроде, сильно старит.
0

отреставрировать сможете это фото что бы чертч лица были отчётливо  https://cs12.pikabu.ru/post_img/2021/04/14/8/161840632015821...

раскрыть ветку 3
+2676
ответный пост

Мне кажется нас ждет волна старых мемов в HD =)

Запустил программу я, тег моё.

Ответ на пост «Нейросети и старые фотографии» Реставрация, Нейронные сети, Славик буйный, Дверь запили, Ultra HD, Ответ на пост, Remini, Крипота
комментарии 216
+52
У меня вот так получилось
Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 2
+5

Очень круто, можно возьму фото для примера показать другим (сделаю реверс)?

раскрыть ветку 1
+175

Вот только что прогнал ещё одно фото

Оригинал / Моя реставрация + колоризация / Прогнал через Remini

Приложение убрало лёгкий расфокус, сделав глаза, волосы и черты лица ясными. От чего общий вид фотографии улучшился в разы. Как бы я это сделал в фотошопе? Без понятия. Если бы я только был бы художником и сам бы это дорисовывал планшетом/кистью + накладывал текстуры волос, кожи и т.д. вручную долго и кропотливо.

Иллюстрация к комментарию
раскрыть ветку 151
+199
По моему у вас слишком хорошего качества фотографии, вот моя для примера
Иллюстрация к комментарию
раскрыть ветку 33
+73

Занимаюсь памятниками, практически ежедневно приходится убирать расфокусировку комбинацией приемов в фотошопе и ручной отрисовкой.

Данное приложение меня просто ошарашило, буду покупать.

раскрыть ветку 29
+48

Моя пра пра бабушка

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 6
+12

Оно платное? У меня сотни фотографий есть. На компьютере есть такое приложение, ведь там и проц мощнее и т.д.

раскрыть ветку 18
+15

Какое максимальное разрешение можно сохранить?

Вообще фигею, что для телефона столько крутых приложений есть, а на пк хрен

раскрыть ветку 16
+17

Ради интереса применил "Unsharp Mask" из своего древнего ФШ ко второму варианту. Сначала на всё, потом ещё раз на лицо.

1 - оригинал (который посередине). 2 - с фильтром. 3 - оригинал (который справа). Можно открыть в разных вкладках и переключаться. Так разница сразу заметна.

Иллюстрация к комментарию
Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 4
+6

С ухом произошло что-то страшное. Если на оригинале фото видно, что это завиток волос, на последнем уже видоизменения конкретные. Глаза еще увеличились за счет нижних век.

раскрыть ветку 10
+2

Подскажите пожалуйста, какой программой сделать автоматическую колоризацию? Я использовал 9may.mail.ru до но он уже закрыт. Да и получалось не очень. Вот:


PS Программа Remini под Android сделала фотографию четче, но это все. Выложить не могу. Фото невозможно сохранить и кнопка Share to Facebook не работает.

Иллюстрация к комментарию
раскрыть ветку 17
+1
А вот можно вопрос, почему все колоризаторы "колоризуют" картинку в такие яркие цвета, которые очевидно должны быть более приглушенными? От этого что фильмы, что фотографии выглядят неестественно.
+1
Чувак, а как восстановить фото после форматирования жёсткого? Они уже достаны, но винда их не показывает ибо формат как бы разбит.
0
Не понял как проходит колоризация. Можно подробней пожалуйста?
0

Очень просто. К оригиналу и к вашему варианту применил unsharp из Gimp, вариант Remini без изменений. Мне ваш вариант после unsharp нравится больше.

0

Вы это всё на Андроиде делаете, или есть приложение под Windows?

раскрыть ветку 1
0

простите, на нашел упоминания, какие именно нейросети или программы, не подскажите?

раскрыть ветку 1
-1
Напишите пост "как реставрировать фото в фотошопе для чайников"
0

Вот здесь хорошо вроде вышло
А с CSI - ну вообще же других людей нарисовало!

+31

автор, спасибо! Весь день залипаю. В детстве увлекался фотографией, буду реставрировать. Есть несколько недостатков: например зимнюю шапку программа  воспринимает как волосы:

Иллюстрация к комментарию
раскрыть ветку 3
+6
Весь день? Купили или есть какой-то вариант неограниченного количества? У меня после 5-7 написало, что лимит на сегодня исчерпан.
+16

Сильно не увлекайтесь на очень размытых фотографиях. Всё таки оно "видоизменяет" память. Рисует чужие глаза и губы ;) А вот для улучшения и шлифовки более-менее хороший фотографий подходит отлично

+1
У буржуев таких шапок не было, не учли :)
+112

Збс

Воспользовался приложением)

Теперь у меня есть качественный пиздабол)

Иллюстрация к комментарию
раскрыть ветку 4
+23

Серьёзно?

раскрыть ветку 1
+1
Нужен качественный Сашко Фокин
Иллюстрация к комментарию
раскрыть ветку 1