Как нейросеть Google утраченные картины Климта раскрашивала
Хочу поделиться с вами еще одной новостью из мира высоких технологий. Оказывается, нейросети умеют не только находить подделки, но и восстанавливать картины! Не спешите смеяться, это не про ruDALL-E от Сбера.
Недавно Google и музей Бельведер смогли раскрасить 3 работы Густава Климта, известные нам только черно-белым фотографиям.
Обо всем по порядку.
Самая известная из тройки утраченных картин, «Философия», в черно-белом варианте и раскрашенном:
Густав Климт в начале 20 века получил крупный заказ на роспись потолка в Венском университете – 3 картины за 30 000 крон (сейчас примерно 162 тысячи евро), а еще одну картину должен был написать его коллега Франц фон Мач. В историю вошли как «Факультетские картины».
Размах у университета был что надо – для новенького роскошного актового зала заказать 3 огромные картины у моднейшего художника страны. Это вам не это.
Попросили аллегории на тему медицины, юриспруденции и философии, ну вот Густав и дал. В своем неповторимом стиле: смерть, обнаженные тела и страсть, смешать с хаосом и добавить еще золота.
Черно-белая «Медицина»:
Начался конфликт. Заказчики из университета вряд ли могли найти еще более далекие от академизма картины, им виделись соовсем другие образы. Климт успел показать «Медицину» и «Философию», получить респекты и золотую медаль на Всемирной выставке в Париже, а еще разгромные статьи в местной прессе.
Короче, художник психанул, забрал картины себе, вернул деньги и был таков. Позже он продал картины своей подружане Серене Ледерер, а у нее картину забрали нацисты и поместили в Иммендорфский замок на северо-востоке Австрии.
8 мая 1945 года замок сгорел, скорее всего, из-за поджога, многие картины сгорели или пропали с бежавшими немцами. Но «Факультетские картины» точно сгорели – выносить из пожара и потом прятать огромные панели накладное дело, когда ты преступник в бегах.
Так вот. Картины сгорели, остались только черно-белые снимки и записи очевидцев, да всяких искусствоведов. И шо вы думаете? Ребята из Google и галерея Бельведер создали нейросеть, скормили ей миллионы фоток, дали рассмотреть 80 картин Климта того периода, а для верности рассказали содержимое всех статей про утраченные картины.
Добавим цвета по советам нейросети:
И нейросеть смогла! Причем некоторые фрагменты она окрасила только по заметкам из статей (например, придала зеленый оттенок у неба в «Философии»), а некоторые вообще раскрасила сама – мол, Климт часто использовал такие цвета в работах.
А вы говорите, летающие машины..
Мой телеграм: t.me/picturebymaslo
До встречи!
AI восстановил утраченные картины Густава Климта
Назло фашистам: Институт культуры и искусств Google и эксперты австрийского музея Belvedere на основе множества изображений и документов создали алгоритм, который помог восстановить оригинальные цвета сгоревших шедевров.
В последний раз картины Климта "Медицина", "Юриспруденция" и "Философия" видели в 1945 году. Они были в австрийском замке, где фашисты хранили награбленные за войну произведения искусства, и сожгли за день до окончания войны, во время наступления советской армии. Неизвестно, сколько еще картин художника пропали там же, но уже доказано, что эти четырехметровые полотна конца XIX века точно были утрачены. Сохранились лишь черно-белые снимки, и наконец-то искусственный интеллект помог вернуть картинам цвет.
Для начала, ученые использовали сохранившийся эскиз фрагмента одной из картин, затем систему машинного обучения стали тренировать на картинах самого Климта, после этого туда загрузили коллекции живописи Google Arts & Culture, фото людей и объектов реального мира. Это позволило создать нужные модели. На финальном этапе результаты сверили с текстовыми описаниями свидетелей картин тех времен.
Обладая всей этой информацией, Эмиль Валлнер, инженер Google, потратил почти шесть месяцев на программирование кода искусственного интеллекта. Получился алгоритм, который смог предсказывать цвета в соответствии с работами Климта. Робот не раскрашивает картины вручную, а выполняет статистический анализ существующих работ Климта и учится имитировать стиль раскраски. Поэтому с помощью созданных алгоритмом хроматических референсов специалисты аккуратно "вставили" цвета в три картины австрийского мастера.
«Результат был удивительным, потому что мы смогли раскрасить даже те части, о которых у нас не было информации», - объясняет австрийский эксперт Смола.
«Когда я впервые увидел зеленое небо "Философии", я воскликнул:« Что это? » Я был поражен, потому что был уверен, что он будет синим», - говорит Валлнер. Небо стало изумрудно-зеленым, поскольку существуют газетные свидетельства, описывающие зеленоватые тона в этой части картины.
"Юриспруденция" до
"Юриспруденция" после
"Философия"
Результат работы алгоритма над картиной Климта "Медицина".
А вот видео процесса в 4k, можно разглядеть детали.
Аватар живописный
Звёздный Аппа (Винсент Ван Гог, "Звёздная ночь")
Аанг осознаёт своё призвание (Эдвард Мунк, "Крик")
Момо с жемчужной серёжкой (Ян Вермеер, "Девушка с жемчужной серёжкой")
Катара практикуется в магии воды (Кацусика Хокусай, "Большая волна в Канагаве")
Аанг и Катара (Густав Климт, "Поцелуй")
Мона Момо Лиза (Леонардо да Винчи, "Джоконда")
Плачущая Катара (Пабло Пикассо, "Плачущая женщина")
Сокка и постоянство кактусового сока (Сальвадор Дали, "Постоянство памяти")
Брошь поцелуй в сердце
По мотивам картины художника Густава Климта Поцелуй
⚜ручная работа, художественная гладь
⚜натуральные нити, бисер, канитель, фетр, японская булавка
⚜размер 50х40mm


































