ИИ научился создавать видео с одного кадра. Старые картины теперь можно сделать живыми
Технология из Гарри Поттера дошла до наших дней. Теперь для создания полноценного видео человека достаточно одной его картинки или фотографии. Исследователи машинного обучения из «Сколково» и центра Samsung AI из Москвы опубликовали свою работу о создании такой системы, вместе с целым рядом видео знаменитостей и предметов искусства, получивших новую жизнь.
Текст научной работы можно почитать тут. Там всё довольно интересно, с массой формул, но смысл прост: их система руководствуется «ориентирами», достопримечательностями лица, вроде носа, двух глаз, двух бровей, линии подбородка. Так она мгновенно улавливает, что человек собой представляет. И потом может переносить всё остальное (цвет, текстуру лица, усы, щетину и прочее) на любое другое видео человека. Адаптируя старое лицо к новым ситуациям.
Разумеется, это пока работает только на портретах. Модели нужен только один человек, с лицом, повернутым к нам, чтобы у него было хотя бы видно оба глаза. Тогда система может делать с ним что угодно, передавать ему любую мимику. Достаточно дать ей подходящее видео (с другим человеком с головой примерно в том же положении).
Ранее ИИ уже научился делать дипфейки, и интернет-пользователи знатно поиздевались над знаменитостями, вставляя их лица в порно и делая мемы с Николасом Кейджем. Но для этого им приходилось тренировать алгоритмы мегабайтами (а лучше – гигабайтами) данных, находить как можно больше изображений и видео с лицами знаменитостей, чтобы выдать более-менее пристойный результат. Сам создатель Deepfakes говорил, что на компиляцию одного короткого ролика у него уходит 8-12 часов. Новая система генерирует результат моментально, а на входе ей достаточно одной картинки.
С предыдущей системой мы никогда бы не смогли посмотреть на живую Мону Лизу, у нас есть только один её ракурс. Теперь, с алгоритмами, работающими по ориентирам, это становится возможным. Идеала не достичь, но уже что-то близко.
В работе московских исследователей также используется генеративно-состязательная сеть. Две модели алгоритма сражаются друг с другом. Каждая пытается обмануть оппонента, и доказать ему, что то видео, которое она создает – настоящее. Так достигается определенный уровень реализма: картинка человеческого лица не выпускается «в свет», если модель-критик не уверена в её подлинности более чем на 90%. Как говорят авторы в своей работе, в изображениях регулируются десятки миллионов параметров, но за счет такой системы, работа кипит очень быстро.
Если картинок несколько, результат улучшается. Опять же, проще всего получается работать со знаменитостями, которые уже сняты со всех возможных ракурсов. Для достижения «идеального реализма» нужны 32 снимка. В этом случае сгенерированные ИИ фото в невысоком разрешении будут неотличимы от настоящих фото человека. Нетренированные люди на этом этапе уже не способны выявить фейк – возможно, шансы остаются у экспертов или у близких родственников «подопытного» со всех этих изображений.
Если фото или картинка только одна, итог пока не всегда самый лучший. Увидеть артефакты на видео, когда голова находится в движении, можно без особых проблем. Сами исследователи говорят, что их самое слабое место – взгляд. Модель, основанная на ориентирах лица, пока не всегда понимает, как и куда человек должен смотреть.
Видео из фото или портрета через нейросеть
Российские разработчики научили нейросеть оживлять изображения всего по нескольким кадрам. Это значит, что можно создать правдоподобное видео даже из одного портрета. Нейросеть уже «оживила» Достоевского, Дали и Мерилин Монро
Game of Thrones в дополненной реальности
Magic Leap опубликовала приложение по франшизе «Игра престолов» в фирменном магазине, его могут бесплатно скачать все владельцы очков ML1.
Ранее предполагалось, что оно станет эксклюзивом для магазинов AT&T, и это почти так: полную версию «The Dead Must Die: A Magic Leap Encounter» увидят только посетители торговых точек, причём не всех, а только специально оборудованных. Остальным положена демо-версия.
Открытый релиз приложения — небольшое утешение, ведь в мире почти никто даже не видел новый гаджет, не говоря о владении им, но у нас есть видео, которое даёт представление об ощущениях «мэджиклиповцев». В первую очередь, они почувствуют себя на месте Серсеи Ланнистер, которая впервые увидела живого мертвеца, принесённого к её ногам в ящике Псом. А затем познакомятся с белым ходоком. Итог знакомства зависит от действий игрока, который может испугаться или смело победить врагов.
Сыграли бы?
Оживающие фотографии
На днях наша компания запустила приложение, позволяющее оживлять фотографии по примеру картин в фильме Гарри Поттер. Что думаете, господа, будет ли интересно такое решение конечным потребителям(школьникам на выпускных, молодоженам и тд)?
Оживление книги
Доброго времени суток! Сегодня речь пойдёт о такой книжке:
Попала она в мои пакостные ручёнки в таком виде:
Задача была воссоздать из этой макулатуры книгу.
Для начала склеиваем основной блок листов + добавляем сложенный пополам лист А4 в начало и конец книги
Далее делаем надрезы и вклеиваем в них нить
Сверху приклеиваем кусочек ткани и оставляем сохнуть на ночь.
После высыхания подрезка краёв. Подрезаю гигантским, канцелярским ножом
Блок готов. Пришло время обложки.
Режем из картона основание для обложки
Рисуем на компе обложку похожую на старую но размером больше на 2см по высоте и ширине. Печатаем на глянцевой бумаге в ближайшем фотоцентре (мне обошлось в 100р)
Отрезаем лишнее, размечаем линии загиба
Склеиваем обложку с картонным основанием и вклеиваем блок.
И поучаем оживлённую книгу:
Делал подобное в первый раз.
Результатом удовлетворён хотя косяки есть.
Клеил всё на ПВА
Книга из бюджетной организации и ей часто пользуются
Купить проще но я восстановил
Делал не ради денег.
Всем БОБРА!!!
Что такое визуальный язык повествования?
Что такое визуальный язык повествования?
Это когда изображение начинает с нами говорить, возбуждает в нас воспоминания, эмоции, запахи и даже целые истории одним лишь неподвижным изображением, а фотография, на мой взгляд, является одним из самых ярких примеров этого.
С появлением фотографии появился термин - фотографичность (правда или достоверность).Ничто в нашем мире не может быть более правдивым, чем фотография или видео. Все остальные виды визуального искусства -живопись, иллюстрация, гравюры, коллажи являются скорей отражением того, как автор видит этот мир, или как его интерпретирует и делится с нами этим. Также я понял, что правда фотографии по-настоящему начинает цениться только с прошествием времени, когда мы начинаем рассматривать фотографии своих молодых родителей или себя в детстве, очертания города в котором ты живешь и по которому ходят люди в странных одеждах и бегают лошади вместо машин. Когда ты понимаешь, что это все правда и это было на самом деле, тогда и приходит понимание ,что то, чем я занимаюсь будет бесценным .Только нужно чтобы прошло время и то что я делаю останется после меня и будет летописью этого времени. Я уже вижу как спустя 100 лет наши внуки, находясь на космическом корабле, хихикают, разгадывая наши фотографии с смешными машинками и нелепыми прическами, но самым важным для них, как и всегда, останутся люди.
Самая выразительная часть человека на мой взгляд - это его лицо. Глядя на хорошо сделаный портрет можно очень многое сказать о человеке, даже почувствовать какие чувства испытывал человек во время съемки. Моя цель, как портретного фотографа - грамотно выставить свет который подчеркнет постоинства и спрячет недостаки и сфотографировать человека как можно более выразительнее и интереснее. Сделать его портрет эстетически красивым и как можно меньше использовать графические редакторы, которые изменяют черты лица, чтобы показать человека правдиво, таким каким он был на самом деле.Поэтому я очень стараюсь за время съемки понять характер человека и поймать момент, когда он становится настоящим без масок и притворства.
Приношу прошение за орфографические ошибки не надо их исправлять , они являются частью меня =)
В комментах ответе на вопрос за какую сумму вы бы продали фотографии своих бабушек и дедушек или свои детские фотографии !