Составные части модели

Для обучения имитатора используется сверточная нейросеть. Структура нейросети схожа с DCGAN и состоит из 8 сверточных слоев. После обучения имитатора, используются 2 функции потерь, чтобы оценить схожесть между чертами лица на изображениях.

Сравнение с другими моделями

Метод сравнили с конкурирующими подходами для переноса стиля и восстановления модели лица человека: Global style, Local style и 3DMM-CNN. Ниже видно, что предложенный подход выдает более реалистичные результаты.

Сравнение сгенерированных изображений на отдельных примерах

Количественные метрики сравнения подходов

Ссылка на новость

Источник (сама статья)

3. Сгенерировать человека — ThisPersonDoesNotExist

Нейросеть создаёт реалистичное изображение человеческого лица. Новое изображение появляется при каждом открытии или обновлении страницы. В основе алгоритма лежит генеративная нейросеть StyleGAN от Nvidia.

Разработчик — сотрудник Uber Филипп Ван.

4. Создать кота — ThisCatDoesNotExist

Искусственный интеллект генерирует изображение кота на основе знаний, который он получил, анализируя настоящие изображения животных. Чтобы получить изображение кота, достаточно обновить страницу сайта.

Этот сервис тоже создал сотрудник Uber Филипп Ван.

5. Поиграть в тетрис — Sematris

Мини-игра от Google работает двумя способами: вдумчивый тетрис или интенсивная аркада.

В первом случае нужно написать родственное слово к одному из представленных в списке, и нейросеть попробует угадать, к какому из этих слов оно подходит.

Во втором — подобрать близкое по смыслу слово к варианту, предложенному алгоритмом. Например, сопоставить слово «спать» со словом «кровать». Чем больше совпадений, тем больше очков получает пользователь. Правильное слово между блоками приводит к удалению блока.

6. Создать рисунок из каракулей — AutoDraw

Искусственный интеллект и машинное обучение помогают превратить неаккуратные наброски в чёткие прорисованные изображения. Пользователю достаточно нарисовать несколько линий на холсте, чтобы алгоритм подсказал запланированный рисунок. Искусственный интеллект сравнивает изображения из обширной базы данных и выбирает подходящие варианты.

7. Нарисовать реалистичное изображение — Smart Sketch

Сервис демонстрирует работу нейросети GauGAN от Nvidia, которая превращает схематичные рисунки в реалистичные изображения. Кроме того, если два пользователя создадут один и тот же эскиз с одинаковыми настройками, то встроенные в проект случайные числа гарантируют, что приложение выдаст разные результаты.

Разработку называли «Paint эпохи искусственного интеллекта».

PS: Из-за наплыва пользователей, желающих превратить свою мазню в нечто красивое, сайт может открываться очень долго или вообще не работать.

8. Распознать рисунок — Quick, Draw!

Пользователь создаёт рисунки и предлагает алгоритмам Google угадать, что он имел в виду. Модель обучения улучшается с ростом количества угаданных изображений.

Все данные остаются в публичном доступе.

9. Описать фотографию — CaptionBot

Сервис от Microsoft составляет описание к любой фотографии. В его основе лежит три отдельных алгоритма: Computer Vision API, Bing Image Search API и Emotion API. Если на изображении есть лица, сервис показывает эмоции людей с помощью эмоджи. После анализа приложение предлагает оценить, насколько точно он составил описание.

С помощью рейтингов нейросеть обучается, и теоретически со временем подписи должны становиться лучше.

10. Поговорить с книгой — Talk to Books

Приложение работает на базе алгоритмов Google AI. Нейросеть отвечает на вопросы пользователя цитатами из книг. Она умеет обрабатывать абстрактные вопросы, например, «в чём смысл жизни?» и «что значит быть человеком?».

Сервис не распознаёт вопросы на русском языке.

11. Создать резюме — This resume does not exist

Нейросеть использует шаблоны для резюме, созданные Enhancv для своих клиентов. Фотографии генерируются с помощью алгоритма StyleGAN от Nvidia, а тексты — TextgenRNN. Источником данных послужила информация с портала Indeed, где опубликовано 120 млн резюме. Создать новое резюме можно каждые 10 секунд.

Сервис создали разработчики болгарского сервиса по созданию резюме Enhancv.

12. Сделать логотип — Logojoy

Чтобы создать логотип, пользователю нужно ввести название компании, выбрать её специализацию, понравившиеся логотипы, цветовые гаммы и изображения.

Сервис использует алгоритмы TensorFlow от Google.

13. Написать стихотворение — «Яндекс.Автопоэт»

Алгоритм «Яндекса» составляет собственные стихи из заголовков «Яндекс.Новостей». Сервис автоматически определяет стихотворный размер фразы по чередованию ударных и безударных слогов, составляет фонетические транскрипции и рифмует созвучные фразы.

Также приложение читает собственные произведения с помощью технологии SpeechKit.

PS: чих пых и пыхтачок

14. Превратить фотографию в портрет из стихов — PoemPortraits

Проект — результат сотрудничества Google Arts и Culture Lab. На старте пользователю необходимо ввести любое слово, которое будет содержаться в стихотворении. Затем — предоставить доступ к камере и сфотографироваться, после чего нейросеть наложит стихи на фотографию.

15. Создать из фотографии картину — Deepart

Чтобы создать изображение, нужно загрузить фотографию и выбрать стиль. Готовый результат сервис присылает на электронную почту — такую необходимость он объясняет тем, что обработка занимает несколько минут и на сервисе длинная очередь. Среднее время ответа — около 10 минут.

16. Удалить фон с фотографии — remove.bg

Сервис позволяет за пять секунд удалить фон с фотографии без использования графических редакторов. С помощью алгоритмов приложение выделяет объекты на переднем плане и убирает лишнее.

17. Раскрасить чёрно-белую фотографию — Colorize

Приложение разработано российской компанией G-Core Labs. В его основе — проект с открытым исходным кодом DeOldify. Бесплатно пользователь может загрузить до 50 фотографий, на каждой из них будет написано «Создано с помощью Colorize.cc». Чтобы получить фото, нужно оставить электронный адрес. Время ожидания — от 30 секунд.

Платная версия стоит $10, она убирает надпись и увеличивает лимит до 10 тысяч загрузок.

18. Найти ответ в Библии — Digital Bible

Сервис использует искусственный интеллект, чтобы найти в Библии стихи по ключевому слову или концепции. Например, можно напечатать «месть» или «Ной», и приложение отобразит все стихи из Библии, которые содержат упоминания слов. Сервис находит не только текстовые совпадения, но и смысловые.

Сайт работает на английском языке.

19. Озвучить текст голосом знаменитости — Voices by Headliner

Приложение преобразовывает текст на английском языке в речь и затем предлагает создать видео. Оно работает на базе Microsoft Custom Voice.

Среди вариантов озвучки — голоса Марка Цукерберга, Дональда Трампа, Моргана Фримена, Ким Кардашьян, Тейлор Свифт и других знаменитостей.

20. Заменить лицо на фотографии — Reflect

Сервис, основанный на работе состязательно-генеративной нейросети, автоматически заменяет лицо на фотографии на другое. Пользователь может загрузить собственные изображения или использовать готовые.

Приложение не просто копирует и подставляет лицо, но и сохраняет выражение лица, его цвет и другие характеристики. Изменять лица можно на картинах, рисунках, статуях и изображениях персонажей видеоигра и фильмов.

В планах сервиса — заменять тела и лица на видео.

PS: Гарольд, скрывающий боль + Железный человек

21. Обучить нейросеть — Teachable Machine

Google создала приложение, которое поможет людям понять, как работают нейросети. Для эксперимента понадобится устройство с веб-камерой. Совершая разные движения на камеру, сервис запоминает их и отвечает на жесты GIF-изображением, звуком или речью.

Источник

Разумеется, это пока работает только на портретах. Модели нужен только один человек, с лицом, повернутым к нам, чтобы у него было хотя бы видно оба глаза. Тогда система может делать с ним что угодно, передавать ему любую мимику. Достаточно дать ей подходящее видео (с другим человеком с головой примерно в том же положении).
Ранее ИИ уже научился делать дипфейки, и интернет-пользователи знатно поиздевались над знаменитостями, вставляя их лица в порно и делая мемы с Николасом Кейджем. Но для этого им приходилось тренировать алгоритмы мегабайтами (а лучше – гигабайтами) данных, находить как можно больше изображений и видео с лицами знаменитостей, чтобы выдать более-менее пристойный результат. Сам создатель Deepfakes говорил, что на компиляцию одного короткого ролика у него уходит 8-12 часов. Новая система генерирует результат моментально, а на входе ей достаточно одной картинки.
С предыдущей системой мы никогда бы не смогли посмотреть на живую Мону Лизу, у нас есть только один её ракурс. Теперь, с алгоритмами, работающими по ориентирам, это становится возможным. Идеала не достичь, но уже что-то близко.

В работе московских исследователей также используется генеративно-состязательная сеть. Две модели алгоритма сражаются друг с другом. Каждая пытается обмануть оппонента, и доказать ему, что то видео, которое она создает – настоящее. Так достигается определенный уровень реализма: картинка человеческого лица не выпускается «в свет», если модель-критик не уверена в её подлинности более чем на 90%. Как говорят авторы в своей работе, в изображениях регулируются десятки миллионов параметров, но за счет такой системы, работа кипит очень быстро.

Если картинок несколько, результат улучшается. Опять же, проще всего получается работать со знаменитостями, которые уже сняты со всех возможных ракурсов. Для достижения «идеального реализма» нужны 32 снимка. В этом случае сгенерированные ИИ фото в невысоком разрешении будут неотличимы от настоящих фото человека. Нетренированные люди на этом этапе уже не способны выявить фейк – возможно, шансы остаются у экспертов или у близких родственников «подопытного» со всех этих изображений.
Если фото или картинка только одна, итог пока не всегда самый лучший. Увидеть артефакты на видео, когда голова находится в движении, можно без особых проблем. Сами исследователи говорят, что их самое слабое место – взгляд. Модель, основанная на ориентирах лица, пока не всегда понимает, как и куда человек должен смотреть.

Источник

Для работы плагина потребуется установить среду Python и подключить идущую в комплекте обученную библиотеку. Суть метода заключается в генерации недостающих кадров с целью замедления видеоролика. Нейронная сеть берёт два соседних кадра и дорисовывает промежуточный.

В результате получается плавный видеоролик. По возможностям алгоритм превосходят программы After Effect, Sepconv и аналоги. Скорость обработки будет напрямую зависеть от мощности процессора и разрешения исходного кадра.

По умолчанию разрешение ограничено 320 пикселями, но это можно обойти, если изменить всего одну строчку кода. Сейчас создатель скрипта продолжает его активное тестирование и готов выслушать любые предложения и пожелания от пользователей.

Источник
Github: https://github.com/MortenHannemose/pytorch-vfi-cft