Meta* представила новые ИИ-модели для обработки фото и видео⁠⁠

Корпорация Meta* анонсировала нейронные сети Emu Video и Emu Edit — инструменты на основе генеративного искусственного интеллекта для редактирования и создания контента.

Оба инструмента все еще находятся на стадии тестирования. Согласно заявлению, продукты уже демонстрируют потенциальную пользу для художников, аниматоров и других специалистов творческого направления.

Нейросеть обучалась в два этапа, что позволило инструменту реагировать на различные входные данные: «Сначала Emu Video создает изображения с учетом текстового запроса, а затем на его основе генерирует видео. Этот разделенный подход к генерации позволяет нам эффективно обучать модели для видеороликов», — объяснили в Meta*.

Emu Video способен генерировать видеоклипы на основе введенного текста и прикрепленных изображений в формате 512×512 с частотой 16 кадров в секунду.

Emu Edit позволяет удалять или добавлять фон на фото, выполнять преобразования цвета и геометрии, а также поддерживает локальное и глобальное редактирование.

ИИ обучен на наборе данных из 10 млн образцов, каждый из которых имеет входной вариант изображения и описание задачи, а также целевой результат.

Напомним, в августе корпорация анонсировала нейросеть AudioCraft, которая создает звуки и музыку по текстовому описанию. Про неё и то, как генерировать музыку с помощью ИИ, можете почитать в моей статье.

Страница проекта

* - запрещённая в России организация.

Больше о нейросетях в источнике - Арт-нейросети от Nerual Dreming💫