Neural.Academy

AudioCraft имеет открытый исходный код, а так же были предоставлены модели. Ознакомиться со всем содержимым а так же с инструкцией по запуску можно в официальном гит репозитории.

В наборе имеется сразу несколько инструментов и моделей

• MusicGen для создания мелодий по текстовому описанию. Обучена на 20 тысячах часов музыки, права на которую принадлежат Meta* или которая была лицензирована специально для этих целей.

• AudioGen генерирует звуки и эффекты окружающей среды с помощью текстовых подсказок — например, лай собаки или шаги. EnCodec обеспечивает обработку звука.

• Multi Band Diffusion: совместимый с EnCodec декодер, использующий диффузию.

Создаваемые звуки в виде свиста, сирен и гудения звучали довольно естественно. Хотя гитарные струны в песнях казались настоящими, они все равно казались, ну, скажем так, искусственными.

The Verge

Данная разработка может помочь звукорежиссёром быстро создавать аудио сцены. Отзывы о генерации именно музыки не очень хорошие.

__

Наш чат в тг где генерируем всякое, обсуждаем новости и помогаем друг другу с решением технических проблем

*Meta экстремистская организация запрещённая на территории РФ..

Повышенное качество генерации, возможность генерировать осмысленный текст, улучшенная эстетика и понимание запроса. Попробовать можно тут , а скачать веса для генерации локально тут. (Если что поддержка модели была добавлена в последнем обновлении automatic1111)

Дополнительные примеры генерации:

__

Наш чат в тг где генерируем и обсуждаем новости и помогаем друг другу с решением технических проблем.
Мой канал с гайдами по Stable Diffusion. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.
Канал Нейроновости(источник) - новости о самых интересных нейронках

Авторы сообщают что благодаря более крупному картиночному энкодеру CLIP-ViT-G у них получилось сильно забустить как качество генерации изображений, так и понимание текста. Веса и код уже в доступе для всех желающих.

Так же работы новой модели можно оценить в браузере или в телеграм боте

__

Наш чат в тг где генерируем и обсуждаем новости и помогаем друг другу с решением технических проблем.

Канал Нейроновости (источник) - источник новостей о нейронках, подпишись чтобы не пропускать

Автор данной работы обещает вскоре опубликовать пайплайн. Как только это произойдёт то поделюсь и с вами. Пост на Реддит. А на данный момент есть только такая информация:

Много работы было сделано в temporal (скорее всего имеется ввиду инструмент TemporalKit) и интерполяции. Я также использовал подобный метод обучения, как и Лора. Скоро я опубликую демонстрационную страницу проекта.

Наш чат в тг где генерируем и обсуждаем новости и помогаем друг другу с решением технических проблем.

__

Мой канал с гайдами по Stable Diffusion. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

Нельзя сказать что это уже полностью рабочий продукт. Так как пайплайн пока не особо удобный. Но технология очень привлекательная и интересная поэтому я за ней слежу.

Точная и управляемая редакция изображений является сложной задачей, которая привлекает значительное внимание. Недавно была разработана система DragGAN, позволяющая интерактивную редакцию изображений на основе точек и достигающая впечатляющих результатов с пиксельной точностью. Однако, поскольку этот метод основан на генеративных антагонистических сетях (GAN), его общность ограничена емкостью заранее обученных моделей GAN. В данной работе мы расширяем такую систему редактирования до диффузионных моделей и предлагаем DragDiffusion. Используя заранее обученные диффузионные модели большого масштаба, мы значительно улучшаем применимость интерактивной редакции изображений на основе точек в реальных сценариях. В то время как большинство существующих методов редактирования изображений на основе диффузии работают с текстовыми вложениями, DragDiffusion оптимизирует диффузионный латент для достижения точного пространственного контроля. Хотя диффузионные модели генерируют изображения итеративным способом, мы эмпирически показываем, что оптимизация диффузионного латента на одном этапе достаточна для генерации согласованных результатов, что позволяет DragDiffusion эффективно завершать работу по высококачественной редакции. Обширные эксперименты в широком диапазоне сложных случаев (например, множественные объекты, различные категории объектов, различные стили и т. д.) демонстрируют универсальность и общность DragDiffusion.

Как видим из этого описания это уже ближе к тому с чем многие уже привыкли работать. А именно дифузионные модели. Например Stable Diffusion.

Проект доступен на гитхаб. Для запуска рекомендуется видеокарта от NVIDIA. А так же разработчики тестировали код только на linux.

__

Наш чат где генерируем и обсуждаем новости и помогаем друг другу с решением технических проблем

Мой канал с гайдами по Stable Diffusion. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.