Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты

Серия «Полезные и интересные нейросети»

Audiocraft - нейросеть, создающая музыку по текстовому описанию либо заданной мелодии (portable версия в конце статьи)⁠⁠

Новая нейросеть Audiocraft позволяет создавать любую музыку, дав лишь небольшое текстовое описание. Audiocraft использует генеративную модель WaveNet для синтеза звуковых волн на основе текстового или аудио описания. Вы можете просто отправить описание или музыкальный мотив, и нейросеть создаст для вас мелодию в любом стиле.

Нейронка достаточно требовательная к ресурсам видеокарты, разработчики рекомендуют минимум 16 гигабайт видеопамяти для нормальной работы. Но, для владельцев видеокарт послабее есть облегченная small модель, использующая примерно от3 до 5.6 гигабайт видеопамяти.

Протестировать онлайн можно здесь и на Google Collab

Если же вы хотите запустить локально, то скачать audiocraft можно на официальной Github странице проекта, там же и есть инструкция по установке.

Либо же, можете воспользоваться моей portable версией, не требующей установки. Кроме этого, русифицирован интерфейс.

Audiocraft - нейросеть, создающая музыку по текстовому описанию либо заданной мелодии (portable версия в конце статьи) Нейронные сети, Музыка, Электронная музыка, Аудио, Portable, Видео



Скачать её можно либо тут, либо с Яндекс Диска.

Больше различных релизов, связанных с нейросетями и их обновления можно найти у меня в Телеграм канале.

Показать полностью 1
Нейронные сети Музыка Электронная музыка Аудио Portable Видео
30

Refacer - Новый Deepfake в один клик, меняющий до 8 лиц одновременно⁠⁠

refacer - еще один очень простой дипфейк, поддерживающий замену до 8 (!) лиц в одном видео.

Работает через webui, поэтому если кто-то работал с automatic1111, то интерфейс покажется ему знакомым.

Refacer - Новый Deepfake в один клик, меняющий до 8 лиц одновременно Нейронные сети, Deepfake, Face swap, Репак, Видео, YouTube

Принцип работы немного отличается от roop: Вам надо выбрать видео, затем выбрать лицо, которое будете менять (по нему будет работать распознавание) и лицо, на которое будет идти замена.
Затем нажимаете кнопку и начнется замена лиц. Итоговое видео будет лежать в папке out
Вот тест на 3 лица:

В программе работает GPU ускорение для карт Nvidia, AMD пока что нет (но я пытаюсь сделать).
Официальный релиз можно скачать на Github проекта

Я, в свою очередь, подготовил собственный "репак" для запуска в один клик (для запуска программы надо просто запустить 1-click-run.bat, скачать можно:

Яндекс Диск

Гугл Диск

Основные отличия:

- Автоматическая установка всех необходимых пакетов, собранная библиотека insightface (у многих ее сборка вызывает проблемы)
- Создание venv, для избежания конфликтов
- Русификация интерфейса, автозапуск UI
- Небольшая инструкция для подготовки ОС к работе с программой.

Будущие обновления буду выкладывать в своем телеграм канале. На днях доделаю возможность выбирать количество GPU потоков, и сделаю отдельную версию с поддержкой TensorRT.

Показать полностью 1 1
Нейронные сети Deepfake Face swap Репак Видео YouTube
125

Продолжение поста «Сделал более быструю сборку дипфейка без цензуры и с GPU ускорением»⁠⁠

По многочисленным просьбам попробовал сделать сборку и под видеокарты AMD.
Вместо Cuda используется DirectML, поэтому должно работать на всех видеокартах с поддержкой DirectX 12.

Сборка в стадии беты, но уже работает, по отзывам - на RX 560 4Gb дает хорошее ускорение по сравнению с Ryzen 2600.
На встроенных видеокартах Intel якобы тоже быстрее чем процессор

Основные проблемы: не работает многопоточность, значение gpu-threads не должно превышать 1.

Продолжение поста «Сделал более быструю сборку дипфейка без цензуры и с GPU ускорением» Нейронные сети, Deepfake, Видеомонтаж, Ответ на пост, Обучение, Программа, Текст, Длиннопост

Скачать бету можно на Яндекс Диске

Все новости касаемо обновлений и новых релизов будет в моем телеграм канале

Просьба, по итогам тестов написать небольшой фидбек:
1) Ваша модель видеокарты
2) Получилось ли ускорить, если да, то насколько?

Если не завелось, то скинуть скрин ошибки.

Показать полностью 1
[моё] Нейронные сети Deepfake Видеомонтаж Ответ на пост Обучение Программа Текст Длиннопост
9

Сделал более быструю сборку дипфейка без цензуры и с GPU ускорением⁠⁠

Ускорение в 2-4 раза

Здесь идет речь об Дипфейке в один клик, который успел нашуметь.

Для упрощения процесса установки сделал сборку с запуском из bat файла.

Основная особенность этой сборки: вырезана цензура, более свежий код и возможно выставления GPU потоков, что ускорит обработку видео в 2-4 раза, за счет более активного использования видеопамяти.

Скачать можно тут:

Гугл Диск

Яндекс Диск

Данная сборка не совместима с оригинальной, поэтому скопируйте файлы в пустую папку. Если вы попытаетесь перезаписать поверх оригинальной версии - есть большой шанс появления конфликтов.

Обязательно ознакомьтесь с файлом "Прочтите перед запуском" - там есть небольшая инструкция по подготовке системы, если вы запускаете что-то подобное в первый раз.

Что касается обновлений, то вся информация по ним будет в моем телеграм канале Neurogen News

[моё] Нейронные сети Deepfake Видеомонтаж Видео Длиннопост Ответ на пост Обучение Текст
197
Отличная работа, все прочитано!