Серия «Полезные и интересные нейросети»

🔥 Ключевые особенности:

- Поддержка клонирования голоса – добавь уникальность, просто загрузив референсный аудио-файл. Достаточно 10-30 секунд для копирования вашей речи.

- Высокое качество генерации – реалистичная речь с интонациями.

- Гибкая настройка – параметры Top-P, Temperature и Seed позволяют контролировать стиль и выразительность голоса.

- Поддержка мультиязычности – используйте модель для различных языков: английский, китайский, японский, немецкий, французский, испанский, корейский, арабский, русский, нидерландский, итальянский, польский и португальский.

- Простой интерфейс – минималистичный и понятный UI через Gradio.

💡 Для кого подходит?

Создатели подкастов, разработчики приложений, голосовые ассистенты, генераторы контента для видео, образовательные платформы.

---

Пошаговый гайд:

1. Ввод текста:

- В поле Input Text напишите текст на любом поддерживаемом языке.

2. Референсное аудио (опционально):

- Для клонирования голоса переключитесь на вкладку Reference Audio и загрузите образец голоса.

3. Настройка параметров:

- Используйте Advanced Config, чтобы настроить параметры синтеза под свои нужды.

Расширенные настройки:

- Iterative Prompt Length – определяет длину итерации текста (0 отключает эту функцию).

- Top-P – отвечает за разнообразие текста, чем выше значение, тем более свободной будет речь.

- Temperature – регулирует степень "творчества" в синтезе речи.

- Repetition Penalty – снижает повторяемость слов для более естественного результата.

- Seed – задаёт случайность генерации, 0 для случайного результата, любое число – для детерминированного.

4. Генерация:

- Нажмите Generate. После генерации аудио появится в правой части интерфейса. Вы можете прослушать результат или скачать его.

5. Эксперименты:

- Изменяйте параметры, такие как Top-P и Temperature, чтобы добиться нужного стиля речи.

Программа достаточно неприхотлива к видеопамяти и использует всего несколько гигабайт видеопамяти.

Я подготовил для вас портативную версию, которая позволяет запустить программу всего в пару кликов:

1) Распакйте архив
2) Запустите файл start_fish_audio_portable.bat

Скачать портативный Fish Speech 1.5 можно:

С моего хранилища | С зеркала (Yandex Disk)

Больше различных сборок, в том числе и будущие обновления, гайдов и новостей из мира AI и нейросетей доступно в моем Телеграм канале:

Neurogen

Сегодня на обзоре будет версия img2vid, создающая видео на основе изображения. Для комфортной работы понадобится видеокарта Nvidia с количеством видеопамяти не менее 16 гигабайт. Если у вас меньше, но приличное количество оперативной памяти - вы тоже можете попробовать, но главное обновите драйвер до последней версии.

Интерфейс программы достаточно простой и по факту процесс генерации заключается в двух действиях:

• Прикрепить изображение

• Нажать Generate

Но, здесь есть и дополнительные настройки.

Seed - по умолчанию, каждая попытка выдает рандомный результат. Если вы хотите повторить попытку, используйте один и тот же seed

Number of frames decoded at a time - Параметр, который должен влиять на скорость работы, но по факту его влияние не так ощутимо. Для уменьшения потребления видеопамяти рекомендуется выставить на 1

Number of frames in video - Количество кадров в видео. Параметр экспериментальный и работает нестабильно, лучше оставить как есть

Motion bucket id - влияет на количество и тип анимаций в видео.
Frames per second - FPS, сколько кадров в секунду будет у вашего видео

Получившиеся результаты сохраняются в папку outputs

Портативная версия отличается тем, что всё уже готово для работы, вам не надо устанавливать Python, Cuda и т.д. - качаете, распаковываете и запускаете.

Скачать архивом и через torrent можно тут:

Скачать
Качаете все файлы, затем распаковываете архив который заканчивается на 001. Остальные файлы подтянутся сами, другие архивы распаковывать не надо. Затем просто запускаете start_portable_nvidia.bat и ждете когда откроется вкладка с WebUI в браузере. Если этого не произошло то просто откройте сами адрес http://127.0.0.1:7860

Что же касается генерации по текстовому промпту - релиз данной версии будет в моем Телеграм канале. Также там можно найти и другие портативные сборки различных нейронок.

А если захочется обсудить данную сборку или же просто пообщаться на тему ИИ, то вступайте в наш чат.

В целом, нейросеть максимально простая. На вход мы подаем изображение и видео, с которого будет захватываться анимация, подогнанное друг под друга. Затем нажимаем генерировать и получаем видео анимированного лица. Пример можно посмотреть в небольшом обзоре выше.

Что же касается работы, в целом программа работает как с GPU ускорением, если у вас видеокарта Nvidia так и без него, но уже на вашем процессоре.

Саму нейросеть можно найти тут: Github

В чем отличие портативной версии:

• Есть графический интерфейс

• Все готово к работе, не надо ничего качать и устанавливать

• Последние версии библиотек для работы с GPU

Скачать портативную версию можно тут.

Ну а если вам интересны другие прикладные нейронки, а также их портативные сборки, то подписывайтесь на мой Телеграм канал.

Если же вы просто хотите пообщаться на тематику нейросетей, у вас есть какие-то вопросы, то добро пожаловать в наш чат.

В целом, думаю, многие слышали про Lama Cleaner и уже активно пользуются, поэтому информация дальше будет для тех, кто не знаком с данной программой.

Кому полезно: дизайнерам, фотографам, цифровым художникам и другим пользователям, работающим с изображениями.

Основные функции Lama Cleaner включают в себя:

1. Удаление объекта: Это ключевая функция, позволяющая пользователям выделить и удалить любой объект на фотографии. Программа использует различные нейросетевые модели для замены удаленного объекта и сохранения естественного вида изображения.

2. Добавление объекта: Lama Cleaner функцию Inpaint, которая позволяет пользователям добавлять новые объекты на изображение, при помощи моделей Stable Diffusion.

Официальная страница программы тут: GitHub

По просьбе моих подписчиков, подготовил портативную версию данной программы. В отличие от официальной версии, она не требует установки Python и других зависимостей, всё уже идет в комплекте.

Особенности сборки:

- Установлены самые последние версии Torch и Xformers

- Предзагружена базовая модель

Для запуска необходимо:

- Загрузить архив:

Торрент | Яндекс Диск

Полная версия, со всеми загруженными моделями (20 гигабайт):
Торрент | Яндекс Диск

- Распаковать, запустить start_portable_nvidia.bat (для нормальной работы нужна видеокарта Nvidia, в ином случае придется работать на CPU).

После чего, открываем в браузере адрес: http://127.0.0.1:8080

После этого у нас откроется интерфейс для работы. Загружаем изображение, начинаем работу.

Ну, а больше портативных сборок различных нейросетей, а также бесплатный ChatGPT можно найти в моем телеграм канале.

А обсудить программу можно в нашем чате.

Ну а в этом посте мы кратко пробежимся по ключевым особенностям:

GitHub оригинального проекта. Я убрал NSFW цензуру и добавил ряд оптимизаций.

• Большой список определения лиц: по полу, возрасту, положению в кадре, по сходству.

• Тонкие настройки маски: Вы можете контролировать какие части лица менять, а какие оставить.

• Поддержка улучшителей лица: GFPGAN, GPEN, CODEFORMER, RESTOREFORMER

Скачать портативную версию, не требующую установки и доп. программ и зависимостей можно тут и с Яндекс Диска.

Ну, а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.