Красивые AI Анимации
176 постов
wonderlove
Мой канал, посвященный генерации музыки: https://t.me/Neuro_Sound
Мой канал, где я пишу и пишу музыку: https://t.me/wonderloveyou
32К
рейтинг
210 подписчиков
30 подписок
680 постов
119 в горячем
Серии постов
Музыкальные гайды
5 постов
Нейро-Звук
28 постов
Модели/Лоры
160 постов
Royalty Free Records
1 пост
Нейро-Пиксель-Арты
2 поста
Лучшие промпты недели
17 постов
Уилл Смит в Animal Crossing — AI Видео
Ждем когда добавят Никоаласа Кейджа, а кого хотели бы вы?
Спагетти тоже завезли 🍝
Источник - Text2Video 🎮
Показать полностью
Персонажи Наруто в реальной жизни — AI-видео
Показать полностью
Персонажи GTA San Andreas в реальности от нейросети, часть 2
Всем знакомые заставки превратились в фотографии!
Персонажи из первой части
Интересуешься нейросетями? Тебе в источник - 🎯 Нейро-Пушка
Показать полностью
7
О новой модели FLUX
Абсолютно все вокруг: обсуждают FLUX
Так же я с видеокартой GTX 750 Ti на 2 гигабайта: 🙄
С текущими ценами на видеокарты даже не говори, что не жиза😁
Источник - Нейро-Пушка🎯
Показать полностью
1
FLUX — новая нейросеть для генерации изображений от создателей Stable Diffusion
Всем привет!
Flux.1 D — это мощная модель для генерации изображений по текстовому описанию. Меня зовут Вандер, я куратор клуба по нейросети Fooocus и нейро-энтузиаст, и сегодня мы разберемся, почему вам точно стоит обратить внимание на свежеиспеченную Flux.
Разработчики Flux - бывшие создатели Stable Diffusion и Stable Diffusion XL - Робин Ромбах и Андреас Блаттман. Оба выступали за идею, но компания преследовала только коммерческие интересы Как итог - произошел конфликт и ключевые фигуры покинули Stability AI. Недавно ими была создана новая компания The Black Forest Team, которая и представила нам Flux.
Flux основана на 12-миллиардном трансформере и использует инновационный подход, так что достигать высокой производительности и качества изображения возможно даже при запуске на бытовых видеокартах.
Модель очень хорошо следует промпту и распознает текст.
В статье мы посмотрим, как запустить Flux онлайн и локально, а так же на ее возможности.
Версии модели Flux
Модель FLUX представлена в трёх версиях:
FLUX.1 DEV: Эта версия является открытой и предназначена для некоммерческого использования. Она была создана на основе Pro-версии и обладает схожим качеством и способностью следовать подсказкам, но работает более эффективно.
FLUX.1 SCHNELL: Ориентирована на скорость, позволяя генерировать изображения за 1-4 шага. Это самая быстрая версия модели, предназначенная для локальной разработки и личного использования, в которой так же предусмотрена интеграция в ComfyUI
FLUX.1 PRO: Это самая продвинутая версия модели, обеспечивающая высококачественную генерацию изображений. Она отличается отличным следованием подсказкам, высоким визуальным качеством, детализацией изображений и разнообразием выходных данных.
Как опробовать Flux онлайн и бесплатно
Демо на Hugging Face
Интерфейс довольно простой, особенно если вы ранее сталкивались с генеративными нейросетями:
Окно Enter your prompt - добавьте в это окно текстовый запрос для будущего изображения.
Seed — начальное значение шума. Для каждого изображения используется свой seed - нажмите Randomize seed, если вы не хотите зафиксировать текущий результат.
Width и Height — размеры изображения от 256 до 2048 пикселей(кратные 64). Чем больше разрешение, тем больше изображение, но тем больше времени занимает генерация.
Guidance Scale — определяет, насколько строго модель следует текстовому запросу. Чем выше - тем лучше соответствие, но меньше творческого размаха у нейросети. Рекомендую использовать значение по умолчанию.
Number of inference steps — количество шагов, за которые модель генерирует изображение. Рекомендую использовать значение по умолчанию.
Сервис ArtGeneration.me
Вы так же можете опробовать FLUX на ArtGeneration.me бесплатно. При регистрации дают 3 бесплатных дня PRO.
У сервиса куча преимуществ перед демо на Hugging Face:
+ возможность Upscale (увеличение разрешения)
+ возможность Outpaint (расширение изображения)
+ Inpaint(к сожалению, пока только на моделях XL)
И если вы начинающий, на ArtGeneration невозможно промахнуться с разрешением.
Тут интерфейс более понятный, так как он на русском языке.
Здесь есть куча популярных XL-моделей на любой вкус помимо Flux, поэтому вводим название в поиск и нажимаем на превью модели.
Окно промпта находится под изображением.
Избегать — негативный запрос, то, чего не хотим видеть на изображении.
Проработка — то же, что и количество шагов.
Соответствие запросу — то же, что и guidance scale.
Шум — seed.
Сэмплеры — это различные математические функции, по которым генерируется шум для преобразования его в изображение. Советую использовать значение по умолчанию.
Количество изображений — еще один плюс в копилку сервиса — за раз можно сгенерировать до 4-х картинок.
Функции апскейла/расширения находятся на верхней панели.
Как установить Flux локально к себе на компьютер
Flux Dev для Forge
Сперва качаем Forge с установкой в один клик.
Далее скачиваем эту модель, если у вас видеокарта NVIDIA 30-й или 40-й серии, или эту модель для карт 10-й и 20-й серий.
Если у вас уже установлен Forge, то просто скачайте и добавьте Flux к остальным моделям в папку models. Не забудьте перед этим запустить файл update.bat и обновить интерфейс.
Портативная версия
Если вы просто хотите скачать Flux к себе на компьютер с установкой в один клик - то специально для вас мы сделали портативную версию с установкой в один клик. Это квантованная версия модели.
А теперь посмотрим на возможности Flux и красивые примеры с промптами.
Примеры и возможности Flux
Начнем с аниме, попросим Flux изобразить милую девушку в кимоно с драконом:
masterpiece, 1girl, long white hair, kimono, a dragon, red eyes, foggy, onsen
Прекрасный результат! Мне очень нравится.
Сгенерируем красивый и детальный глаз в оранжево-пурпурных оттенках:
Hyper-detailed close-up purpe eye with the iris and pupil transformed into an abstract galaxy with a high-contrast purple and orange theme. Surrounding the eye, stylized makeup in bold black and bright orange mirrors the lightning with sharp, the atmosphere is dark and moody, charged with a sense of power and mystery
Девушка с синими волосами и таинственной коробкой:
extremely beautiful, highly detailed, dark background, young lady 19 years old, long blue hair, freckles, blue eyes, black silk robe, racks, paper, makeup, named Alexis, smiling, easygoing, affectionate, enthusiastic, holding a box, light shines out of the box, light particles, depth of field, Highly Detailed, intricately detailed gothic art trending translucent, illumination, surrealistic, abstract, dark night,
Попробуем эту шедевральную модель с текстом, хотя, вы наверняка уже поняли, что и тут она справляется на отлично:
Hyper details and shaprness, night cyberpunk empty street, rainy weather, the puddles reflect the neon "WONDER" sign,
Lana Del Ray Holding a "FLUXIK" neon sign, night street, cyberpunk
Flux.1 — это выдающаяся модель для генерации изображений, которая сочетает в себе мощь современных технологий с доступностью для обычных пользователей.
Советую вам опробовать ее, если вы еще этого не сделали!
Скачать портативную версию Flux с установкой в один клик для самых ленивых вы можете тут.
Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!
Показать полностью
26
Resemble Enhance - нейросеть для улучшения голоса и очистки от шума
Resemble Enhance - это инструмент на основе ИИ для улучшения качества речи путем шумоподавления и усиления.
Он состоит из двух модулей: шумоподавителя, который отделяет речь от шумного аудио, и улучшателя, который повышает качество звука, устраняя искажения и расширяя полосу пропускания.
Модели обучены на высококачественных речевых данных с частотой дискретизации 44.1 кГц.
Проще говоря, это портативный улучшатель записей голоса, который может пригодиться буквально всем, кто работает с медиа/контентом/звуком.
Это очень хорошая альтернатива плагина GOYO, который на данный момент недоступен. Более того, вам не нужна DAW или другая сторонняя программа, чтобы запустить Resemble, как в случае с GOYO.
Модель пока что подходит только для английской речи. Чтобы развернуть локально, необходима видеокарта NVIDIA минимум с 4 Gb видеопамяти.
По классике, начнем с интерфейса и далее взглянем на возможности более наглядно.
На самом деле, мы постарались и перевели интерфейс на русский язык и он стал уж совсем интуитивно понятным, но все же пробежимся в общих чертах.
Выбор Сэмплера ОДУ для CFM
Если вы уже сталкивались ранее с нейросетями, то знаете, что сэмплер, если просто - метод обработки шума. По стандарту стоит Midpoint и я также советую вам не менять его.
Количество вычислений для CFM
То же самое, что и количество шагов. По стандарту 64.
Параметры 3, 4 и 5 показались мне не сильно важными.
В целом, настройки уже выставлены так, чтобы хорошо обработать бОльшую часть записей.
Шумоподавление перед усилением
Последняя галочка важная. Если в записи очень громкий внешний шум, то перед улучшением весь шум необходимо подавить, чтобы оно работало более корректно.
Так же в Resemble Enhance есть возможность записать голос сразу, ускорять запись при прослушивании и возможность вырезать выбранный фрагмент.
Так как я не особо в курсе, где можно взять уже готовые плохие записи голоса, кроме как тех самых туториалов 10-летней давности, то предлагаю взять пару примеров из моих роликов и искусственно испортить исходник: добавим шум ветра, моря, можно чуть исказить с помощью эквалайзера.
Ну и все записи я заранее перевел на английский язык с помощью сервиса HeyGen.
Я добавил в запись своего голоса шум толпы. Представим, что мне пришлось записывать подкаст в ресторане.
Resemble очень хорошо очистил шум с этой задачей он справляется прекрасно, но улучшатор голоса иногда работает не совсем стабильно. В прочем, возможно это из-за искусственного перевода.
Давайте попробуем взять неискуственный, оригинальный кусок на настоящем английском из популярного мультика. К нему я дополнительно чуть-чуть примиксовал шум озера, посмотрим, как нейросеть справится с задачей.
Замечу, здесь улучшатор сработал много лучше.
Вот как это смотрится на видео:
Теперь давайте попробуем взять что-то всем знакомое, от чего становится тепло на душе: протестируем нашу нейросеть на старых мемах.
Я уверен, все слышали про мем Очень очень affordable... Довольно старый мем, местами проскакивает посторонний шум толпы, попробуем её исправить.
Ради эксперимента я не стал переводить его и очень удивился результату, просто взгляните
Следующий уж точно не менее известный мем - салатик и борщ с капусткой, но не красной. Уже его я перевёл, в целом на записи и так достаточно шума и его уж точно больше, чем на прошлой.
Здесь опять же чуть хуже работает улучшатор голоса. Я уверен, что это связано с тем, что перевод искусственный, а модель обучалась на настоящих голосах.
Ну и давайте повысим сложность - легендарный мем Очень плохая музыка с просто ужасным исходником. Громкая музыка, а в оригинале еще и стерео панорама не понятно куда едет. Про микрофон промолчу, записано это чудо 15 лет назад, чему удивляться.
На удивление, даже тут нейросеть прекрасно очистила шум, правда запись все равно осталась низкой по качеству. Улучшатор, конечно, совсем не в кассу - речь превратилась в один из монологов Уинстона Черчилля.
Далее мне стало интересно, и я взял еще одно видео, на нем очень сильное эхо, которое я еще и усилил.
Шумодав подчистил хвосты от эхо, но само оно не пропало, что было очевидно. А вот улучшатору, судя по всему, пришлось переписывать голос по новой.
На возможности нейросети взглянули со всевозможных сторон, теперь расскажу, как установить это действительно полезное чудо техники.
Чтобы установить Resemble Enhance, достаточно скачать нашу портативную версию с установкой в один клик.
Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.
Надеюсь, статья была полезной, подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!
Показать полностью
2
8