Компьютерная графика + Нейронные сети

Бесполезный факт: Заглавная тема интро является ремиксом части Сонаты №8 Бетховена.

Так вот, возвращаясь к теме. Раз в несколько месяцев я использую различные нейроинструменты в попытках сделать хоть что-то вразумительное для улучшения качества исходной записи. Самым первым, что я пробовал, было разделение видео на исходные кадры, увеличение каждого отдельного кадра и соединение их обратно вместе. К сожалению, результат подобного подхода был так себе. Будучи ограничен технологиями своего времени я обладаю весьма слабым компьютером, так что приходилось использовать онлайн сервисы.

И так из раза в раз, из квартала в квартал, создавал короткий семпл и разочарованно прекращал неудовлетворенный итоговым допустимым результатом. Не знаю, почему именно этот сериал вызвал у меня такое чувство. Хотя знаю - видеокассета с первым сезоном позволяла мне отвлекаться от творимого в детстве пиздеца. Те прекрасные дни, когда пьяный отец приводил домой трахать проституток, а мать рыдала в соседней комнате, за что он её бил чтобы не шумела. В общем, этот мультсериал был моим другом в детстве. Да, так себе друг, но чем богаты.

И тааак. Спустя несколько лет итераций вот семпл максимального результата, которого я могу добиться.

Голоса озвучки - elevenlabs - на каждую реплику ушло примерно по 10 попыток.
Удаление оригинальных голосов с видео - CupCat
Повышение разрешения и частоты кадров - Topaz Video.

Результат выглядит так себе и я прекрасно вижу свои ошибки. Правда для этого пришлось сначала отрендерить это в течение тройки часов, компьютер не вывозит. Повышение разрешения и частоты кадров сильно ударило по картинке. А сами голоса не соблюдают оригинальную интонацию и приходилось повторно генерировать, в надежде что "вот тут он скажет не ~убивать жУков~, а ~убивать жукОв~". У elevenlabs, несмотря на общее превосходящее всех известных мне конкурентов качество генерации голоса, отсутствует такая элементарная возможность, как указание ключевых слов для акцентирования или хотя бы указание ударения в словах.

Плюс огромной пропастью является исходное качество оригинальных записей. Выше 480p найти что-то невозможно, а часть записей в качестве даже ниже. Официальные DVD боксы заказать из-за рубежа в данный момент нет никакой возможности, но и там качество не сильно лучше. Многочисленные артефакты записи не добавляют баллов для дальнейшего улучения.

Знаю что тут, на Пикабу, раньше точно были реставраторы видеоконтента. Подобные сериалы, в связи со своей малоизвестностью, вряд ли представляют для них какую-то ценность. Но может вдруг найдутся те, у кого имеются записи конкретно этого мультсериала в хорошем состоянии? Или может быть вдруг официальный диск - я готов его купить. Или кто подскажет, какой движок ТТС лучше использовать, в котором можно было бы настраивать и голоса и интонации? В общем, о чем я тут вообще...

Я был бы рад любому совету о том, как поддержать своего старого друга. Пусть многим это и покажется глупостью.

Первый метод стилизации изображений Stable Diffusion

В боте @yes_ai_bot, когда вы используете нейронную сеть Stable Diffusion, вы увидите соответствующую опцию в виде значка, который располагается под каждым изображением, созданным или загруженным в бота. Этот значок также отображается под сохранёнными изображениями или фотографиями.

Когда вы нажмете на значок «🎭 Стилизация v.1», бот подтвердит, что процесс стилизации будет соответствовать следующим параметрам:

• выбранный вами стиль (или несколько стилей);

• текстовый запрос, который вы указали (если вы отправили боту свое изображение с описанием);

• уровень настройки «Dens» (параметр в «Stable Diffusion»).

Кроме того, на итоговые показатели окажут влияние как выбранная модель (чекпойнт), так и сэмплер.

Приведенный пример демонстрирует результат, полученный с помощью модели revAnimated с параметром DenS, установленным на 0,5, без выбора конкретного стиля.

Вот как различные параметры влияют на итоговую стилизацию изображений версии 1:

• выбор одного или нескольких стилей в настройках накладывает их на исходное изображение.

• если вы введете текстовый запрос (промпт) во время загрузки изображения, он будет интегрирован в изображение, если это возможно.

• параметр «DenS» отвечает за степень применения стиля или промта; более высокое значение «DenS» приводит к более заметным изменениям оригинала.

• модель (чекпойнт), активированная при нажатии кнопки «🎭 Стилизовать v.1», определяет ключевые характеристики конечного результата. Например, если выбрать модель, ориентированную на аниме, исходное изображение станет более похожим на аниме, особенно при увеличении значения «DenS».

Имейте в виду, что в процессе стилизации с помощью нейросети не только трансформируется исходное изображение, но и его размеры увеличиваются в два раза. Однако максимальное разрешение не превысит 2048 пикселей.

Второй метод изменения стиля на фото нейросетью онлайн

Как и предыдущий, данный метод увеличивает исходное изображение в два раза. Тем не менее, стилизация обладает совершенно уникальными характеристиками и значительно отличается.

Главной особенностью «Стилизации изображений v.2» является ее умение сохранять ключевые элементы, такие как расположение, контуры и основные детали оригинала, при этом позволяя значительные изменения в изображении.

Этот метод идеально подходит для изменения одежды, смены фона и даже может быть использован для полного изменения лица (при условии, что персонаж упоминается в запросе).

В этом случае применена версия 2 для стилизации изображений, при этом в настройках @yes_ai_bot был выбран стиль «Оригами».

Степень изменения исходного материала не зависит от значения параметра «DenS», а определяется, скорее, выбранным стилем и/или промтом, а также «негативным промтом»:

• промт формируется на основе текста, который вы добавили к изображению (если оно прикреплено)

• стиль задается параметрами, которые вы указали

• негативный промт соответствует текущему вводу в команде /np

Следует подчеркнуть, что негативный промт имеет ключевое значение: если цветовая палитра, созданная с помощью стилизации изображения версии 2, не соответствует вашим ожиданиям, вы можете воспользоваться командой /np, чтобы исключить нежелательные цвета, указав их через запятую.

Подробную статью с инструкциями по негативному промту можно найти по следующей ссылке.

Вы можете ознакомиться с примерами применения стилизации, которые были представлены в обсуждении на нашем форуме по этой ссылке.

Дополнительную информацию о сервисе Yes Ai можно найти в этом коротком видео.

Как удалить водяные знаки и другие объекты с фото через нейросеть Stable Diffusion Inpaint?

Просто следуйте этим шагам:

• откройте мессенджер Telegram и найдите бота @yes_ai_bot

• загрузите изображение, которое вы хотите изменить

• в появившемся меню выберите пункт INPAINT

• вы окажетесь на веб-странице. Здесь вам нужно воспользоваться предложенным маркером, чтобы выбрать область для удаления

• затем кликните на иконку корзины, которая находится в правом нижнем углу экрана

В финальном результате, который вы получите, выделенная зона будет очищена, и нейронная сеть постарается аккуратно заполнить это пространство, чтобы оно гармонировало с окружающей средой.

Не забудьте сохранить измененное изображение, нажав на иконку дискеты, которая также находится в правом нижнем углу.

Исправление недостатков изображений, созданных нейронной сетью, например, удаление ненужных текстов, одежды или фона, с помощью @yes_ai_bot осуществляется легко. Бот предлагает набор инструментов, которые представлены в виде различных опций:

Нажмите на кнопку "Опции" и выберите "INPAINT", который находится под созданным изображением, и следуйте дальнейшим шагам, аналогичным тем, что были описаны ранее.

Полный функционал инструмента Inpaint описан в статье: Inpaint Stable Diffusion. Нейросеть для изменения изображений онлайн

Краткий обзор бота Yes Ai:

Для использования понадобится всего лишь фотография в профиль. Также в статье расскажу, как не париться с установкой и запустить FaceFusion в один клик.

Основные возможности FaceFusion:

• Замена лиц на фото и видео;

• Улучшение качества лиц и кадров;

• Раскрашивание черно-белых видео;

• Синхронизация губ (Lip-sync);

• Поддержка нескольких моделей для замены лиц;

• Настройка параметров обработки;

• Работа с несколькими лицами в кадре.

А в последней версии добавлено следующее:

• Добавлена возможность изменения возраста;

• Улучшение качества пикселей для алгоритмов замены лиц;

• Live Portrait улучшает выражения лиц на фотографиях;

• Порядок выбора лиц теперь учитывает возраст, пол и другие параметры;

• Новые видеокодеки h264_videotoolbox и hevc_videotoolbox;

• Исправлено качество изображений формата webp;

и другие улучшения и изменения, весь список вы можете прочесть на GitHub.

Основные параметры

1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка.

2. Target — изображение или видео, на котором мы хотим заменить лицо.

3. Output — результат генерации.

Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью.

4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.

Режимы селектора лица:

• Режим reference — заменяем выбранное эталонное лицо в reference face.

• Режим one — меняет лицо в соответствии с параметрами, о которых ниже, по умолчанию заменяет самое левое лицо в кадре.

• Режим many — меняет все лица в кадре.

5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять (например рот, тон кожи, нос, верхнюю губу и т. п.).

Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.

6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками.

7. Процессоры кадров

face_swapper — заменяет лицо.

face_enhancer — улучшение лица.

frame_enhancer — улучшение всего кадра.

age_modifier — изменение возраста.

frame_colorizer — окрашивание черно-белых изображений и видео.

face_debugger — отображение типов масок лица.

expression_restore — помогает сделать выражения лиц более эмоциональными после замены.

Вы можете использовать один или сразу несколько процессоров кадров.

❯ Модели

Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!

Face Swapper Model — модели замены лица. Самая часто использумая — inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128.

Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4.

Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.

Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели.

Другие параметры

Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора.

Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок.

Video Memory Strategy — стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена. Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif.

Блок Options:

• keep-temp — сохраняет нарезанные кадры.

• skip-audio — позволяет не использовать звуковую дорожку на видео.

Остальные параметры не особо интересные, либо особо ни на что не влияют, поэтому двигаемся далее!

❯ Возможности FaceFusion

Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста, сейчас посмотрим, на что она способна!

Начнем от простого к сложному.

Очень интересно, давайте попробуем поиграться с функцией восстановления цвета:

Еще пример с еще одной известной личностью:

Также в этой версии добавили процессор age_modifier, давайте посмотрим, как он работает

Вот статичный и более наглядный пример:

Ну и даже с разными тонами кожи нейросеть справляется хорошо:

Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста (кстати, еще добавил expression_restorer, а то уж больно скучные лица были).

В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.

Поэтому используйте ПО исключительно в позитивном ключе, придерживаясь этики и закона:

1. Не используйте лица людей без их явного согласия.

2. Избегайте применения для обмана или введения в заблуждение других лиц.

3. Воздержитесь от использования в коммерческих целях без соответствующих разрешений.

4. Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.

5. Не применяйте технологию для создания фальшивых новостей или дезинформации.

6. Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.

7. Не используйте для создания порнографического контента без согласия.

8. Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).

9. Не используйте для обхода систем безопасности или аутентификации.

10. Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.

Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей

Чтобы установить FaceFusion, достаточно скачать нашу портативную версию с установкой в один клик.

Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место.

Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!

Создано при помощи нейросети: Hailuoai, Pika Art

Монтаж: VEGAS Pro 19.0

Музыка: Justice & Connan Mockasin — Explorer