Провели a/b-тест с заменой реальных фото детей из приюта на сгенерированные AI — вот что получилось
Обычно в благотворительных сборах показывается реальное фото благополучателя, а это цифровой след на всю жизнь (мало кто захочет, чтобы в будущем люди узнали, что человек был в приюте, имеет диагноз или пережил опыт насилия). Особенно если благополучатель — ребенок. И, делая лендинг для одного клиента, мы решили проверить, какой результат даст замена реальных фото детей на сгенерированные нейросетью. В данном случае мы использовали Шедеврум.
Сразу отмечу, что у нас не было цели делать картинки неотличимыми от реальности, они должны были быть очевидно сгенерированными. С оригиналом они схожи сюжетно, эмоционально и содержательно. Это значит, что в оригинале был такой же пол, возраст и портрет (поза, эмоция, одежда).
Что мы сделали
Мы сделали две версии одного лендинга: в одном были реальные фото подопечных, а в другом — созданные AI. Далее мы запустили рекламные кампании в ЯндексДирект, и переходящим по рекламе людям Varioqub случайным образом показывал либо версию с реальными фотографиями, либо версию со сгенерированными фотографиями. Тест длился месяц, и за это время каждый вариант страницы увидели по 3500 человек.
Результаты
1. Страница с реальными фото детей принесла 27 попыток пожертвования с конверсией 0,76%.
2. Страница со сгенерированными фото детей принесла 21 попытку пожертвования с конверсией 0,6%.
Получилось, что сгенерированные фотографии ухудшили конверсию в попытку пожертвования на 21%. Это много. Значит, если мы хотим больше защитить подопечных, скрывая их реальные лица, то будем вынуждены почти на четверть увеличить расходы на рекламу.
Понятно, что тест желательно было продолжить, чтобы получить более точные результаты, но ресурсы на трафик закончились, и решения нужно было принимать с тем, что есть.
Что дальше
Получив эти данные, я решил, что нужно продолжать эксперименты, потому что в данном случае могло быть негативное влияние конкретных сгенерированных фотографий. Дальше будем пробовать сравнивать сгенерированные фотки не с настоящими, а с другими сгенерированными.
Я смог написать об этом кейсе, потому что работаю в mercy.agency и навожу мосты между бизнесом и благотворительными организациями, так как такое партнерство выгодно для всех. Пишите мне в личку, чтобы найти свой идеальный фонд для коллаба.
Чаще интересный контент публикую на своем личном канале и на канале агентства, подписывайтесь.
Как сделать AI-кавер и отправить Летова идти босиком вдоль ночных дорог
Опиоидный кошмар
«Ты сегодня взрослее стала, и учебу ты прогуляла…», напевает Виктор Цой в треке «Забирай меня скорей». Чуть позже в куплет врывается Егор Летов — в своей неподражаемой, казалось бы, манере кричит «Ну а как же я, ведь день рождения у тебя».
Переключаем трек. Теперь Михаил Горшенев из группы «Король и шут» на всем знакомый мотив начинает мелодично вещать, как беззащитны шипы белых роз, а затем сетовать на снег, морозы и лед витрин голубых.
Еще недавно такое можно было бы смело окрестить «Опиоидным кошмаром длинноволосого парня в напульснике с металлическими шипами». Но, как говорится, «мы живем, чтоб сказку сделать былью». Ну или чьи-нибудь ужасы, ведь эти композиции действительно существуют и прямо сейчас набирают прослушивания на площадках.
Всему виной AI
Пока все ужасались мухлежу, который устроили школьники и студенты с помощью ChatGPT, искусственный интеллект взялся за фанатов русского рока — он окунул их мертвых кумиров в пучину Шатунова и Жукова. Не сам, конечно. Нашлись умельцы из числа вполне себе человеческих мясных особей, у которых напрочь отсутствует какое-либо трепетное отношение к российским рок-иконам.
Называется все это AI-каверы. Как создаются такие композиции?
Для начала берется акапелла условного Михаила Круга (например, вырезается из его оригинального трека с помощью сервиса VocalRemover).
Затем скачивается модель голоса ушедшей рок-звезды (в сети полно необходимых файлов, можно найти на Discord-серверах или на специальных сайтах).
После этого исходники загружаются в нейросеть so-vits-svc (SoftVC VITS Singing Voice Conversion), либо же используются другие сервисы — например, Suno AI или Udio.
На выходе получается акапелла с голосом, например, Шевчука, попадающего в ноты и текст «Владимирского централа». Затем этот вокал сводится с инструменталом в FL Studio, Ableton или другой DAW. Готово.
Есть вопросы
А теперь представьте человека, для которого Егор Летов был «всем», а строчка «какая попсня, вырубите на***» поселилась где-то в области сердца. Услышать своего кумира завывающим простенькие мотивы для юных барышень — это бывает непросто.
Вот, например, комментарий с одного из форумов, посвященных русскому року:
— Егор Летов, Виктор Цой, Юра Хой — это не просто исполнители, это символы эпохи, голоса времени и поколения. Их творчество было проникнуто личными переживаниями, политическими и социальными взглядами, что невозможно воссоздать при помощи алгоритмов. Попытки AI создать новые песни в их стиле — это попытки коммерциализировать и упростить их наследие. Да еще и откровенно поиздеваться, наложив их голоса на всякие дебильные поп-песни. А вы не ох**ели? Я ненавижу AI-каверы.
Тем не менее, эти треки набирают много прослушиваний, а наиболее успешные варианты оказываются чуть ли не лучше оригиналов, судя по комментариям слушателей.
При этом далеко не все настроены негативно к AI-каверам. Вот еще несколько довольно интересных мнений:
— Считаю, что использование AI для создания новых песен и каверов в стиле Егора Летова — это интересный эксперимент. Конечно, это не заменит оригинального творчества, но такие композиции дают возможность вновь окунуться в атмосферу его музыки. Для нас, фанатов, это способ сохранить память о Летове и познакомить новое поколение с его наследием, — делится мнением другой фанат «Гражданской Обороны».
— AI-каверы с голосами Летова и Цоя привлекли мое внимание, хотя я не знал об этих певцах раньше. Теперь хочу изучить их оригинальное творчество. Видимо, технологии могут познакомить с музыкантами из прошлого. Мне интересно сравнивать, как звучат настоящие песни того же Летова по сравнению с AI-версиями, — рассказывает представитель молодого поколения.
Easy Money?
Зарабатывать на такой музыке, все же, не получится — как минимум инструментал-то остается чужой, а потому на площадках монетизации не будет. Но что, если удастся создать оригинальную музыку и даже, допустим, текст? Или, может, использовать какой-нибудь неопубликованный черновик умершего артиста?
Мы поговорили с автором YouTube-канала «Ай, гитарист!», публикующим нейрокаверы (в том числе с ушедшими из жизни звездами русского рока):
— На YouTube российская аудитория не монетизируется с 2022 года. Реклама показывается только другим странам, на которые не распространяются санкции. Доход незначительный может быть, так как основная аудитория всё таки российская. Как вариант, можно загрузить композиции на другие площадки (VK, Яндекс Музыка и тд). Но опять таки, черновики умерших артистов скорее всего с авторским правом. Хотя я делал одну песню на такой черновик Летова, есть на канале. Но с Ютубом попроще в этом плане. Тем более есть лицензия Content ID специально для каверов.
Эксперты отмечают, что сейчас вопрос авторского права на AI-произведения в РФ и в мире относится к сложным и дискуссионным. Популярно мнение, что обладателями прав на AI-музыку являются компании-производители онлайн-сервисов генерации треков. Более того, иногда это напрямую прописывается в публичной оферте таких сервисов.
Тем не менее, в сети полно обучающих материалов по заработку на AI-композициях — мол, создавайте музыку и монетизируйте на площадках. Многие сервисы разрешают коммерческое использование сгенерированного контента при условии оформления платной подписки. А значит всё возможно на этом поле экспериментов, и не только русском.
Сможете найти на картинке цифру среди букв?
Справились? Тогда попробуйте пройти нашу новую игру на внимательность. Приз — награда в профиль на Пикабу: https://pikabu.ru/link/-oD8sjtmAi
Omost Stable diffusion PORTABLE Omost
📝 В этом видео вы познакомитесь с новым интерфейсом stable diffusion Omost.
Основная особенность Omost в его переработке подсказки в более сложную подсказку по средствам большой языковой модели LLM.
✅ Вы сможете воспользоваться моей Portable Omost версии.
🔑 Portable Omost вы найдете на Boosty (https://boosty.to/stabledif)
✅А также узнаете как установить обычную версию Omost.
📎Страница разработчика Omost (https://github.com/lllyasviel/Omost?tab=readme-ov-file)
Дневник стартапа #7: генерируем картинки по референсу и создаем CJM с помощью ИИ
Привет, это Настя, руководитель отдела контента в Aigital — сервиса на основе нейросетей для решения маркетинговых задач. Мы придумываем и разрабатываем шаблоны, которые упрощают пользователям создание контента для рекламы, СМИ и соцсетей. Каждую неделю мы рассказываем о развитии стартапа и изнанке продукта.
Сегодня расскажу о создании Customer Journey Map (CJM) с помощью нейросетей, обновленном инструменте для удаления фона и генерации картинки на основе другого изображения.
Генерация картинки по референсу
На этой неделе мы добавили на платформу новый навык — генерация картинки на основе другого изображения. С помощью этого навыка можно решать множество прикладных задач: от генерации обложек для YouTube-видео в едином стиле до создания изображений для сайта компании или соцсетей. Он учитывает стиль, цветовую палитру и композицию предложенного изображения при генерации. Помимо этого навык учитывает и то, что указано в текстовом промпте.
Например, в поле «Референс» вы добавляете картинку — обложку с любого YouTube-видео, которая вам нравится по стилистике и цветовой палитре. В текстовом поле указываете, что вам нужна обложка для Youtube-видео с рецептом приготовления шашлыков для кулинарного блога. В результате вы получаете картинку с шашлыками, подходящую по тематике для вашего блога, а по стилистике, палитре и композиции похожую на изображение, что вы добавляли в качестве референса.
Генерация изображения в навыке «В стиле референса»
Под капотом навык работает следующим образом:
На первом этапе ИИ анализирует референс — GPT-4o подробно описывает картинку с разных сторон, прорабатывает её стилистику.
В параллель с этим другая нода GPT-4o берет текстовый запрос пользователя и переводит его на английский.
На следующем шаге GPT формирует объемный промпт, объединяя описание референса и текстовый запрос пользователя. Веса в нем расставлены так, чтобы нейронка понимала, на что следует обратить больше внимания, а на что меньше.
Этот текстовый промпт отправляется в Fooocus.
Fooocus умеет работать с входящими изображениями, поэтому вместе с текстовым промптом приходит и картинка-референс. Получается двойной удар по задаче — и со стороны текстового описания референса, и визуально — с ориентиром на само исходное изображение.
Fooocus сохраняет не только цветовую палитру, но и пропорции картинки-референса. Это особенно удобно, если требуется определенный размер изображения.
Генерация изображения в навыке «В стиле референса»
Картинка-референс (первое изображение) и результат генерации по референсу и описанию (второе изображение)
Далее обученная нами модель улучшает черты лица на картинке и передает ее пользователю.
Мы решили поэкспериментировать и сгенерировать стол со стульями на основе скрина нашего лендинга. Нейронка сохранила пропорции, забрала темно-серый на фон, а зеленый и белый в акценты.
Скрин нашего лендинга
Изображение сгенерировано в навыке «В стиле референса»
Создание Customer Journey Map с помощью ИИ
Навык «Путь пользователя» или Customer Journey Map для сегодняшнего разбора выбрало большинство читателей пятого дайджеста.
CJM — это карта пути клиента, которая показывает все этапы взаимодействия пользователя с продуктом или услугой. Она помогает понять, как клиент воспринимает ваш продукт, какие у него возникают вопросы и болевые точки на каждом этапе.
В этом навыке Aigital выступает в роли специалиста по CJM, глубоко знающего психологию, маркетинг, продуктовую разработку.
Перед тем как приступить к разработке карты пути клиента, важно четко понять, кто будет использовать ваш продукт и каковы их цели. Для этого нужно описать сам продукт, услугу и пользователя. Если у вас еще нет четкого представления о пользователе, можно воспользоваться навыком «3 портрета пользователя». В результате вы получите подробные портреты пользователей с учетом их дохода и психографики (интересов и взглядов) на основе описания вашего продукта.
В основу промпта лег фреймворк по Customer Journey Map от нашего продакт-менеджера Юры. Одна из компетенций Юры — как раз создание CJM.
Вы можете забрать этот фреймворк в Figma-комьюнити и использовать для презентации своей команде сгенерированный в Aigital CJM.
CJM должна включать не только общие этапы взаимодействия с продуктом, но и детализацию каждого шага. Подробный ответ генерируется под каждый шаг CJM, чтобы детальнее проработать задачу. Шаги пользователей, которые сейчас учитываются в навыке:
Онбординг (Onboarding) — первое взаимодействие клиентов с продуктом или услугой, знакомство с основными функциями и преимуществами.
Обзор ценности (Value Discovery) — глубокое изучение продукта или услуги, понимание его уникальной ценности и соответствия потребностям.
Рассмотрение вариантов (Consideration) — оценка плюсов и минусов продукта или услуги, принятие решения о покупке.
Покупка (Purchase) — процесс покупки.
Формирование привычки (Habit Formation) — включение продукта или услуги в повседневные привычки, развитие лояльности.
Распространение (Advocacy) — рекомендация продукта или услуги.
Наш сервис генерирует подробное описание каждого шага, отмечая следующее:
Какой цели я хочу достичь на этом этапе?
Какие действия мне нужно предпринять для достижения цели?
Какие трудности могут возникнуть?
Какие вопросы или сомнения могут появиться?
Где я могу ошибиться?
Что мотивирует меня двигаться к цели?
Какие эмоции я могу испытывать на этом этапе?
Отдельным пунктом в каждом шаге прописываются возможности для улучшения пользовательского опыта. В промпте для этого навыка мы прописываем, что CJM создается, чтобы повысить вовлеченность и снизить отток пользователей.
Наш фреймворк близок к маркетинговой воронке, но поскольку видов CJM довольно много, мы не хотим ограничиваться одним. Поделитесь в комментариях, какие шаги проходит ваш клиент, взаимодействуя с продуктом? В этом навыке мы планируем сделать выпадающее меню с выбором типа CJM.
Небольшие, но важные обновления
Еще немного о том, какие изменения в сервисе мы реализовали или готовим в ближайшее время.
Обновили «Удаление фона». Новый инструмент, на котором работает навык, очень быстро и гораздо качественнее отрабатывает задачу. Особенно это заметно на мелких деталях, например, на волосах.
Обратите внимание на волосы девушки
В раздел истории списаний добавили названия навыков, в которых происходили генерации. Теперь стало удобнее отслеживать, сколько вы расходуете кредитов на те или иные генерации.
Результаты генерации в текстовых навыках теперь приходят с форматированием — подзаголовки в них выделены жирным, маркированные списки аккуратно оформлены, если позволяет задача — добавлены эмодзи. Кроме того, теперь вы можете получать результат в виде таблички, достаточно указать это в пункте «Что учесть» или в своем запросе.
Надеемся, вы уже успели протестировать «Маркетологуса» и «Чат с ИИ». Мы готовим к релизу 10 новых ИИ-ассистентов, среди них будут эксперты по HR, SMM и SEO.
UPD:
Предыдущий выпуск «Дневника стартапа» читайте здесь.
Стилизация фото в Automatic1111 | InstantID и IP-Adapter
В этом видео вы узнаете как стилизовать фотографии в любые стили: от масляных красок до комиксов или фотореалистичных стилей. Лица с портретов остаются хорошо узнаваемые. В этом видео мы разберем технику в интерфейсе Automatic 1111, а в Boosty уже выложено большое и подробное видео для реализации этого процесса в ComfyUI
Ретушь с AI за 2 мин | Supir 3 | Inpaint Anything
В этом видео вы научитесь делать ретушь в Automatic1111 (stable diffusion) очень быстро и качественно. Для ускорения мы используем расширение для автоматического выделения кожи Inpaint Anything. И сделаем качественный апскейл с Supir 3. И да, Supir обновился и теперь доступны сжатые модели и новая схема ускорила процесс апскейла в 2 раза и немного снизила потребление видеопамяти.
Если вы профи в своем деле — покажите!
Такую задачу поставил Little.Bit пикабушникам. И на его призыв откликнулись PILOTMISHA, MorGott и Lei Radna. Поэтому теперь вы знаете, как сделать игру, скрафтить косплей, написать историю и посадить самолет. А если еще не знаете, то смотрите и учитесь.
ИИ год генерировал изображения на основе новостей
Год назад я задался целью сделать генератор новостей, чтобы создавались они без участия человека. Сделал скрипт парсера, который брал новости из новостной RSS лент и генерировал на основе них изображения с помощью ИИ и делал ироничный рерайт текста статьи, а затем постил всё это в соцсети.
Сначала это были коты с трактовкой новости от лица этих самых котов. Потом новости из параллельной стимпанк-вселенной, где большевикам не удалось развалить РИ. В конце новости переписывались в жанре постиронии и генерировался «мир Магритта».
В общем, в течении почти года, собрал я полторы тысячи этих генераций на основе новостей и получился вот такой ролик.
*Основным моим родом деятельности является рисование логотипов, поэтому сейчас моё приложение парсит новости и генерирует по их мотивам ущербные логотипы)