Как я сделал мем с помощью нейросети. Пошаговое описание
Как известно лучшее средство для борьбы со стрессом и беспокойством это юмор. Поэтому я решил воспользоваться современными технологиями чтобы сделать мем на волнующую многих тему.
Мне понадобилсь нейросеть stable diffusion, гугл переводчик, графический редактор, чтобы собрать вместе две сгенерированные картинки и немного времени.
Первым этапом нужно было сгенерировать картинку с экраном телефона на котором есть цифра один в красном круге. Я воспользовался переводчиком и получил следующий текст
red circle on the phone screen with the number 1
Вставил его в окошко запроса и сгенерировал около 10 картинок с рандомным seed, после выбрал подходящую на которой был красный круг на экране. Эту картинку я отправил в inpaint, закрасил маской круг и использовал запрос:
number 1
чтобы модифицировалась только выделенная область на изображение. Нейросеть не очень хороша в генерирование надписей, но из пачки картинок была одна на которой сгенерировалось что-то похожее на цифру 1.
Дальше я приступил к генерированию второй картинки с бегущим человеком с помощью модели Realistic Vision V2.0. Гугл переводчик выдал мне следующий текст
a dude in a baseball cap, white t-shirt and blue jeans runs up the hills
которым я воспользовался, добавив к нему в конце "cinematic, dramatic photo", чтобы картинка лучше передавала атмосферу, но получил полную дичь. Потому что с помощью простого запроса очень сложно передать нейросети какую именно позу и ракурс ты хочешь получить.
Пришлось воспользоваться функцией ControlNet, которая при помощи библиотеки openpose может анализировать входящее изображение и детектировать позу человеку.
В качестве входящего изображения я использовал старый мем с бегущим человеком, с которого предварительно стёр в графическом редакторе лишние контрастные элементы.
Openpose смог правильно задетектить позу. Выглядит она так:
Дальше эта поза передалась нейросети и модифицировала получаемое при генерации изображение. После этого я получил подходящую картинку. Нейросеть правильно поняла вайб запроса и даже добавила подвороты на джинсы, как будто что-то знает.
Дальше я объединил две картинки в графическом редакторе и мем был готов. Вот таким способом я сделал мем воспользовавшись современными технологиями