Dreambooth. Делаем аватарки через нейросеть Stable Diffusion1
Инструкция по обучению нейросети для непрограммистов.
В результате обучения нейросеть посмотрит на фотографии, которые мы ей покажем, запомнит, как выглядит человек на фото и сможет помещать этого человека в любое окружение и применять различные стили к фото.
Для создания картинки нужно сформулировать текстовый запрос. На английском языке пишем нечто вроде: portrait of xxxxx as a viking king, intricate, highly detailed, digital painting, artstation, concept art, sharp focus, illustration, art by Ross tran
Вместо xxxxx подставляем свое имя.
Вот примеры генераций:
Обучение происходит в среде гугл колаб. Это гугловский сервис, который предоставляет нам свои компьютеры. Для его использования необходимо иметь гугл аккаунт. Бесплатный тариф колаба имеет ограничения, но нам этого будет достаточно.
Ниже указаны ссыли на все сервисы упомянутые в видеоролике:
1. Соберите штук 10 фотографий в хорошем качестве и сделанных при хорошем освещении. Это могут быть фотографии человека, животного или даже предмета. Разрешение фотографий должно быть 512х512 пикселей. Быстро изменить разрешение можно через онлайн сервис birme.net
2. Регистрируемся на сайте huggingface.co
2.1 В личном кабинете создаем новый ключ с модификатором write по этой ссылке
2.2 Подтверждаем согласие для использования модели SD1-5 на этой странице.
3. Открываем колаб. Частично я русифицировал этот колаб чтобы у новичков возникало меньше вопросов.
Непосредственно в колабе происходит обучение нейронной модели на наших фотографиях. Этот процесс не сложный, но проще один раз его увидеть, чем описывать где какую галочку нужно нажать. ютюб
4. Здесь подбираем изящный текстовый запрос
P.S.Есть способ развернуть Dreambooth на своем ПК под Windows или Linux. Необходимо иметь NVIDIA видеокарту с не менее 10Гб памяти. Сам я этот способы не тестировал.
Есть альтернативная версия колаба Dreambooth со Stable Diffusion fast-DreamBooth
Пожалуйста, помогите.. Кто-нибудь проверял работу Dreambooth? Мне нужно знать, я тупой, или не всё так безнадёжно https://colab.research.google.com/github/ShivamShrirao/diffu...
Русскоязычная версия https://colab.research.google.com/drive/1ewXM9rkmYMoerXWw8QY...
У меня успешно проходит тренировка нейросети по фотографиям -- это видно в сэмплах.
Но уже в самом конце -- в пункте Inference возникает ошибка в строчке
pipe = StableDiffusionPipeline.from_pretrained(model_path, scheduler=scheduler, safety_checker=None, torch_dtype=torch.float16).to("cuda")
Вид ошибки -- Error no file named model_index.json found in directory
Понятно, что он не находит изначальный файл model_index.json
Поэтому мне так и нужно знать, что у кого-то это работает, чтобы я знал, что дело во мне.
Конечно, тогда бы очень помогло, если бы вы сказали, что надо изменить. Потому что тут не так уж много надо менять -- добавить token с сайта https://huggingface.co , и заменить класс dog на нужные класс моделей -- cat, woman, car или другой необходимый.
Можно ещё заменить zwx на свой идентификатор, но можно и не менять. Пожалуйста, если у вас всё работает, скажите, что вы изменили, чтобы оно работало...
UPD: всё работает, я был просто невнимателен. Сам нашёл ошибку.