Stable Diffusion и GPU сервер
Для всех тех кто давно хочет погенерить тянок картинки, но в силу каких либо причин не обладает видеокартой необходимой мощности. Для текстовых нейросетей смысл будет тот-же.
Сразу оговорюсь, телеграм-анальных чат ботов и бесплатных онлайн сервисов, где даже ничего "покрутить" в настройках толком нельзя, здесь не будет (=
Попался мне тут в рекламе сайт с серверами GPU в аренду, дай думаю, загляну в расценочки...
ЁЪ О_О!!! по плторы тышшы за час аренды! Конечно оборудование топчик, но нафиг надо за такие деньги! Разобрало, полез дальше искать и нашел! Может не идеально но вполне себе приемлемо.
Серверы с GPU для простой генерации изображений избыточны, оно скорее для обучения моделей. Их сейчас трогать не буду, а вот раздел с рабочими станциями рассмотрим.
Скриншот с сайта Рабочие станции
Позиции постоянно обновляются (очевидно по занятости оборудования), из этого набора для наших целей, хорошо подойдут варианты с V100 32/16, P100 16 и P40 24 (в тот момент в доступе не было, но кажется мелькала). Всевозможные М40 и К20 нам не подойдут, т. к. имеют на борту несколько процессоров и память делится между ними, а SD пока корректно работает только на одном процессоре.
Соответственно за 15-60р/ч мы имеем отличную личную машинку для собственной персональной нейросети без ожиданий и каких либо ограничений в моделях, запросах с приемлемым временем генерации! (ладно-ладно тут у каждого второго 4090 или H800 без дела пылятся ;))
15р*24ч*30дн = 10800р/мес дороговато, я по началу тоже так прикинул - и при стоимости той-же Р100 16Гб в 20-25тр на вторичном рынке, за пару месяцев можно ее отбить. Так если бы не одно но!
Есть возможность хранить образ машины отдельно, в промежутках между использованием и бонусом возможность переходить между машинами. Так что пользовать во все настройки нейросеть по пару-тройку часов в день можно по цене 1 похода в кафе.
А уж свое или аренда решать вам:)
З.Ы. Название сайта не пишу чтоб не быть рекламой. Просто даю пищу для размышлений.