alexandreF

Работаю на заводе. В свободное время балуюсь с ИИ
На Пикабу
поставил 96 плюсов и 71 минус
отредактировал 0 постов
проголосовал за 0 редактирований
1405 рейтинг 28 подписчиков 6 подписок 42 поста 11 в горячем

Stable Diffusion и GPU сервер

Для всех тех кто давно хочет погенерить тянок картинки, но в силу каких либо причин не обладает видеокартой необходимой мощности. Для текстовых нейросетей смысл будет тот-же.

Сразу оговорюсь, телеграм-анальных чат ботов и бесплатных онлайн сервисов, где даже ничего "покрутить" в настройках толком нельзя, здесь не будет (=

Попался мне тут в рекламе сайт с серверами GPU в аренду, дай думаю, загляну в расценочки...

ЁЪ О_О!!! по плторы тышшы за час аренды! Конечно оборудование топчик, но нафиг надо за такие деньги! Разобрало, полез дальше искать и нашел! Может не идеально но вполне себе приемлемо.

Серверы с GPU для простой генерации изображений избыточны, оно скорее для обучения моделей. Их сейчас трогать не буду, а вот раздел с рабочими станциями рассмотрим.

Stable Diffusion и GPU сервер Опрос, Stable Diffusion, Нейронные сети, Длиннопост

Скриншот с сайта Рабочие станции

Позиции постоянно обновляются (очевидно по занятости оборудования), из этого набора для наших целей, хорошо подойдут варианты с V100 32/16, P100 16 и P40 24 (в тот момент в доступе не было, но кажется мелькала). Всевозможные М40 и К20 нам не подойдут, т. к. имеют на борту несколько процессоров и память делится между ними, а SD пока корректно работает только на одном процессоре.

Соответственно за 15-60р/ч мы имеем отличную личную машинку для собственной персональной нейросети без ожиданий и каких либо ограничений в моделях, запросах с приемлемым временем генерации! (ладно-ладно тут у каждого второго 4090 или H800 без дела пылятся ;))

15р*24ч*30дн = 10800р/мес дороговато, я по началу тоже так прикинул - и при стоимости той-же Р100 16Гб в 20-25тр на вторичном рынке, за пару месяцев можно ее отбить. Так если бы не одно но!

Stable Diffusion и GPU сервер Опрос, Stable Diffusion, Нейронные сети, Длиннопост

Есть возможность хранить образ машины отдельно, в промежутках между использованием и бонусом возможность переходить между машинами. Так что пользовать во все настройки нейросеть по пару-тройку часов в день можно по цене 1 похода в кафе.

А уж свое или аренда решать вам:)

З.Ы. Название сайта не пишу чтоб не быть рекламой. Просто даю пищу для размышлений.

Подробная инструкция по установке и настройке нейросети на подобных ресурсах
Всего голосов:
Показать полностью 2 1

Пони

Пони Арт, Антро, Фурри, Арты нейросетей, Stable Diffusion, Furry Art, Furry edge, Furry horse, Furry equidae
Показать полностью 1

Идеальная бариста

Идеальная бариста Арт, Антро, Фурри, Stable Diffusion, Арты нейросетей, Furry edge, Furry Art, Furry Cow, Молоко

- У вас молоко свежее? - Сам то как думаешь?!

Навеяно недавним визитом в кофейню, в которой молоко закончилось....

Милашка?

Милашка? Арт, Антро, Фурри, Stable Diffusion, Арты нейросетей, Furry Art, Furry edge
Показать полностью 1

Rain

Rain Арт, Антро, Фурри, Stable Diffusion, Арты нейросетей, Furry Art, Furry equidae, Дождь
Показать полностью 1

Ставим SD web UI на Linux

Давно витала в голове мысль вынести эксперименты с нейросетями на отдельный компьютер, и тут подвернулась редкая удача. Попал мне в руки интересный девайс, а именно Nvidia Tesla A2 аж на 16 гб видео памяти.

Значит хватит отлынивать, тем более привалили майские выходные, короче «нейросерверу» быть! А для повседневных задач собрать компактный, тихий системничек в microATX формате. Но, это потом…

Так как это всё-таки сервер нужна серверная ОС. Качаем Ubuntu 24.04

Ставим.

Подробно на этом останавливаться не буду, сейчас установка Linux проста до безобразия, отмечу только два момента. Ставил в минималке и под /home примонтирован отдельный, быстрый ssd - > за подробной инструкцией в интернет, там есть.

Далее, далее, далее... Готово.

Ставим SD web UI на Linux Stable Diffusion, Инструкция, Linux, Ubuntu, Nvidia, Нейронные сети, Длиннопост

Подключаемся по SSH

Дабы протестировать карточку установим Stable Diffusion WebUI от AUTOMATIC1111

Здесь начинается полезное для общественности. Поехали!

Обновляемся

sudo apt update

sudo apt upgrade

Устанавливаем необходимое

sudo apt install git bc google-perftools screen nano

Ставим драйвер Nvidia

sudo apt install libnvidia-common-535 libnvidia-gl-535 nvidia-driver-535

Ребутимся

sudo reboot

Проверяем GPU

nvidia-smi

Ставим SD web UI на Linux Stable Diffusion, Инструкция, Linux, Ubuntu, Nvidia, Нейронные сети, Длиннопост

Есть контакт

Для корректной работы SD нам потребуется Python версии 3.10 (на момент написания)

Ставим пакет пакетов:  sudo apt install build-essential gdb lcov pkg-config libbz2-dev libffi-dev libgdbm-dev liblzma-dev libncurses5-dev libreadline6-dev libsqlite3-dev libssl-dev lzma lzma-dev tk-dev uuid-dev zlib1g-dev libgdbm-compat-dev (это список пакетов, вводится в одну строку)

Идем на python.org и ищем что у них есть из свежих тридесятых питонов, ага! Есть 3.10.14 Копируем ссылку возвращаемся в консоль

Скачиваем

wget https://www.python.org/ftp/python/3.10.14/Python-3.10.14.tgz

Распаковываем

tar -xzf Python-3.10.14.tgz

Заходим в директорию

cd Python-3.10.14

Собираем интерпретатор в .local пользователя, займет какое то время (разверните консоль во весь экран и почувствуйте себя кулхацкером)

./configure --prefix=$HOME/.local --enable-optimizations

make -j4

make install

Возвращаемся в папку пользователя

cd ~

Проверяем все ли хорошо

~/.local/bin/python3.10 --version

~/.local/bin/pip3.10 --version

Ставим SD web UI на Linux Stable Diffusion, Инструкция, Linux, Ubuntu, Nvidia, Нейронные сети, Длиннопост

Всё норм

Скачиваем WebUI

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

Переходим в созданную директорию

cd stable-diffusion-webui

Создаём окружение Python

~/.local/bin/python3.10 -m venv venv

Запускаем

./webui.sh

Ждём загрузки библиотек и базовых моделей и вуаля!

Ставим SD web UI на Linux Stable Diffusion, Инструкция, Linux, Ubuntu, Nvidia, Нейронные сети, Длиннопост

Работает

Осталось продумать систему охлаждения и подобрать параметры

Моя доволен!

Показать полностью 4

Rave

Rave

Сбылась мечта идиота!

Сбылась мечта идиота! Сборка компьютера, Материнская плата, Компьютерное железо, Радость, Длиннопост

Теперь не нужно открывать корпус и переключать провода чтоб подключить другой диск!

Сбылась мечта идиота! Сборка компьютера, Материнская плата, Компьютерное железо, Радость, Длиннопост

А все SATA разъёмы на МП закончились, и PCI тоже… Может это и не самое изящное решение, но я доволен как слон) Понадобились какие-то данные - пересунул нужный диск и готово! Прям как с дискеткой, но на пару ТБ))

Когда нибудь я непременно разорюсь на более продвинутую материнскую плату с достаточным количеством sata портов и процессор с большим количеством линий pci, но это будет ещё не скоро ((

Сбылась мечта идиота! Сборка компьютера, Материнская плата, Компьютерное железо, Радость, Длиннопост

А пока радуемся тому что есть)

Показать полностью 3
Отличная работа, все прочитано!