0

GPU сервер для AI

GPU сервер для AI

В общем, я занимаюсь AI и архитектурой их работы. Не чат-ботики и прочая шаблонная и красивая херня по ютубику, а разработка и обучение адаптеров и моделей, агентная работа, локальный инференс, архитектура взимодействия разных моделей и систем и прочее жутко непонятное, но красивое и умное. И для работы и лаборатории мне необходим сервер с хорошим GPU и почасовой оплатой-удовольствие весьма недешевое, никто мне за это не платит (рынок сейчас странный: полно выпускников курсов, ютуба и адептов ChatGPT, которые сломали ценник на любые AI-решения. Поэтому ищу VPS сервер для себя. Я именно проектирую и делаю, собирая под задачу "движок" и обучая "мозги". Это сложнее, качественнее результат и менее востребовано, намного менее, но, думаю, в будущем подобная хайп-деградация заставит рынок измениться).

Я пробовал таймвеб в начале работы и обучения-но на нем практически нереален локальный инференс. Нет GPU. В остальном более менее норм.
Сейчас на reg.ru. В целом все почти нормально, кроме техподдержки. Плюс-проблемы решаются. Не было ни одной нерешенной. Минус-дооооолго... Утром на сервак-а он все, не але. Пишешь заявку-полчаса-час до приема заявки, а вот сколько будут делать-хз. Мне везло, в течении суток, но в 8 хотеть начать работу а реально получить доступ в 16 часов-так себе удовольствие. Они честно по телефону предупредили что сроки обработки заявок-до недели, большая нагрузка. А гроши то капают. И не нравится что сервер без оплаты живет всего сутки. Допустим, сейчас я не смог утром оплатить (не поступили на счет средства), отдел биллинга работает пн-пт, и как итог-скорее всего сервер и все что на нем удалится. Техподдержка по телефону (14 минут слушал гудки) пообещала посодействовать, но без гарантий. Обидно, с учетом резервной копии день работы отвалится точно, делать заново, плюс два дня нах ненужных выходных. Несерьезно как-то. Предложил помочь с решением проблемы такой обработки задач-но думаю проигнорят.

В общем вот. Если кто знает хороший ГПУ VPS с почасовой оплатой, в РФ (очень хорошо будет с картами RTX 3090 и\или 4090, 5090, A6000. Ну и с другими не проблема, танцы с бубном заставят работать) и адекватной поддержкой-поделитесь пожалуйста ссылочкой.

P.S. Заранее спасибо. Если хотите просто поболтать о железках или AI — тоже милости прошу, но в приоритете новый стабильный сервер. Задолбало быть цифровым цыганом без адекватного места жительства)
P.P.S. Генерация с текстом пока херово решаемая задача и не моя специализация. Поэтому как-то так)
P.P.S. Касаемо reg.ru: сейчас пришло уведомление что моя заявка по проблемам с биллингом взята в работу. Ура!!! Может сегодня сделают. Хоть у них и выходной. Но все равно ооооочень доооооолгоооо.

Искусственный интеллект

5.8K поста11.9K подписчиков

Правила сообщества

ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

0
Автор поста оценил этот комментарий

Понимаю боль с reg.ru - поддержка действительно медленная. Если часть задач это не обучение моделей, а инференс или рутина (заявки, рассылки) - можно вынести на AI-агентов без GPU. На MimikkAi описываешь сценарий - агент выполняет автономно. Для обучения конечно свой сервер нужен

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я на локальном, на буке теперь учусь. Сделал себе бесплатный безлимит-и вожусь, дрессирую агентскую разработку. Пока себе "станок" собираю, с проблемами галлюцинаций разобрался-теперь допиливаю контроль качества и надо работу искать...

показать ответы
1
Автор поста оценил этот комментарий

тоже не понимаю, что ТС собирается запускать. Но мысли по аренде выглядят странно есть наши мощности, есть на западе, но везде это 4-8х по цене железа. И если нужно что-то доброходное, то за месяц уйдет ценник 50-100т.р. запросто. Есть биржи типо опенроутера или Хорды, там уже ниже некуда. Напоминает ситуацию, где на буме майнинга Nvidia продавала золотые лопаты, ну и майнила между делом и даже инвестировала в биток, разгоняя оборачиваемость...

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

А касаемо золотых лопат-тут все несколько глубже закопано. Все среды для работы с ИИ (фреймворки, софт) что вы видите-созданы для выкачивания токенов за наши кровные, естественно. Вот именно это и есть золотые лопаты. Не железо.

1
Автор поста оценил этот комментарий

тоже не понимаю, что ТС собирается запускать. Но мысли по аренде выглядят странно есть наши мощности, есть на западе, но везде это 4-8х по цене железа. И если нужно что-то доброходное, то за месяц уйдет ценник 50-100т.р. запросто. Есть биржи типо опенроутера или Хорды, там уже ниже некуда. Напоминает ситуацию, где на буме майнинга Nvidia продавала золотые лопаты, ну и майнила между делом и даже инвестировала в биток, разгоняя оборачиваемость...

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Если с умом подойти к инференсу-GPU VPS на разовые и небольшие (до 20 млн токенов) задачи обходится в разы дешевле.

0
Автор поста оценил этот комментарий

Помогите собрать домашний комп для ИИ https://www.dns-shop.ru/user-pc/configuration/fa3f86a74e0d9e...

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Или я затупил и это была просьба?

0
Автор поста оценил этот комментарий

Помогите собрать домашний комп для ИИ https://www.dns-shop.ru/user-pc/configuration/fa3f86a74e0d9e...

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

524 989 ₽)))

0
Автор поста оценил этот комментарий
Спасибо! Попробую глянуть опенклав!
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Еще момент. Опенклав и гермес оба работают с облачными моделями по тому же принципу: паттерн-запись-чтение-действие. Так что я бы Вам рекомендовал не ломать голову с локалью, которая может и перепутать, а поработать с апи моделью. Если хотите прям жесть че натворить с умным домом-то тут лучшим вариантом будет отдельная обертка+облачная модель. Это выйдет дешевле апгрейда сервера и умнее локали. Можно и 3.5 4 б попробовать натянуть на Вашей карте-но тут с оберткой посложнее будет и поинтереснее в реализации. Для более точных рекомендаций архитектуру надо продумывать, а для этого побольше надо данных. Да и это уже моя работа-будет платно)

показать ответы
0
Автор поста оценил этот комментарий
Нет, меньше 64к, ассистент начнет терять историю диалогов, а хотелось бы чтоб он помнил привычки и события за некоторое время. Я смотрю в сторону Гермес + 32б, но там 24 гига памяти надо на видяхе.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ну тут три путЯ. Опенклав и гермес оба пишут файл с характеристиками клиента (человека) и используют его в качестве своеобразного промпта. Не помню точное название. Агентс вроде. Второй путь-файл с привычками и расписанием на сервере и в промпте указать чтобы он парсил файл. Третий сложнее-новые скиллы (может у опенклава уже есть) на логику "событие-новый паттерн-запись-перед вызовом инструмента парсинг файла записи".
Например, сказал что будешь дома в 7 потому что пятница и добавил "запиши"- в идеале модель пишет в файл "в пятницу в 7 дома". И все сопутствующие понятию "дома" действия учитывают это время. Ну это в идеале. Самый простой путь-первые два попробовать освоить.
Про квен 3.5 4 б-ее окно 262 к. Нативно 128. Я ее выше 65536 не разгонял, но там она с инструментами отлично работает.

показать ответы
0
Автор поста оценил этот комментарий
пафоса дохуя, а по сути пшик.
более того скажу "на последней ноте"
даже если ты себе 24 гб воткнешь и запустишь в совместном с цпу это максимум 32b модель того же qwena3,6 чтобы хоть как-то шевелился.
на вот почитай "продвинутый" ты наш
https://habr.com/ru/articles/1033808/
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Совместно с цпу запускать модель вообще грех. Очень грех. Скорость будет потрясающая. И, с опытом, подскажу: смотря какой функционал модели. 32 b-это весьма провальный параметр: для работы жирная и медленная, для мозгов-весьма тупая.

показать ответы
0
Автор поста оценил этот комментарий
Вообще я играюсь пока. Управление умным домом и голосовой ассистент в стиле глэдос. И камеры на нее подцепить еще.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Посмотрите фреймворки openclaw и hermes. У первого есть скилы хом ассистант (дрочево с настройкой), у второго нативные инструменты для ХА, настраивается проще. Но для гермеса нужно чтобы контекстное окно модели было не менее 65536-можете решить либо квантизацией модели либо КВ кэша модели если не влазит. Обмануть гермес можно, но это тонкие материи. Также присмотритесь к модели 3.5 4b-вполне достойно себя показывает при нормальной настройке. Голосовое управление и через мессенджер реализовать можно в обоих. Не думаю что для ваших задач нужна 3090-3060 за глаза хватит

показать ответы
0
Автор поста оценил этот комментарий
На олламе, квен 3.5:9b, на домашней 3060 тишке. Хочу 27б, но под нее уже минимум 3090 надо. Пока жаба душит
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

А какие задачи должна решать модель? Только управление умным домом?

показать ответы
Автор поста оценил этот комментарий
ну а зачем полез в такую нишу куда порог входа высокий, а выхлоп без ресурсов низкий
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я вот честно не знаю что ответить. Чтобы понять мой ответ-собеседнику нужно понимать суть архитектуры и сам принцип работы. С другой, если этого понимания нет (у всех свое, всего знать невозможно. Я к примеру практически ноль в сельском хозяйстве и слова агронома для меня будут дичью)-придется тратить часы на попытки объяснить хоть что-то. Поэтому предлагаю на этой ноте завершить разговор)

показать ответы
Автор поста оценил этот комментарий
иди курьером лучше
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Да у меня есть работа. Просто устал уже, хочу сменить сферу и отдохнуть от людей.

показать ответы
0
Автор поста оценил этот комментарий
Я для себя собираю под квен локальный для умного дома. Так и выходит. Не захотел с арендой заморачиваться
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

А че именно за квен и какой движок? llama, vllm или что другое? И для чего в целом такие сложности, что хотите добиться от умного дома? Есть варианты насунуть нейросеть и апишную, без всяких локалей. Намнооооого дешевле выйдет

показать ответы
0
Автор поста оценил этот комментарий
А почем сейчас сервер с гпу? Не дешевле свой собрать и не мучаться?
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Самосборный сервер из б\ушного говна и палок под мои минимальные параметры (с хотя бы одной 3090) не меньше 150 к обойдется. С учетом того как я работаю и сколько потребляю-отобью примерно за 2-2.5 года. Когда найду работу по профилю-там да, есть смысл свой брать. А пока это лабораторный режим и я не зарабатываю на этом-слишком дорого.

показать ответы

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества