даже ртх5090 на 32 гига, как оказалось, уже не совсем геймерская карточка, а скорее ускоритель вычислений. тоже самое было и с ртх4090 на 24 гига.
Rtx pro 6000, вполне обычная видеокарта, в игрушках даже получше 5090, 96ГБ vram, стоит правда как крыло от самолета, но принципиально не является чем-то узкоспециализированным типа h100, b200. Хочу себе такую, 5090 конечно хорошо и здорово, но мне 32 гигов не хватает. :(
Нейронки. Если жировать, то там и 96 не хватит. Но 32 для моих целей ну вот прям вообще мало. А облака я не люблю, хотя и приходится пользоваться.
1. Смотря как пользоваться, если часик другой в день, то дешевле, если прям по максимуму, то дороже. Грубо говоря, если модели работают 24/7/365, то даже у дешевых облаков таже 5090 вылезет примерно в 4-5к долларов в год, плюс за объем дисков, плюс у некоторых за исходящий трафик (минус сэкономленное электричество).
2. Ограниченный контроль над системой (например на своей системе за счет глубоких оптимизаций и кастомных решений я поднял производительность своей 5090 примерно на 10-15% в инференсе)
3. У дешевых облаков со стабильностью не все так хорошо.
4. Чужая система это чужая система, меня можно сертификатами аудитов хоть с ног до головы завалить (а у дешевых даже их нет), но если кому-то сильно будет надо все что нужно он получит. У меня хоть и нет секретных документов и данных, но вопросы защиты информации для меня не на последнем месте. Это становится все актуальнее, информация стала сейчас очень нужным товаром, намного более востребованным, чем раньше и уж если ее и раньше пытались собирать все кому не лень и друг другу продавали, то теперь это вообще второе золото условно. Так что свои данные, наработки и все остальное предпочитаю хранить у себя.




IT минувших дней
1.3K постов7.6K подписчика
Правила сообщества
Запрещается добавлять новости о прошлогодних новинках, а также посты, не относящиеся к тематике "ретро в ИТ".
Желательно соблюдать правила приличия.