NVIDIA Tesla V100: девять лет, а всё ещё в строю⁠⁠

NVIDIA Tesla V100, выпущенная в 2017 году, продолжает удивлять. По данным бенчмарков, четыре GPU на плате с NVLink способны обойти M5 Ultra и DGX Spark в различных AI-задачах с преимуществом до 230%.

Это напоминание о том, что в мире AI-инференса железо не устаревает так быстро, как принято думать. V100 с 16 или 32 ГБ HBM2 всё ещё может быть полезной для локального запуска моделей, особенно если речь о нескольких картах, соединённых NVLink. Пропускная способность памяти остаётся критичным фактором, а архитектура Volta, хоть и не поддерживает некоторые новомодные фичи вроде FP8, всё ещё справляется с FP16 и INT8.

Для энтузиастов локального AI это хорошая новость. Б/у V100 можно найти по относительно доступным ценам, а производительность на ватт или рубль может оказаться выгоднее, чем у современных потребительских карт. Особенно если задача - inference, а не обучение.

Конечно, есть нюансы: поддержка драйверов, совместимость с новыми фреймворками, отсутствие тензорных ядер нового поколения. Но если бюджет ограничен, а хочется запускать что-то серьёзнее 7B-моделей, V100 остаётся вариантом. Девять лет - солидный срок для GPU. И, похоже, списывать его рано.