Опыт установки и настройки локальной LLM с видеокартой Arc B580
Искусственный интеллект занимает все бОльшую часть нашей жизни. Но что если не хочется передавать свои данные, мысли и прочую личную информацию неизвестно куда? Тогда на помощь нам приходит вариант локального разворачивания большой языковой модели. Но тут уже сталкиваемся с той проблемой, что запуск моделей на ЦП довольно медленный, а видеокарты все дорожают.
Благо компания Intel не сидит на месте и выпускает все более производительные с каждым поколением видеокарты. Представляю вашему вниманию Arc B580. У него 12ГБ памяти, что сравнимо с RTX 3060, RTX 5070 или же Radeon RX 7700 XT. Цена же у нее чуть менее 30к, что просто ниже всех вышеперечисленных карт! А производительность, спросите вы? А давайте и сравним.
Опытные пользователи уже провели исследование по картам Nvidia, используя llama.cpp и модель Llama 2 7B и получили следующие результаты (по 7700 XT, увы, результатов не было):
RTX 5060 Ti тут для сравнения влияния количества памяти на скорость и как представитель более бюджетной модели, нежели 5070
Установив окольными путями билд llama.cpp с поддержкой карт Intel, провел тот же бенчмаркинг и результаты немного удивили. А именно:
Что же тогда получается? Выходит, что последняя "революционная" по соотношению цена/качество карта выдает мощность на уровне карты конкурента на 3 года старше! Но при этом и стоит чуть дешевле на текущий момент. Возможно, следующее поколение карт будет уже полноценной конкуренцией для остальных двух гигантов.
Выводы же следующие: Буду ли я ей пользоваться и дальше для LLM? Да, мне такой скорости хватает. Нужна ли она обывателю, который только открывает для себя LLM, OLLAMA и прочие модели? ПОКА ЧТО - нет. По простой причине, что на данный момент нужно очень сильно изощряться, чтобы запустить модели на видеокартах именно этой фирмы. Для прочих nvidia же можно просто в 2 клика скачать среду и нужную модель и иметь удобный графический интерфейс, а не использовать командную строку. С другой же стороны, стоимость карты довольно низка по сравнению с другими, чтобы пойти на такой шаг.
В целом, ожидаю официальной поддержки этой карты в ollama, чтобы сделать из нее еще более полноценный повседневный инструмент, а также использовать в связке с другими видеокартами для еще большей производительности.
Получилось довольно сумбурно, но всегда рад ответить на вопросы или провести дополнительные эксперименты.
