azer317

Что же у нас получается:

1) энкодеры используются для тех моделей, для которых они существуют (были скачаны из стандартного репозитория

2) изображения генерируются дольше, так как используется 100 шагов очистки

3) 4B вариант модели Flux2 Klein отрабатывает в разы быстрее своего 9В аналога (120-160s против 4585s). Вызвано оно тем, что энкодер для 9В варианта, внезапно, имеет вес больше, чем возможность моей локальной карты (аж 15ГБ).

4) как не странно, чуть ли не все модели смогли в стиль аниме. Претензии только к Juggernaut, но и у него есть свой шарм.

Далее, непосредственно результаты:

1)  Скорость генерации изображения

2) Стиль генерации (если не указан явным образом в промпте)

3) Соответствие сгенерированного изображения запрошенному

В итоге после первого промпта получилась следующая таблица. Для остальных двух запросов не стал вписывать скорость, так как в целом пропорции схожие.

Сами же изображения будут ниже, но сразу же выделю, что абсолютным победителем по всем 3 параметрам проверки оказался Flux.2. То есть, это та самая модель, которая может выдать наиболее близкое к запросу изображение и при этом качество тоже будет на высоте.

Если же нужен более простой стиль (иногда размытый), то Z-Image явно наш друг.

В остальном, другие модели умеют рисовать, но инструкции не всегда соблюдены. Например, нет кракена для запроса номер 2 или же отсутствуют машины в запросе номер 3.

Установив окольными путями билд llama.cpp с поддержкой карт Intel, провел тот же бенчмаркинг и результаты немного удивили. А именно:

Что же тогда получается? Выходит, что последняя "революционная" по соотношению цена/качество карта выдает мощность на уровне карты конкурента на 3 года старше! Но при этом и стоит чуть дешевле на текущий момент. Возможно, следующее поколение карт будет уже полноценной конкуренцией для остальных двух гигантов.

Выводы же следующие: Буду ли я ей пользоваться и дальше для LLM? Да, мне такой скорости хватает. Нужна ли она обывателю, который только открывает для себя LLM, OLLAMA и прочие модели? ПОКА ЧТО - нет. По простой причине, что на данный момент нужно очень сильно изощряться, чтобы запустить модели на видеокартах именно этой фирмы. Для прочих nvidia же можно просто в 2 клика скачать среду и нужную модель и иметь удобный графический интерфейс, а не использовать командную строку. С другой же стороны, стоимость карты довольно низка по сравнению с другими, чтобы пойти на такой шаг.

В целом, ожидаю официальной поддержки этой карты в ollama, чтобы сделать из нее еще более полноценный повседневный инструмент, а также использовать в связке с другими видеокартами для еще большей производительности.

Получилось довольно сумбурно, но всегда рад ответить на вопросы или провести дополнительные эксперименты.