Компания Cerebras создала уникальные “царь-чипы”, которые отличаются от обычных процессоров кардинально. Вместо множества маленьких кристаллов — один огромный чип размером почти с целую кремниевую пластину.

Современная версия WSE-3 содержит 4 триллиона транзисторов, сотни тысяч вычислительных ядер и десятки гигабайт сверхбыстрой памяти SRAM прямо внутри чипа. Это позволяет достигать невероятной скорости обмена данными — в десятки тысяч раз быстрее, чем у традиционных GPU.

Такие решения идеально подходят для обучения нейросетей и больших языковых моделей. Например, задачи, на которые раньше уходили недели или месяцы на кластерах GPU, теперь можно выполнить за считанные дни или даже часы.

Но есть нюанс: несмотря на колоссальную мощность, царь-чипы пока не вытеснили классические решения от NVIDIA. Почему так происходит? В этом видео разберём плюсы, минусы и реальное будущее гигантских процессоров.

Меня зовут Руслан Сенаторов, я занимаюсь математическим обоснованием машинного обучения.
В этой статье, я расскажу как выбрать метод для определённого типа датасета, чтобы ваш код работал быстро, точно и без ошибок? И вы получили премию от руководства!

Введение

Решение систем линейных уравнений (СЛАУ) вида Ax = b — фундаментальная задача вычислительной математики и машинного обучения. Однако универсального метода не существует — выбор алгоритма критически зависит от характеристик датасета. Неправильный выбор может привести к катастрофическому замедлению вычислений или полной потере точности.

Ключевые характеристики датасета

1. Размер и структура матрицы

• n_samples × n_features — соотношение наблюдений и признаков

• Плотность/разреженность — процент ненулевых элементов

• Обусловленность — число обусловленности матрицы

2. Вычислительные ограничения

• Объем оперативной памяти

• Требования к точности

• Время вычислений

Дерево решений для выбора метода

Маленькие датасеты (n < 1000)

Плотные хорошо обусловленные матрицы

Матрицы общего вида

Плохо обусловленные системы

***

Средние датасеты (1000 < n < 10,000)

"Высокие" матрицы (n_samples >> n_features)

"Широкие" матрицы (n_samples << n_features)

***

Большие датасеты (n > 10,000)
Разреженные матрицы

***

Огромные датасеты (n > 1,000,000)

Стохастические методы

Когда использовать нормальные уравнения?

"Высокие" матрицы (m >> n)

Детальный анализ методов

Точные методы (прямые)

Итерационные методы

SGD | Подходит для огромных данных | Медленная сходимость

Заключение

Выбор оптимального метода решения СЛАУ — это искусство баланса между точностью, скоростью и требованиями к памяти. Ключевые рекомендации:

• Маленькие матрицы → Прямые методы (QR/SVD)

• Большие разреженные → Специализированные разреженные решатели

• Огромные плотные → Итерационные методы с предобуславливанием

• Экстремальные размеры → Стохастическая оптимизация

Главное правило: Всегда начинайте с анализа структуры и свойств вашей матрицы — это сэкономит часы вычислений и предотвратит численные катастрофы.

Используйте это руководство как отправную точку для выбора оптимального стратегии решения ваших задач линейной алгебры.

Поддержка FP16 на X86 CPU

В PyTorch 2.6 добавлена поддержка FP16 (полуточности) для процессоров с архитектурой X86. Это означает, что теперь можно добиться более высокой производительности даже на CPU! ⚡️

Расширение возможностей torch.fx

Библиотека torch.fx получила обновления, которые позволяют более гибко работать с графами вычислений. Если вы вносите изменения в граф, не забудьте вызвать метод recompile() для обновления кода 🔄

Новые возможности для работы с моделями

Обновлены инструменты для загрузки и сохранения моделей через torch.load(). Теперь работа с тензорами стала ещё удобнее благодаря улучшенной обработке хранилищ данных 📂

🔗 Подробнее: PyTorch Blog (https://pytorch.org/blog/pytorch2-6/)

Есть базовая модель и версия Instruct, вы можете пробовать файнтюнить обе и смотреть, какой результат вам лучше подходит. Но если вы хотите взять готовую модель для инференса, то лучше конечно Instruct. Благодаря разнообразию размеров и форматов, Qwen может быть полезен для разных типов приложений - клиент-серверных, или десктопных, и даже на мобильных - вот как это выглядит:

Изображение взято из треда про адаптацию Квен под мобильные платформы:

Но по-настоящему Qwen 2.5 привлек внимание разработчиков, когда вышла коллекция Qwen 2.5 Coder. Бенчмарки показали, что 32 B версия этой модели может конкурировать с GPT-4o по написанию кода, а это очень интересно, притом что 32 миллиарда параметров вполне можно запустить на средней мощности видеокарте, и получить хорошую скорость генерации токенов.

Вообще какие приложения можно создавать с помощью новых моделей Qwen? Это конечно различные чатботы, но не только.

Разработчики говорят, что Qwen хорош для систем агентов.

Вот что написал недавно в Reddit один из них:

Я длительное время использовал кастомный Chain-of-thoughts фреймворк с GPT-4, затем 4o.

Сегодня я развернул Qwen 2.5 14B и обнаружил, что его возможности вызова функций, Chain of Thoughts и следования инструкциям фантастические. Я бы даже сказал, лучше чем GPT 4/4o - для моих задач, во всяком случае

Кажется интересным не только то, что разработчик получил такую высокую производительность для сложных задач, требующих продвинутой логики, на  открытой LLM. Интересно и то, что для этого ему потребовались сравнительно небольшие мощности — ведь речь идёт о квантованной 14B модели:

Я использую одну видеокарту A40 для надёжности системы и высокой скорости генерации. Я выполнил установку через Ollama, взяв дефолтный квантованный Qwen 2.5 14B. A40 нужна для более высокой скорости, но я могу представить, что вам подойдёт и намного меньшая видеокарта для ваших задач

Мне нравится идея разработки агентских систем с помощью открытой модели на 14B параметров, для работы которой достаточно экономичной видеокарты A40 или даже менее мощной модели.

Агенты, вспомним, это GenAI приложения которые могут оперировать компьютером пользователя, взаимодействовать с другими программными компонентами. Для этого очень важна способность интегрироваться с разными API, вызов функций и логическое мышление модели.

По поводу логического мышления, традиционный подход — это Chain of Thoughts, особая стратегия промптинга. Она побуждает LLM строить пошаговые рассуждения, более эффективные для решения задачи и самовалидации решения на каждом шаге. Некоторые модели специально обучены для работы с таким промптом, например, GPT-4o1. Непонятно, обучали ли Qwen строить цепочки мыслей, но, как видим, разработчики указывают на высокую производительность модели в этом отношении.