Лип-Бу Тан, генеральный директор Intel, выступил на ежегодной конференции Computex в Тайване. Его заявление было сделано за сутки до выступления генерального директора NVIDIA Дженсена Хуанга, что подчеркнуло нарастающее соперничество между двумя технологическими гигантами.

Отношения компаний прошли путь от недавнего «медового месяца», когда NVIDIA инвестировала 5 миллиардов долларов в Intel для интеграции её центральных процессоров (CPU) в свои ИИ-серверы, до возвращения к жесткой конкуренции, напоминающей борьбу 90-х годов. За последний год обе компании обнаружили, что центральные процессоры, традиционно управляющие задачами ПК и серверов, крайне эффективны для обработки задач искусственного интеллекта. Для Intel это стало шансом на возрождение флагманской линейки Xeon, а для NVIDIA — расширением влияния через процессоры Grace, которые теперь интегрируются в новые графические системы Blackwell.

Рост спроса на CPU способствовал восстановлению Intel, чьи продажи серверных процессоров выросли на 22%. В то же время NVIDIA продемонстрировала рост выручки на 85% в годовом исчислении при валовой рентабельности в 75%. Дженсен Хуанг заявил, что NVIDIA стала крупнейшим в мире производителем центральных процессоров, а новые чипы Vera, по его словам, превосходят конкурентов по производительности в 1,8 раза.

Переворот на рынке домашних компьютеров

На конференции Computex Хуанг представил процессор Vera, предназначенный не только для серверов, но и для персональных компьютеров. Этот шаг, реализованный в партнерстве с Microsoft, знаменует выход NVIDIA на традиционное поле Intel, которая удерживает около 70% рынка процессоров для ПК. Хуанг представил концепцию «домашнего суперкомпьютера», способного автономно управлять ИИ-агентами, отметив, что в будущем такие устройства станут привычным элементом быта.

Параллельно Intel выпустила Xeon 6 — продвинутую версию своего бестселлера, оптимизированную для обработки ИИ в серверных фермах. Ажиотаж вокруг CPU объясняется тем, что многие задачи искусственного интеллекта могут выполняться на центральных процессорах эффективнее и дешевле, чем на специализированных графических ускорителях.

Хуанг пояснил: «Агенты ИИ заменяют программное обеспечение. Они изучают данные, делают выводы и используют инструменты, для чего им чаще всего требуется центральный процессор — для управления задачами, обеспечения безопасности и взаимодействия между компонентами системы».

Больше, чем просто запуск

Маор Фридман, эксперт в области системной архитектуры, отмечает, что компании пытаются пересмотреть границы между CPU и GPU. Intel стремится сделать графические возможности интегральной частью своей экосистемы, тогда как NVIDIA превращает процессор в компонент более широкой вычислительной платформы, основанной на GPU и ИИ.

«Запуск серии Intel Core Ultra Series 3 — это стратегическое заявление», — считает Фридман. «Intel показывает, что сложные рабочие нагрузки в ПК можно обрабатывать внутри единой системы, снижая зависимость рынка от независимых видеокарт». NVIDIA же, опираясь на экосистему CUDA и партнерство с Microsoft, ставит программное обеспечение ИИ в центр вычислений, объединяя процессор, графику и память в единую интеллектуальную среду.

От обучения моделей к их запуску

Конфликт компаний сосредоточен на контроле над слоями абстракции программного обеспечения и оборудования. Решающим фактором станет то, чья платформа станет стандартом для разработчиков и пользователей.

«Intel и NVIDIA остаются партнерами в дата-центрах, конкурируя при этом в сегменте ПК», — говорит Лотан Лебкович, управляющий партнер Grove Ventures. «Игра переходит от обучения моделей к их фактическому запуску. В серверных фермах узким местом является память, а в персональном компьютере — близость к пользователю. Ценность распределяется между этими полюсами, и в обоих секторах будут построены крупнейшие компании ближайших лет».

*** Полное раскрытие информации: автор является гостем TAITRA — организации по продвижению внешней торговли Тайваня, которая стоит за компьютерной конференцией Computex.

Перевод с иврита

ИСТОЧНИК

Количество ядер, их архитектура и частота — три ключевые характеристики центрального процессора. Но не менее важную роль играет еще одна: кэш. Это быстрая память небольшого объема, расположенная на кристалле рядом с вычислительными ядрами. Для чего нужен кэш? Как он работает, на что влияет и как устроен внутри?

Немного истории: память в вычислительных системах

Компьютеры, ноутбуки, планшеты, смартфоны и даже миниатюрные смарт-часы — все эти устройства представляют собой разновидности вычислительных систем. В основе работы любой из них два ключевых компонента: подсистема памяти, в которой находятся данные для расчетов, и процессор, который эти расчеты производит.

На заре появления вычислительные системы состояли из простых пар «процессор — память». Сначала код полностью загружался в память с помощью тумблеров, штекерной панели или перфокарт, и лишь затем процессор начинал считывать его оттуда и выполнять команды. Результаты вычислений выводились либо на панель с индикаторами, либо с помощью «дедушек» современных принтеров — телетайпов, перфораторов или алфавитно-цифровых печатающих устройств.

В конце 70-х годов прошлого века место ранее используемых ртутных, механических и магнитных видов памяти окончательно заняла полупроводниковая. Перфокарты и перфоленты уступили место кассетам с магнитной лентой, а еще через несколько лет — флоппи-дискам. Тогда вычислительные системы наконец обрели близкий к современным формат работы: устройство постоянной памяти (накопитель) — оперативная память (ОЗУ) — процессор.

Типы оперативной и постоянной памяти с тех пор не раз менялись, но общий принцип работы вычислений оставался прежним. Упрощенно его можно представить так:

• Программа загружается из постоянной памяти в оперативную.

• Процессор считывает данные из оперативной памяти и выполняет над ними вычисления.

• Результаты вычислений возвращаются в оперативную память.

• Программа использует результаты для передачи на устройство вывода (экран/динамики/принтер), либо для записи обратно в постоянную память.

Частоты ЦП в то время росли не по дням, а по часам. Уже к середине 80-х процессоры стали работать заметно быстрее, чем микросхемы оперативной памяти. Из-за этого все чаще возникали ситуации, которые сегодня называют боттлнеком: во многих задачах ЦП приходилось ждать загрузки из ОЗУ и пропускать рабочие такты, теряя заметную часть производительности.

Решением этой проблемы стало внедрение кэша: очень быстрой памяти малого объема, служащей буфером данных между процессором и оперативкой. В x86-процессорах кэш впервые появился в 1987 году у модели Intel 80386, с тех пор став стандартным элементом практически любой вычислительной системы.

Как работает кэш

Про кэш часто говорят, что «это та же оперативная память, только в разы быстрее и намного меньше по объему». Отчасти это и правда так, ведь кэш выполняет работу, которая до его появления была исключительно делом ОЗУ — максимально быстро передавать процессору данные, необходимые для расчетов.

Однако на деле принципы работы кэша и оперативки заметно отличаются. ОЗУ заполняется только теми данными, которые запрашивают выполняемые программы. Контролирует этот процесс операционная система — то есть, в данном случае управление памятью полностью программное.

Если бы кэш-память можно было бы сделать размером с оперативную, то последняя оказалась не нужна бы вовсе. Но ОЗУ у современных систем исчисляется гигабайтами, а кэш — мегабайтами. Разница в объеме между ними составляет порядка тысячи раз, и подобное положение сохраняется уже четвертое десятилетие.

Но как же кэш при столь малом объеме помогает ЦП получать быстрый доступ к данным выполняемых программ? Дело в том, что такая память намного «умнее». Вместо того, чтобы загружать только используемую в данный момент информацию, кэш заполняется данными на основе:

• Принципа временной локальности. Когда процессор делает запрос к определенному адресу в ОЗУ, то он с большой вероятностью будет обращаться к нему снова. Для таких случаев кэш продолжает сохранять ранее запрошенные данные.

• Принципа пространственной локальности. Если процессор делает запрос к определенному байту памяти, то он наверняка будет обращаться и к информации в соседних байтах. Поэтому в кэш загружается не один запрашиваемый байт, а целая кэш-линия, обычно 64 байта.

• Работы Prefetchers. Это аппаратные блоки предвыборки данных, занимающиеся поиском зависимостей в коде (Instruction Prefetchers) и данных (Data Prefetchers). Когда они «видят», что программа запрашивает информацию в определенной последовательности, то начинают загружать эту последовательность в кэш заранее — еще до того, как эти данные понадобятся процессору.

После того, как кэш заполнился, в дело вступают алгоритмы вытеснения данных. Они решают, какую информацию еще нужно держать в кэше, а какую можно удалить, освободив место для новой. За их работу отвечают:

• Контроллер кэша. Хранит и сверяет теги, указывающие на соответствие данных в кэше адресам из ОЗУ.

• Блок замещения. Следит за «возрастом» данных в строках кэша, чтобы при поступлении новой информации заменить ей самую старую.

• Буфер обратной записи. Вступает в дело после блока замещения: сохраняет старую информацию до тех пор, пока она не будет записана в кэш уровнем ниже или оперативную память.

• Агент когерентности. Когда одно ядро ЦП изменяет определенную информацию в ОЗУ, то кэши других ядер продолжают хранить ее старые версии. Этот блок отслеживает изменения в кэшах, помечая старые данные недействительными и организуя загрузку их актуальных версий.

Чтобы отслеживать устаревание данных одновременно во всем массиве кэша и при этом обеспечивать запись новой информации в любую его точку, требуется очень сложная логика. Для решения этой проблемы с конца 80-х годов и по сегодняшний день в процессорах используется множественно-ассоциативный кэш (Set-Associative Cache).

При таком подходе набор адресов оперативной памяти привязывается к нескольким ячейкам кэша (в современных ЦП — от 8 до 20). Когда поступает команда на запись из привязанного адреса, алгоритмы вытесняют информацию из одной ячейки набора, не затрагивая остальные. Это позволяет эффективно избавляться от старых данных, сохраняя актуальную информацию в кэше без необходимости постоянно «гонять» ее из ОЗУ.

За счет слаженной работы вышеописанных алгоритмов и блоков кэш способен предварительно загрузить в себя до 99 % данных, необходимых для расчетов. Это избавляет вычислительный конвейер процессора от простоя, вызванного ожиданием информации из оперативной памяти.

Вдобавок к аппаратным методам управления содержимым кэша существуют также программные. Если разработчик ПО видит, что его код при «самодеятельности» процессора не очень эффективно использует кэш или забивает его ненужными данными, он может использовать:

• Команды предвыборки. «Советуют» процессору подтянуть выбранные данные из ОЗУ в кэш заранее.

• Команды потоковой записи. Заставляют ЦП записывать данные напрямую в оперативную память, минуя кэш.

• Команды обслуживания. Позволяют сбрасывать содержимое кэша частично или полностью.

Устройство иерархии кэшей

Единственный кэш пробыл у процессоров недолго. В 1989 году в Intel 80486 дебютировала система кэширования с двумя уровнями (L1 и L2). А четыре года спустя в Intel Pentium кэш первого уровня для более эффективной работы был поделен на две независимые части — для инструкций (L1 Instruction) и для данных (L1 Data).

С развитием многоядерности в 2007-2008 годах в ЦП появился кэш третьего уровня (L3). В отличие от прочих уровней, он стал общим хранилищем для всех процессорных ядер и помог им обмениваться данными друг с другом без помощи оперативной памяти. А последним появился кэш микроопераций (L0): им оснащены все Intel Сore (со второго поколения) и AMD Ryzen.

К сегодняшнему дню иерархия кэшей у современных процессоров приняла следующий вид:

• Кэш L0. Хранит очередь микроопераций, декодированных ядром из инструкций.

• Кэш L1I. Используется для инструкций, которым предстоит пройти декодирование.

• Кэш L1D. Хранит данные: числа, указатели, логические значения.

• Кэш L2. Общий уровень для данных и инструкций каждого ядра.

• Кэш L3. Общий уровень для данных и инструкций всех ядер.

Чем выше уровень кэша, тем быстрее он работает. Но чем быстрее ячейки кэш-памяти, тем сложнее их разводка, выше энергопотребление и нагрев. Если сделать L1 размером с L3, то он будет потреблять огромное количество энергии и перегревать ядра даже в простых задачах. Поэтому система кэширования сочетает несколько уровней разного объема, задержка доступа к которым заметно различается. У современных ЦП это:

• L0: без задержки или 1 такт, 4000-6000 микроопераций (на ядро),

• L1 (I+D): 4-5 тактов, 64-112 кБ (на ядро),

• L2: 8-16 тактов, 0.5-3 МБ (на ядро),

• L3: 40-55 тактов, 12-192 МБ (общий для всех ядер).

В зависимости от архитектуры процессора, разные уровни могут иметь отличающуюся организацию кэш-памяти:

• Инклюзивную. Кэш хранит в себе полную копию информации, которая есть в верхних уровнях. При таком подходе тратится меньше времени на поиск данных между ядрами, но из-за дубликатов не весь объем кэша используется эффективно.

• Эксклюзивную. Данные могут находиться только на одном уровне кэша, что позволяет максимально эффективно использовать его объем. Но если одному ядру нужны данные, лежащие в кэше другого, то приходится обновлять информацию на всех уровнях иерархии — это вызывает дополнительную задержку.

• Нестрого инклюзивную. Сочетает преимущества двух вышеописанных организаций. Здесь данные могут дублироваться на нижних уровнях кэша, но только в том случае, если так «решили» его алгоритмы работы.

Принцип работы кэша схож при любой организации: когда запускаются вычисления, процессор начинает искать нужную информацию в L0/L1. При неудаче («промах») отправляется запрос в L2, а если ее и там не нашлось — то в L3. В случае, когда нужных данных нет ни на одном уровне кэша, процессору приходится запрашивать их из оперативной памяти. С современной DDR4 и DDR5 такой запрос обходится потерей от 250 до 450 тактов: это в 5-10 раз больше, чем доступ к самому «медленному» L3.

Технологии расширения кэш-памяти

На заре появления микросхемы кэша располагались либо на материнской плате, либо в картридже процессора. Но к 2000 году и Intel, и AMD интегрировали оба уровня кэш-памяти внутрь кристаллов своих ЦП, наконец избавив кэш от роли внешнего элемента.

С тех пор объемы кэшей понемногу росли. Однако главным препятствием к их резкому увеличению все также оставалась сложность SRAM-памяти, требующей много транзисторного бюджета. Создавать процессор, где более половины кристалла занял бы кэш, в 2000-е годы было трудно. Но даже когда такая возможность появилась, проектировать нишевый чип никто не хотел, ведь вместо огромного кэша на той же площади можно было разместить больше вычислительных ядер.

Для решения данной задачи проще всего было вернуться к корням кэша: многочиповой компоновке. Впервые на это в 2013 году решилась компания Intel. Тогда она оснастила свои мобильные Core четвертого поколения дополнительным кристаллом eDRAM объемом 128 МБ. Он работал заметно медленнее L3 и поэтому играл роль общего кэша следующего, четвертого уровня (L4).

Благодаря огромному объему чип eDRAM позволял процессорам тех лет практически не обращаться в ОЗУ напрямую, за счет чего их конвейер не простаивал даже в самых сложных ситуациях. Но память eDRAM была дорога, поэтому так и не стала массовой: в топовых мобильных Intel она изредка встречалась вплоть до восьмого поколения Core, а в десктопе и вовсе появилась только в двух моделях пятого поколения.

В 2022 году схожую идею впервые реализовала компания AMD. Но она выбрала другой путь: вместо добавления относительно медленного чипа L4 «приклеивать» поверх процессорного чиплета быстрый кристалл c дополнительным объемом L3. Эта технология получила название 3D V-Cache.

Объем кэша: когда и почему становится решающим

В отличие от ОЗУ, кэш является высоко интегрированной памятью. Скорость и ассоциативность кэша подбираются на этапе проектирования процессорной архитектуры так, чтобы при ограниченном транзисторном бюджете максимально выгодно устранить ее «узкие» места. Поэтому сравнивать эти параметры напрямую у ЦП разных поколений не имеет смысла.

Гораздо более универсальная характеристика, на которую стоит обращать внимание при выборе ЦП — это общий объем кэша. Хотя из-за отличающейся компоновки процессоров Intel и AMD используют разные подходы к формированию его уровней («синие» — упор на объем L2, «красные» — упор на объем L3), правило «больше — значит лучше» работает здесь почти всегда.

Почему? Все просто: чем объемнее кэши, тем больше в них «влезает» различных данных, которые могут понадобиться ЦП в следующий момент времени. Поэтому процент ситуаций, когда нужная информация оказалась в кэше («попадание») с ростом его объема становится более высоким. За счет этого процессор реже обращается за данными к медленной ОЗУ и, как следствие, меньше теряет свою скорость.

Впрочем, производительность ЦП зависит от объема кэша далеко не всегда. Прирост от его увеличения заметен лишь тогда, когда выполняемый код хаотичен — в играх, 3D-моделировании или инженерном ПО. И чем больше кэш, тем выше он будет. Например, трехкратное увеличение объема кэша у процессоров AMD Ryzen X3D способно дать им в подобных задачах от 10 до 50 % дополнительной скорости.

Но с относительно линейным и предсказуемым кодом современные ЦП не получают от большого кэша заметного буста. К таким ситуациям относится работа с 2D-графикой, рендеринг, монтаж и кодирование видео — в них прирост от увеличения кэша колеблется от 0 до 5 %. Поэтому для подобных сценариев на объем кэша можно не обращать внимания: в них куда важнее архитектура процессора, его тактовая частота и количество ядер.

P/S

Размышлизмы:

Сверхоперативная память процессора. Снижает потери времени на ожидание данных. Конвейер чаще работает и чем он быстрее, тем требовательнее к оперативной памяти. У актуального SRAM удельное быстродействие больше, чем у LPDDR5X, GDDR7 и даже HBM4. Обычный DRAM почти во всём значительно проигрывает.

Но его в сотни или тысячи раз больше. Пришлось пользоваться как посредником между кэшем и SSD или иной постоянной памятью. ПЗУ ещё медленнее, без системного ОЗУ простои будут слишком длительными и это ускорит их поломку. Больше ядер и частот - чаще обращается к кэшу. Больше кэша - меньше обращений к DDR.

Что до практики, много кэша позволяют частично забить на скорость обычной оперативной памяти и системных шин. Но SRAM дорогая, медленным CPU и GPU её добавляют по минимуму или нехватку компенсируют быстрым DRAM.

Обычно старшие APU самые требовательные до ОЗУ. С дискретной видеокартой проблема меньше выражена. И нельзя сравнивать разные архитектуры только по одному параметру. Смотрим комплексно, также долго тестируем большим набором задач.

Своими словами и подробнее, наглядно. Либо со смежными темами. Много кэша уместнее при непредсказуемом потоке вычислений. SRAM дорог и CPU с eDRAM, 3D V - cache или bLLC нужны немногим.

Не массовый продукт, для специфичных задач. Усреднённый оптимальный объём итак реализован в большинстве привычных моделей. Но если ажиотаж с DRAM продлится долго, то может появиться кэш L4. Особенно если DDR6 будет не так хороша, как ожидают.

L3 существовал в 2003 году. Pentium 4 EE сокета 478 на ядре Gallatin. Серверный кристалл Xeon с 2 мегабайтами кэша установили на настольный процессор. Но массовым кэш 3 уровня стал с 2007 года, начиная с линейки Phenom сокета АМ2+. Поначалу было мало и медленно, лучше сделали к 2010.

Упрощающее очеловечивание. SRAM это карлик - гигачад. DRAM это толпа депрессивных астеников. Суммарно последние перенесут намного больше вещей за раз. Но быстро устают, больше едят и каждое действие долгое. Первого уместнее поставить у станка, а не грузчиком назначить.

Израильская компания Majestic Lab, принадлежащая Оферу Шахаму (ранее занимавшему руководящие должности в Meta и Google) и его американским партнерам, впервые раскрывает технологию, лежащую в основе производства чипов. Вот как она преодолевает проблемы в секторе памяти, что позволит ее клиентам предоставлять более эффективные услуги в области искусственного интеллекта.

Компания Majestic Labs в последние месяцы считается одной из самых загадочных и интригующих компаний, работающих в Израиле. Она была основана командой бывших топ-менеджеров инженерных отделов Google и Meta и привлекла 100 миллионов долларов, обещая разработать сервер искусственного интеллекта, который превзойдет Nvidia по эффективности каждой операции обработки ИИ (цена за токен, или «токен»).

Генеральный директор Офер Шахам, основавший лабораторию по разработке чипов Meta по приглашению Марка Цукерберга, до 28 апреля не раскрывал, как компания будет конкурировать с Nvidia. В своем первом заявлении израильским СМИ Шахам объясняет, что стоит за созданием сервера, призванного решить одну из самых больших проблем серверов искусственного интеллекта таких компаний, как Nvidia и AMD, — острую нехватку памяти.

Офер Шахам и его соучредители — американцы Шах Рави и Масуми Рейндс — не удовлетворились разработкой нового графического процессора, а решили создать совершенно новый сервер под названием «Прометей», исходя из предположения, что именно с него начинается устранение узкого места в обработке данных для искусственного интеллекта.

Каждый сервер израильской компании оснащен микросхемами памяти, которые обеспечивают в 100 раз больший объем памяти, чем стандартный сервер NVIDIA с процессорами Blackwell (B200).

Благодаря структуре, позволяющей каждому процессору расширенный доступ к памяти, объем памяти, доступный процессорам Majestic Labs, составляет 128 терабайт, но архитектура сервера — способ подключения основных компонентов памяти к различным микросхемам — фактически обеспечивает в тысячу раз больший объем памяти, чем средний процессор NVIDIA Blackwell, объем которого оценивается всего примерно в 192 гигабайта.

Шахам не раскрывает, какой именно тип памяти используется, но признает, что это не тот тип памяти, который обычно применяется в процессорах Nvidia — высокоскоростная память (HBM).

По оценкам, компания закупает компоненты памяти у трех крупнейших производителей микросхем памяти: Micron, Samsung и SK Hynix.

Вместо графических процессоров Nvidia, Majestic Labs предлагает собственные процессоры под названием «Ignite», или сокращенно AIU. Они были разработаны на основе интеллектуальной собственности ARM, оригинальной разработки Majestic и открытой платформы RISC-5 (RISC-V), которая позволяет выполнять и планировать вычислительные операции искусственного интеллекта таким образом, чтобы они соответствовали требованиям различных компаний.

Поскольку контроль Nvidia проявляется не только в поставках графических процессоров, но и в контроле над операционной системой искусственного интеллекта CUDA, процессоры AIU были разработаны для того, чтобы позволить программистам ИИ разрабатывать приложения на таких языках, как PyTorch, язык разработки, принятый экспертами по ИИ в среде Nvidia, и на операционной системе Triton от OpenAI, которая стала главным конкурентом CUDA, несмотря на то, что Nvidia недавно стала одним из крупнейших спонсоров OpenAI.

По словам генерального директора, новая архитектура Majestic Labs устраняет необходимость в значительном приобретении коммуникационных процессоров — роль, которую ранее выполняли процессоры Mellanox в серверах Nvidia.

«Нам не нужна связь между процессорами, потому что она осуществляется через память, как это происходит в стандартных вычислениях — например, связь между ядрами в обычном процессоре Core», — говорит Шахам. «Необходимость в таком количестве коммуникационных чипов в серверной ферме возникла из-за небольшого объема памяти, выделенного каждому процессору Nvidia. Это заставляет процессоры взаимодействовать друг с другом».

«Именно поэтому, чтобы обеспечить стабильную работу одного сервера, Nvidia пришлось создать дорогостоящую гибридную машину — 72-процессорную серверную стойку с высокоскоростной связью между ними (премиальный сервер Nvidia под названием NVLink-AG), — но из-за неэффективности их работы они очень быстро достигают максимального объема памяти, который могут обрабатывать, и ждут поступления данных, а тем временем простаивают.

А с увеличением количества параметров периферийных моделей, выпускаемых такими компаниями, как Anthropic, OpenAI и Gemini, компании вынуждены приобретать все больше и больше серверов, чтобы обеспечить эту огромную вычислительную мощность»

«Модели с расширенными функциями, такие как от Gemini или GPT, с трудом справляются с памятью даже 10 графических процессоров, поэтому для их работы требуются целые серверные стойки с 72 процессорами Nvidia, которые, как считается, способны обрабатывать самые мощные модели».

«Однако Дженсен Хуанг недавно представил слайд, на котором видно, что даже в таком масштабе модели уже испытывают трудности с прохождением тестов, и что уже при 400 000 токенов (токены — базовая единица обработки ИИ-AG) наблюдается спад, не говоря уже о моделях с 5 триллионами параметров, которые будут запущены к концу года или началу следующего года».

«Необходимость встраивать такое количество графических процессоров для обработки этих моделей диктует экспоненциально растущее и нерациональное энергопотребление. Затем достигается предел памяти, известный в отрасли как «стена памяти», и процессоры половину времени простаивают, потребляя энергию и ожидая поступления данных. В результате получается небольшая отдача и растущее энергопотребление с каждым добавленным графическим чипом — дело не только в нехватке памяти, это просто архитектурная проблема в модели, в которой сегодня работает искусственный интеллект».

Значит ли это, что вы будете продавать серверы, которые будут дешевле, чем серверы Nvidia?

«Мы конкурируем не по цене за вычислительный блок, а по цене за результат — по стоимости за токен. Мы предлагаем «машину», способную производить в 10–50 раз больше «токенов» на мегаватт на каждый доллар, вложенный в строительство серверной фермы».

«У меня есть клиент, который сейчас строит серверную ферму с потребляемой мощностью 500 мегаватт. Он спрашивает меня не столько о стоимости сервера, сколько о том, сколько токенов он сможет продать за мегаватт, и я знаю, как предложить ему цену в 50 раз выше рыночной. Предложение более дешевого продукта в данном случае не обязательно является для нас устойчивой моделью, именно так начинается «гонка на выживание». У меня нет ценового преимущества перед Nvidia, потому что здесь также играет роль объем, и они могут поставлять большие объемы по низкой цене и предоставлять скидки. Мы же хотим продавать наш продукт с хорошей прибылью»

По словам Шахама, серверы и чипы Majestic созданы в первую очередь для вывода информации и работы агентов, а не для обучения моделей, хотя их можно адаптировать и для этих целей. Компания фокусируется на языковых моделях и нейронных сетях на основе графов или таблиц, и в меньшей степени на моделях изображений и видео.

Когда вы начнете продавать серверы и процессоры?

«Мы уже работаем с несколькими клиентами на этапе создания прототипов, но готовая продукция будет отправлена нашим первым клиентам в следующем году. Мы уже принимаем заказы и работаем с несколькими клиентами, чтобы лучше адаптировать наш продукт к их потребностям».

Компания, доказавшая своим клиентам, скорее всего, облачным гигантам, что она может повысить эффективность обработки моделей ИИ в 50 раз, — это звучит как очень привлекательный актив для таких компаний, как Nvidia или одного из облачных гигантов. Получали ли вы какие-либо предложения о приобретении?

«Недавно меня спросили: мы создаём продукт или продуктом является компания? Ответ прост: мы создаём продукт — я создавал такие продукты для Google, для Meta, первые процессоры для DARPA (Американского агентства перспективных оборонных исследований). Наша цель — создать продукт, способный решать проблемы целых отраслей».

«Конечно, на этом пути могут возникнуть непредвиденные обстоятельства, но наша цель — создать продукт, который понравится нашим клиентам — компаниям, создающим серверные фермы для обработки данных с использованием ИИ, — который улучшит их энергопотребление и, как следствие, позволит значительно сэкономить на энергозатратах, запланированных на долгосрочную перспективу.

Нам пришлось оставить работу в технологических гигантах, чтобы понять, в чем заключаются узкие места, и они возникли гораздо быстрее, чем мы предполагали. Когда мы основали компанию два с половиной года назад, мы говорили, что проблема с памятью станет самой большой головной болью в отрасли, сегодня она в десять раз хуже, чем мы думали на данном этапе».

Перевод с иврита

ИСТОЧНИК

ИСТОЧНИК

Результат, который меняет правила

В мае 2026 года китайский Национальный центр суперкомпьютинга (NSCC) в Шэньчжэне опубликовал данные, способные перекроить представление о вычислительной инфраструктуре для искусственного интеллекта. Суперкомпьютер LineShine показал 1,54 экзафлопс (BF16) при обучении ИИ-моделей — и он не использует ни одного GPU.

Полностью CPU-only архитектура на базе процессоров LX2 с архитектурой Armv9, предположительно разработанных Huawei, — это прямой ответ на американские санкции, запрещающие поставку передовых графических процессоров в Китай.

Подавляющее большинство ведущих суперкомпьютеров мира и AI-кластеров строится по гибридной схеме: CPU для оркестрации, GPU — для параллельных вычислений. Nvidia A100, H100 и их аналоги стали индустриальным стандартом. Но санкции 2019–2023 годов отрезали Китай от передовых чипов. Ответ оказался радикальным: вместо поиска GPU — масштабирование CPU до экзафлопсового уровня.

• Май 2019 Включение Huawei в Entity List — запрет на экспорт технологий США

• Октябрь 2022 Ограничения на GPU с производительностью >480 GFLOPS (INT8) — A100 и H100 запрещены в Китае

• Октябрь 2023 Расширение ограничений: даже «упрощённые» H20, L20, L40s под угрозой

• Май 2026 LineShine демонстрирует 1,54 EFLOPS — CPU-only, без GPU, без Nvidia

Ключевые характеристики

• Архитектура процессора: Armv9, 2 чиплета на LX2

• Ядра на процессор: 304 (8 кластеров × 38 ядер)

• Векторные/матричные расширения: SVE + SME (Scalable Matrix Extension)

• Поддерживаемые форматы: FP64, FP32, BF16, FP16, INT8HBM (в-package)32 ГБ, до 4 ТБ/с (4 HBM-домена на чиплет)

• Внешняя память: DDR5 (вне кристалла)до 256 ГБ NUMA-домены16 на процессор

• Интерконнект: LingQi (LQLink), 1,6 Тбит/с на узел

• Охлаждение: Жидкостное

Преимущества и недостатки CPU-only

Преимущества

• Нет передач данных CPU↔GPU — единое адресное пространство

• Огромные когерентные пулы памяти (HBM + DDR5)

• Естественная интеграция с традиционными HPC-задачами

• Независимость от CUDA и зарубежных акселераторов

• Идеально для workload со сложным control flow

• Поддержка RAG и длинных контекстных окон

Ниже энергоэффективность (TFLOPS/Watt) vs GPU

• FLOPS utilization ~15% (против 40 - 60% у GPU-кластеров)

• Огромная сложность масштабирования 40 960 процессоров

• Топологически-ориентированное размещение памяти

• Co-design ядер — дополнительная сложность Software/Hardware

• Ограниченная доступность процессоров Huawei

Ключевой вывод

LineShine не замена GPU-кластерам. Это доказательство концепции: при достаточном масштабе (2,4 млн ядер), продвинутой архитектуре (Armv9 + SVE + SME) и глубокой оптимизации стека процессоры могут стать жизнеспособной альтернативой для определённого класса AI-задач.

Китай не смог получить доступ к Nvidia и создал собственную экосистему. Вопрос не в том, лучше или хуже LineShine по сравнению с El Capitan. Вопрос в том, что теперь у Китая есть независимый путь к экpафлопсовым ИИ-вычислениям — и этот путь будет только расширяться.