Компьютер

HBM (память с высокой пропускной способностью) — это особый тип быстрой памяти, используемой в современных высокопроизводительных устройствах — видеокартах, AI ускорителях, DPU. За счет того, что HBM-память расположена на одной подложке с чипом GPU, она обеспечивает огромную скорость передачи данных.

История

HBM-память была разработана в 2013 году компанией AMD в сотрудничестве с Hynix и TSMC. Она предназначалась для использования в графических процессорах, предлагая гораздо большую пропускную способность по сравнению с традиционной DRAM. С тех пор последовательные поколения HBM многократно увеличили скорость передачи данных, с 128 Гбит/с в HBM1 до 819 Гбит/с в HBM3, что позволило современным GPU и другим высокопроизводительным устройствам получать значительные вычислительные возможности. HBM-память стала ключевым фактором развития суперкомпьютеров и передового оборудования для искусственного интеллекта.

Смысл HBM-памяти

Архитектурно HBM-память, в отличии от GDDR-памяти, встраивается непосредственно в чип GPU, а не вынесена за его пределы. Она построена на использовании вертикально расположенных слоев памяти и вместо традиционной горизонтальной компоновки, в HBM применяют несколько (обычно от 4 до 8) отдельных кристаллов памяти, размещенных друг на друге. Важно отметить, что это позволяет сократить расстояние между графическим процессором и VRAM, уменьшая задержки и увеличивая пропускную способность.
Кристаллы памяти соединены между собой высокоскоростными связями, позволяющими передавать данные с очень высокой скоростью и в большом объеме. В сочетании с высокой плотностью размещения ячеек памяти, это дает HBM колоссальную пропускную способность — до 819 Гбит/с на один чиплет.

Такая архитектура, с ее встроенной в GPU памятью, идеально подходит для высокопроизводительных устройств, таких как мощные видеокарты, ускорители ИИ и суперкомпьютеры, нуждающиеся в огромных вычислительных возможностях.

Ключевые отличия HBM от GDDR

Ключевые отличия HBM от традиционной GDDR-памяти заключаются в архитектуре:
1. Компоновка памяти:

• GDDR состоит из отдельных BGA чипов, распаянных на общем текстолите.

• В HBM чиплеты памяти распаяны на одной кремниевой подложке с GPU.

2. Способ подключения к процессору:

• GDDR соединяется с процессором через металлизированные дорожки в текстолите.

• HBM напрямую подключается к процессору через короткие межсоединения в рамках одной кремниевой подложки, сокращая расстояние.

3. Пропускная способность:

• GDDR уступает в скоростных показателях HBM-решениям.

• HBM за счет 3D-компоновки обеспечивает гораздо более высокую пропускную способность. Это связано с тем, что у HBM гораздо большая шина памяти, поскольку она состоит из множества параллельных каналов, что позволяет передавать большие объемы данных одновременно. Именно благодаря этой широкой шине памяти HBM обеспечивает выдающуюся производительность.

Таким образом, архитектура HBM позволяет добиться существенно более высокой производительности по сравнению с GDDR, что делает ее незаменимой для современных высокопроизводительных устройств.

HBM в ускорителях для обучения ИИ

HBM это действительно прорывная технология, без которой решение современных задач было бы невозможно. Так высокоскоростная память используется в таких продуктах, как Nvidia Tesla и AMD Radeon Instinct, предназначенных для обучения искусственного интеллекта и нейронных сетей. Связанно это с тем, что HBM память способна дать ни с чем не сравнимый уровень производительности, так необходимый для развития AI-технологий. Одним из флагманских продуктов является AMD Instinct MI300X оснащен 192GB HBM3 памяти с пропускной способностью в 5.2TB/s. Такие скоростные показатели важны для эффективного обучения искусственного интеллекта.

Преимущества HBM

Основные преимущества:

1. Высокая пропускная способность: HBM обеспечивает беспрецедентные скорости передачи данных, достигающие до 819 Гбит/с на один чиплет в последних поколениях. Это существенно превосходит возможности традиционной GDDR-памяти.

2. Низкие задержки: Благодаря короткому пути передачи данных, HBM демонстрирует очень низкую латентность доступа к памяти, что важно для высокопроизводительных приложений.

3. Энергоэффективность: HBM потребляет значительно меньше энергии по сравнению с GDDR-памятью, что важно для решений с ограниченным тепловым бюджетом.

4. Масштабируемость: поколения HBM постоянно эволюционируют, увеличивая объем доступной памяти и пропускную способность, обеспечивая высокую масштабируемость.

5. Надежность: специальная архитектура и технология производства HBM гарантируют повышенную надежность и стабильность работы. Также HBM имеет поддержку ECC — технологии аппаратного исправления ошибок.

Эти ключевые преимущества HBM-памяти в области производительности, энергоэффективности и компактности делают ее идеальным выбором для широкого спектра высокопроизводительных вычислительных систем, от графических ускорителей до суперкомпьютеров.

Недостатки HBM

Также у HBM-памяти есть ряд недостатков:

1. Высокая стоимость: HBM-модули являются более дорогими по сравнению с традиционной GDDR-памятью. Это связано со сложностью производства и упаковки 3D-чипов.

2. Сложность интеграции: интеграция HBM-памяти в системные решения является более сложной по сравнению с GDDR. Это требует специальной компоновки подложки кристалла GPU и более тщательной разводки сигналов.

3. Меньший ассортимент продуктов: в отличие от GDDR, ассортимент продуктов с HBM-памятью пока более ограничен, особенно для конечных потребителей.

4. Невозможность ремонта: из-за сложной 3D-компоновки, ремонт и замена вышедших из строя HBM-модулей невозможны — HBM нельзя выпаять, можно только заменить сам чип, а его цена составляет до 95% от стоимости ускорителя.

HBM на потребительском рынке

Не многие знают, что память HBM применялась в ряде десктопных графических адаптеров. Давайте совместно проследим за развитием сверхскоростной памяти на игровом рынке.

1. AMD Radeon R9 FURY — адаптер имел на борту 4Gb HBM памяти первого поколения. Память имела пропускную способность 512.0 GB/s, что в почти в 1,5 раза опережало показатели GDDR5 в 2015 году(GTX980ti - 336.6 GB/s).

2. AMD Radeon RX Vega 64 — ускоритель, дебютировавший в 2017 году на базе второго поколения сверхбыстрой памяти. 8GB HBM2 не могли похвастаться рекордными скоростями и ограничивались 483.8 GB/s. Отсутствие кратного роста производительности связано с применением лишь двух кристаллов HBM2, пока в R9 Fury использовалось 4. Тем не менее, эта планка производительности превосходила достижения конкурентов — GTX1080 могла похвастаться лишь 320.3 GB/s на базе GDDR5X памяти.

3. AMD Radeon VII — GPU с 16GB на базе четырех чиплетов HBM2 памяти предоставлял пропускную способность в 1.02 TB/s! На момент 2019 года ближайший конкурент в лице RTX 2080 Ti имел лишь ПП 616.0 GB/s — это еще раз доказывает превосходство HBM памяти над GDDR.

Период с 2015-2020 год можно смело назвать “экспериментом от AMD”. Красный гигант путем адаптации собственных профессиональных чипов для потребительского рынка пытался повысить серийность HBM, что должно было повлечь снижение стоимости конечных продуктов. Однако потребители не были готовы переплачивать за привычные объемы памяти, а игровые издатели не адаптировали релизы под производительную память. Эти факторы сделали HBM память в потребительском сегменте практически бессмысленной, в результате чего она была вытеснена с десктопного рынка. Наглядная разница строения чипов AMD с HBM памятью. Чип Fiji в R9 Fury имеет самые малые чиплеты HBM. Чип Vega 64 имеет два модуля HBM для оптимизации стоимости видеокарты. Radeon VII спроектирован без компромиссов, но в свою очередь имел стоимость в 700$ на старте продаж.

Таким образом, сочетание высокой пропускной способности, энергоэффективности и масштабируемости делает HBM ключевым компонентом в разработке высокопроизводительных систем для широкого спектра приложений, включая обработку графики, обучение нейронных сетей, научные вычисления и другие ресурсоемкие задачи. HBM позволяет достигать значительных улучшений в производительности и сокращать энергопотребление, что является критически важным для современных высокопроизводительных вычислительных систем.
Развитие HBM открывает перспективы значительного повышения производительности и энергоэффективности высокопроизводительных вычислительных систем.