5

Производительность систем хранения данных: зато свое-4

Для лиги лени: российские облака на таком же, как у всех,  Intel \ Micron \ KIOXIA inside теряют 90% производительности железа на «своих и опенсорс решениях».

На одном CEO-ресурсе вышла очередная реклама «зато свое». Интересны только цифры, цитата:

Локальные диски:
При SLA bs=4k, iodepth=16, randaccess, скорость чтения — 75 000 IOPS, скорость записи — 50 000 IOPS.
Ceph:
При идентичных условиях SLA Ceph обеспечивает скорость чтения на уровне 16 000 IOPS и скорость записи в 8000 IOPS.
High-IOPS:
При идентичных условиях SLA скорость чтения — 45 000 IOPS, скорость записи — 30 000 IOPS.

КАК? Как у них это получилось?
Вышедшие полтора года назад (Oct 17, 2023 диски Micron 7500 дают:
- Sequential 128KB READ: Up to 7000 MB/s ; - Sequential 128KB WRITE: Up to 5900 MB/s
- Random 4KB READ: Up to 1,100,000 IOPS; - Random 4KB WRITE: Up to 410,000 IOPS

Samsung:
Samsung 980 Pro SSD Random Write 4K QD32 Up to 1,000,000 IOPS
Samsung 990 PRO - while 4TB even higher random read speed of up to 1,600K IOPS.

Broadcom MegaRAID 9670W-16i RAID Card
4KB Random Reads (IOPs) - 7,006,027 ; 4KB Random Writes (IOPs) - 2,167,101
NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением
Xinnor xiRAID 4.1 уже дает 65 миллионов IOPS на чтение, и поддерживает HA.

Еще в 2017 году для Microsoft Ignite – Micron собрал кластер на почти миллион IOPS - Microsoft storage spaces direct is an IO performance beast.

Что Microsoft S2D, что Broadcom vSAN, что Nutanix – все они, на самом обычном железе, уже несколько лет выдают 5-10 миллионов IOPS.
СХД Huawei на том же самом железе от Intel выдает от 5 до 20 миллионов IOPS, в зависимости от модели.

С чем бы это еще сравнить? Azure managed disk types:
Azure Premium SSD v2 - 80,000 IOPS
Azure Ultra Disk  - 400,000 IOPS
И это с репликацией в соседний ЦОД, а не «без репликации».

Концовка.

Я не понимаю, как в российских облаках умудряются терять скорость локальных дисков с пары миллионов до пары десятков тысяч IOPS.На точно таком же железе, с тем же самым Intel Inside. Это же не рокет сайнс и не AI-accelerated cloud на чипах Ascend.
Точно так же не понимаю, как можно строить такие конструкции, где шансы получить кашу вместо данных значимо растут.
Может и понимаю. Осенью 2024 году баг «viostor Reset to device» из апреля 2022 – в российских облаках у коллег воспроизводился на отлично. Российская техподдержка только мычала «попробуйте включить и выключить».
И, какие они российские. Китайские или корейские сервера, американские Cisco и Arista в сети, и американская VMware Cloud Foundation – для тех, кому надо чтобы работало. Или то, что описано сверху – для всех остальных.
Колокол уже прозвонил, Broadcom уже объявил конец эпохи - Announcing the VMware Cloud Foundation 9.0 Beta Program. Еще год-два и российским облакам придется слезать с VCF 8, а на VCF 9 уже будет совсем другая цена, и лицензии.
Reminder: vSphere 7 to reach End of Service on Oct 2, 2025
VMware ESXi 8.0 will reach the end of general support on October 11, 2027

Лига Сисадминов

2.3K поста18.8K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

5
Автор поста оценил этот комментарий

На самом деле это офигенный rocket science - все эти диски видны по сети, все эти данные реплицируются (чтобы не было единой точки отказа), все данные квотируются (чтобы «шумный сосед» не сожрал чужие ресурсы и не свалил чужие тачки)

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

На самом деле это офигенный rocket science - все эти диски видны по сети,

Это все умел Windows Server 2003 Storage edition

показать ответы
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

https://ceph.io/en/news/blog/2024/ceph-a-journey-to-1tibps/

необнократно цитировал.

Nodes 68 x Dell PowerEdge R6615
NVMe10 x Dell 15.36TB Enterprise NVMe Read Intensive AG


и только при 32 рабочих нодах -
I split the cluster roughly in half, with 32 nodes (320 OSDs) in one half, and 31 client nodes running 10 FIO processes each in the other half. I watched as CBT built the cluster over roughly a 7-8 minute period. The initial write prefill looked really good. My heart soared. We were reading data at 635 GiB/s. We broke 15 million 4k random read IOPS.

7
Автор поста оценил этот комментарий

есть другое предположение - на какой глубине микрон намерял свои 1kk iops?)))...

Иллюстрация к комментарию
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

На весьма глубокой - там пдф по ссылке

Random READ workloads measured using FIO with a queue depth of 256

На кластере в 2017 году - на глубине 16

показать ответы
1
Автор поста оценил этот комментарий

Автор, а ссылочка на оригинальную статью где? А то у тебя явно есть проблема с выдергиванием циферок )


С чем бы это еще сравнить? Azure managed disk types:
Azure Premium SSD v2 - 80,000 IOPS
Azure Ultra Disk  - 400,000 IOPS
И это с репликацией в соседний ЦОД, а не «без репликации».

Ну подумаешь ещё 3 типа диска забыл указать. Почему забыл? Ну потому забыл )

Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

а ссылочка на оригинальную статью где?

то есть самостоятельно искать вы не хотите.

Проверять потом, вдруг ссылка ведет на какой-то конченый ресурс, давать ссылку на который я брезгую - тоже.

0
Автор поста оценил этот комментарий

в том, что относится к КИИ будут и поменяют. А если не поменяют, то им будет очень очень очень очень больно. И у вендоров АБС подгорает нехило и у них внезапно у всех есть дорожные карты по переезду с оракла и ибм на что-то более другое.

раскрыть ветку (1)
Автор поста оценил этот комментарий

в том, что относится к КИИ будут и поменяют.

Смешно. Ну замените тиберо на панголин

1
Автор поста оценил этот комментарий
Вы эксплуатировали инфраструктуру развернутую поверх нутаникс? Особенно что-то распределенное типо etcd, elasticsearch, Kafka? Особенно если нагрузка есть, лэйтанси вырастает до небес.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Особенно если нагрузка есть, лэйтанси вырастает до небес.

Тем не менее, выдает. все остальное - особенности эксплуатации

0
Автор поста оценил этот комментарий

увы, в приказном порядке смогут. хотел бы думать по иному.

ну и далеко не каждый хочет связываться с переплатой за непонятного происхождения и каналы...

а появление белого железа по более низкой цене чем текущая существенно подстегнет желание его купить. и примерно в этот момент россхд будут уделом тех, кто будет обязан покупать только их.

раскрыть ветку (1)
Автор поста оценил этот комментарий

увы, в приказном порядке смогут.

нет.

там серьезные деньги, и никто в банке не сможет поменять IBM + Oracle на постгре про или X86 + 18500 + Tibero на эльбрус. Да и менять не на что, нет эльбрусов физически

ну и далеко не каждый хочет связываться с переплатой за непонятного происхождения и каналы...

выбора нет. Если у тебя текущая нагрузка прямо требует такой производительности, тебе некуда уходить.

показать ответы
2
Автор поста оценил этот комментарий
Сразу заместить купленный объем сложно, но процесс уже идёт. Нужно уметь не только читать, но и думать. Понимаю, что это сложно.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Сразу заместить купленный объем сложно, но процесс уже идёт.

Раз вы не смогли прочитать с первого раза, повторю:
Наибольшей популярностью на госзакупках серверов в 2024 году пользовалось оборудование Dell, HPE, Huawei и Lenovo, в категории СХД — Huawei, IBM, Dell, HPE и Fujitsu

Ранее стало известно, что одна из структур Минпромторга закупит ИИ-серверы на 665 млн руб. По всей видимости, речь идёт о таких серверах, как NVIDIA HGX H200.


понятно, насколько вы далеки от реальности, если с первого раза не прочитали.

показать ответы
2
Автор поста оценил этот комментарий
Ааа так ты из секты "в россии все дибилы" ясно понятно.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Ааа так ты из секты

От вас ничего не утаишь. На то вы и генерал.

показать ответы
13
Автор поста оценил этот комментарий
А ты не сравниваешь жопу с пальцем выставляя с одной стороны показатели (более чем фантастические) для одного диска и диски в составе схд?

Ты вообще можешь сам себе логично объяснить падение показателей на 2 порядка?
Если только вся нутрянка СХД не написана на бейсике, то одна из черепашек пиздит.
раскрыть ветку (1)
Автор поста оценил этот комментарий

А ты не сравниваешь жопу с пальцем выставляя с одной стороны показатели (более чем фантастические) для одного диска и диски в составе схд?

Текст целиком читали? У СХД и SDS показатели на порядки выше, чем заявило кое-какое облако

Ты вообще можешь сам себе логично объяснить падение показателей на 2 порядка?

Могу.
Драйвер написан через жопу
Сетевой обмен такой же
SSD - древнее SATA (не SAS) говно
Настройки не оптимизированы нигде, а маркет-олуху забыли сказать, что такие цифры - это какой-то позор

показать ответы
3
Автор поста оценил этот комментарий
Ты не понимаешь , о чем пишешь. Я тебе ещё раз напишу, думать нужно над тем что ты читаешь. Печально, что у тебя не выходит.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Ты не понимаешь , о чем пишешь.

От вас ничего не утаишь. На то вы и генерал.

5
Автор поста оценил этот комментарий
Афтар на теме иопсов немного обосрался с маркетинговым буллшитом. Отсюда все его необоснованые сопли слюни. И даже когда основные вендоры тех же схд вернутся, покупать их железки будут единицы идиотов.
раскрыть ветку (1)
Автор поста оценил этот комментарий

И даже когда основные вендоры тех же схд вернутся, покупать их железки будут единицы идиотов.

Наибольшей популярностью на госзакупках серверов в 2024 году пользовалось оборудование Dell, HPE, Huawei и Lenovo, в категории СХД — Huawei, IBM, Dell, HPE и Fujitsu

Ранее стало известно, что одна из структур Минпромторга закупит ИИ-серверы на 665 млн руб. По всей видимости, речь идёт о таких серверах, как NVIDIA HGX H200.


понятно, насколько вы далеки от реальности.

показать ответы
Автор поста оценил этот комментарий

еще раз для малолетних дебилов, смотрящих на лужи, а не в учебник логики)

автор говорит о том, что гордость российского автопрома железостроения медленнее, чем один диск десятилетней давности. а ты тут приплетаешь яндекс с касперским. давай вот это говно поставим в сам яндекс, 100% заменив там все. ты же первый взвоешь, когда будешь стоять в очереди на скачку с яндекс диска, или что карты будут говорить повернуть налево, когда ты уже повернул, проехал километр и повернул направо.

если сфера для них сложная, то может не стоит показывать это говно публично, пока хотя бы миллион иопсов не наберется? тем более что купив железо в китае, можно, внезапно, там же и разработку ПО под это железо заказать (а то и готовое купить).

а, ну да. это ж тогда не пропихнешь как отечественное (хотя можно, припаяв диод к кнопке включения и криво переведя ГУИ). да и как же тогда бюджет пилить на разработке ПО 10 лет, до момента возвращения основных мировых вендоров обратно на рынок, когда весь этот цирк схлопнется, что признают все местные "производители" и разработчики.

раскрыть ветку (1)
Автор поста оценил этот комментарий

до момента возвращения основных мировых вендоров обратно на рынок, когда весь этот цирк схлопнется, что признают все местные "производители" и разработчики.

Ушли вендоры, а товары идут.

Никто не собирается, да и технологически не может перелезть с СХД нормальной производительности на глючное говно - везде, где речь про деньги.

показать ответы
7
Автор поста оценил этот комментарий
Nutanix не дает миллионы iops. Если это не чтение чего-то небольшого.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Nutanix не дает миллионы iops. Если это не чтение чего-то небольшого.

As with any major achievement there is a big team involved. This time is no different. Felipe helped me get a single Ubuntu VM on Nutanix NX9030 cluster up to 1M IOPS at 4KB. 100% Random Read. I ran a series to tests to make sure it could be sustained and then thought why can’t we do 8KB instead of 4KB. After more work with Felipe and some last minute tuning by Malcolm Crossly (Staff Engineer on AHV Team), we got to 1M IOPS at 8KB 100% random read and could sustain it for 24 hours. What was also impressive was that the latency was just 110 microseconds, or 0.11ms.

2017 Год

https://longwhiteclouds.com/2017/11/14/1-million-iops-in-1-v...

показать ответы
7
Автор поста оценил этот комментарий
И тебя не смущает наличие отечественных контрибуторов в проекты линуха, андроида и винды? Не смущает наличие свой поисковой системы которая временами обходит гугл? Своего мега крутого антивируса, лучшего в мире финтеха?
Уверен что это не ты "малолетний дибил" как говорит ДЮ?
раскрыть ветку (1)
Автор поста оценил этот комментарий

Не смущает наличие свой поисковой системы которая временами обходит гугл?

От вас ничего не утаишь. На то вы и генерал.

показать ответы
1
Автор поста оценил этот комментарий
Ceph.
раскрыть ветку (1)
Автор поста оценил этот комментарий

Ceph

Второй объект в первой цитате.

показать ответы
7
Автор поста оценил этот комментарий

так рейд при рандоме как бы тоже не ускоряет.

раскрыть ветку (1)
Автор поста оценил этот комментарий

так рейд при рандоме как бы тоже не ускоряет.

Ускоряет, чтение может идти с другого SSD. То есть не обязательно аппаратный рейд, можно любой софтовый.

Я сейчас допиливаю коекакерский текст про тесты 2025 сервера, там прям очень ускорили

2
Автор поста оценил этот комментарий
Я уже несколько статей этого персонажа прочитал и там везде написано, что в России всё абсолютно плохо. Почти поверил даже. )
раскрыть ветку (1)
Автор поста оценил этот комментарий

Я уже несколько статей этого персонажа прочитал и там везде написано,

night1983

Пикабушник 3 месяца 1 неделю 1 день


Три дня я гналась за вами, что бы сказать как вы мне безразличны

показать ответы
4
Автор поста оценил этот комментарий
Так я и ответил как. Сейчас бы сравнивать пиковую производительность одного нвме и хранилища хрен знает как построенного.
раскрыть ветку (1)
Автор поста оценил этот комментарий

и хранилища хрен знает как построенного.

Коекак. Зато с гордой рекламой на помойке

6
Автор поста оценил этот комментарий

так микрон тоже на очереди 16 - едва 100к делает...

раскрыть ветку (1)
Автор поста оценил этот комментарий

так микрон тоже на очереди 16 - едва 100к делает...

Так один микрон, а них сколько на недорейде?

показать ответы