Захомячил NAS не привлекая внимания санитаров
Поставил перед собой задачу: сделать по-настоящему быстрое файлохранилище для временных файлов при обучении нейросетей: как сами модели (промежуточные чек-поинты), так и данные для обучения. При этом мне нужны как NFS (для пингвинов с видеокартами), так и SMB (закидывать данные для обучения с основного компа и смотреть как там идут дела - подгружать промежуточные чек-поинты и смотреть, что обучение движется в нужном направлении).
Построение быстрой сети - это отдельная тема. Кстати, не так дорого: на буржуйских маркетплейсах есть куча предложений по адекватной (~$150) цене с Mellanox CX414, 416 и иже с ними (40Гбит карты), которые простой перепрошивкой можно убедить в том, что на самом деле они 100Гбит/с.
После перепрошивки эта карта спокойно работает на 100Гбит/сек вопреки сказанному на наклейке.
Некоторое время я с вожделением смотрел на QNAP TBS-h574TX. Но во-первых дороговато, а во-вторых традиционная сеть у него 10Гбит, при том, что для поставленной задачи имеющиеся там два Thunderbolt порта совсем не нужны. Ну и вообще мне не понятно: у этой модели сетевые способности явно сильно хуже, чем то, что способны выдать поставленные в нее накопители.
Пришлось идти своим путем. Была взята плата MSI Pro B860M-A: у нее при mATX форм-факторе есть 3 слота под M2 SSD и 4 PCI-E слота: один х16 под видео, два х1 и один х4. В качестве процессора я поставил Core Ultra 235.
Совсем как Эллочка-Людоедочка конкурировала с миллионершей, я заселил плату пятью SSD Kingston 4TB NV3. Три штуки зашли в предусмотренные производителем разъемы, еще два я поставил в имеющиеся PCI-E x1 слоты через китайский переходник. Теперь по объему я совсем-совсем способен конкурировать с QNAP h574!
Вместо видео в слоте х16 поселилась сетевая карта, перепрошитая на 100Гбит/с.
А оставшийся слот х4 и место в корпусе под CD-ROM заняло бодрое комбо от китайских товарищей: оказывается, китайская промышленность производит "заглушку" в отсек 5.25" с шестью местами под SATA SSD 2.5"! На случай если мне понадобится побольше места, слот PCI-E x4 занял SATA адаптер на 6 портов подключенный к панели на 6 SSD.
В результате система выглядит так:
Для загрузки этой радости я подключил SATA SSD на 250Гб к порту на самой плате. И радостно установил TrueNAS.
Пять дисков объединены в RAIDZ1. Из них трое получают полные PCIE x4 и способны выдать свои примерно 4ГБ/сек (вроде Kingston NV3 способен примерно на это), а два диска ограничены пропускной способностью шины и упираются в лимит 2ГБ/сек. Тем не менее, тесты производительности радуют: 6.7ГБ/сек на запись и 9.3ГБ/сек на чтение:
Сеть тоже работает как задумано. Сервер подключен к 100Гбит порту на Mikrotik CRS510, клиент был подключен к тому же свичу через Breakout Cable: 100Гбит делятся на два "хвоста" по 50Гбит, каждый для отдельного компа.
