5

Помощь в настройке СХД на пару с Blade-сервером

Доброго дня!


Товарищи, нужна Ваша помощь в настройке серверного оборудования, а именно подключение системы хранения данных к Blade-серверу. Сразу скажу - за последний месяц прочитано уже бесчисленное множество различных ресурсов, поэтому прошу помощи в "реальном времени".


К сожалению, ранее с подобным я не сталкивался, а задача ввода оборудования в работу поставлена. И возникает ку-у-уча вопросов.


Вводные данные:


На работе приобрели новую железку - систему хранения данных Fujitsu DX100 S4. Включает в себя 2 набора дисков - SSD и SAS, быстрый массив и медленный массив, соответственно. СХД имеет 8 Fiber Channel портов - по 4 на каждом из двух контроллеров (далее CM#X), разделенные на 2 группы (далее CA#X) по 2 порта (далее Port#X).

Приобреталось все это взамен неисправной СХД, которая давным давно выведена из работы по причине умерших дисков.
Работать новая СХД должна была в паре с Blade-сервером HP C3000, с тремя лезвиями на борту. На каждое установлен ESXI и на всем этом поднят кластер VMWare.

В данный сервер установлен SAN-свитч Brocade 8/12c, с четырьмя лицензированными портами Fiber Channel.


Что имеем:


1. SAN-свитч: Подключен двумя FC портами к двум контроллерам СХД (CM#0 и CM#1).


Зонирование выполнено следующим образом:

Первому HBA первого лезвия задан в соответствие первый порт СХД.

Первому HBA первого лезвия задан в соответствие второй порт СХД.

Второму HBA первого лезвия задан в соответствие первый порт СХД.

...

Второму HBA третьего лезвия задан в соответствие второй порт СХД.


Итого 12 зон. Соответствие задано по WWN. Всё собрано в единый конфиг на SAN-свитче.

Здесь возникает первый (1) вопрос - действительно ли стоит делать зонирование по WWN или нужно делать жестко по портам?


2. СХД:


а.) Имеет 2 раздела (SSD-volume и SAS-volume):

SSD собраны в RAID5, имеют размер 6.10 Тб.

SAS собраны в RAID10, имеют размер 8.00 Тб.

б.) Разделы собраны в группу из двух LUN и презентованы серверу следующим образом:

Пояснения по столбцам:

1. Host Group - названия групп портов HBA из столбца Host, соответствующих каждому из лезвий.

2. Host - HBA адаптеры каждого из лезвий.

3. CA Port Group - названия групп портов контроллеров СХД из вкладки CA Port.

4. CA Port - порты СХД, которые подключены к серверу, где CM#X - контроллер, CA#X - группа портов на контроллере, Port#X - порт каждой из групп. 
5. LUN Group - группа из LUN, которые необходимо презентовать Blade-серверу.

6. Host Response - режим работы хоста, работающий в режиме Active/Active (настройка проведена руками).


Здесь возникает второй (2) вопрос - корректно ли выполнять презентацию по отдельным лезвиям? Или можно было собрать всё в одну кучу?

3. VMware.

VMWare видит оба LUN.

Выглядит это следующим образом:

Каждый vmhba видит оба LUN в двойном количестве (...3e:20 и ...3e:30 - WWN адреса портов СХД). Установлен режим путей Round-Robin для каждого из LUN.


Возникает третий (3) вопрос - а правильно ли выполнена настройка VMWare?


И вот здесь мы приходим к следующему.

Проблема:


Ранее, в VMWare был выбран режим "Fixed". Какие пути были выбраны - данная информация, к сожалению, не сохранилась. Все работало корректно пару дней с парой легких виртуальных машин на борту (1 - Ubuntu, 2 - Windows 7). Вечером третьего дня запустил на СХД миграцию ВМ с Windows Server 2008 R2. Более никаких изменений в конфигурацию не вносилось.

На следующий день посыпались жалобы на то, что всё работающее на СХД тормозит.

При использовании утилиты esxtop с параметром 'd' (подключаясь по SSH на одно из лезвий), появлялись огромные значения DAVG, KAVG, GAVG и QAVG:

Режим был изменен на Round-Robin. Часть путей была отключена. Худо-бедно и спешке виртуальные машины были размигрированы с СХД.


В данный момент СХД как-то работает, но как - непонятно.

После уже месячных попыток настройки и чтения мануалов уже нет точного представления как всё это должно работать. 

Хотелось бы получить советы, каким образом нужно подойти к организации системы хранения данных вместе с Blade-сервером имея только один SAN-свитч.

Признателен любой помощи в выборе правильно подхода! Спасибо!

2
Автор поста оценил этот комментарий

И так-то ресурс развлекательный, и сисадминов мало, да и вообще они сюда деградировать пришли.

А с блейд-серверами, Fiber Channel и SSD на 6 ТБайт Вы тут совсем классовый враг. :-) Люди, вон, может софтрейд на mdadm из последнего говна и палок собирают.

Идите лучше с этим на тостер.ру, Вам там лучше помогут.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Плюс, на Тостер также отправился, спасибо.

1
Автор поста оценил этот комментарий

такое делают за бабки. так как это хлебушек для определенных специалистов.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Разумеется. Но интересует не установка под ключ, а помощь в понимании того, как всё должно работать

6
Автор поста оценил этот комментарий

Мне кажется, ты сюда полез не с проблемой, а похвастать дорогими железяками и умными словами.

У тебя узкоспециализированная ИТ задача, а ты ищешь помощи на ресурсе со смехуечками и пиздохаханьками.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Тоже плюс, но хвастаться нечем, к сожалению :(

0
Автор поста оценил этот комментарий

Пиши подскажем)

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Пишу :)

0
Автор поста оценил этот комментарий
Беги
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Не успел, приехали пожарные, ругаются.
Что делать?

показать ответы
1
Автор поста оценил этот комментарий

Мульти - любой вид мульти, хоть втупую отказоустойчивость. round-robin - один из них для паралеллизма.

FC - Fibre Channel. Правила у него SCSI - LUNы общаются.

Лимитить - чтобы не упираться в это, если проблема в FC контроллере в блейде - вот оно.

Как я уже сказал - думаю дело не в балансе даже, дело в том, что SSD слишком быстрые и FC адаптер идёт лесом при перегрузке канала, особенно когда ты на него ещё балансер и свитч накидываешь для ускорения. См. выше про 4 gbit и про 8gbit/port для модуля FC свитча. Проверяй загрузку портов и от этого пляши как уже писал - где узкое место.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Глупый вопрос - лимит задается на SAN-свитче?

показать ответы
1
Автор поста оценил этот комментарий

Тут в общем-то похер как делать, не тот масштаб чтобы заморачиваться, меня тут смущает только мультиFC, тут могут быть местные ньюансы которых я не знаю, далее же всё просто и легко, FC транспорт, там свои LUN, но правила всё того же SCSI. Задача найти косяк и выловить его. По мне у тебя просто на уровне абстракций ни контроллер не успевает, ни сам FC за массивом SSD, вот и всё. Лимитить - не вариант судя по всему. Менять карту - ну может покатит, но там разница в 8 раз, не уверен что хватит для SSD.

Проверка простая - не используй массив SSD, оставь как есть и заведи все VM для теста на массив HDD да прогони тесты стандартные хоть тупо кристаллом под vm винды, но лучше таки подетальнее iometer паком или fio обязательно на запись, презеты хоть ixbt, сдаётся мне - виснуть почти не будет.

Обратно - если не успевает массив - прихреначь вообще все блейды через один FC линк.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Так так так. Куча вопросов. Не так хорошо я все это еще знаю, опыта работы с FC вообще не много.
МультиFC - это Round-Robin?
FC-транспорт - что это?
Лимитить - на уровне чего? И для чего?
Если я правильно понимаю, то наоборот что-то чем-то занято или забивается.

показать ответы
0
Автор поста оценил этот комментарий
Режь красный
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Все загорелось, что дальше?

показать ответы
0
Автор поста оценил этот комментарий
Да хули там делать? меняешь порты местами, vga контроллер кидаешь через vfd плату главное когда будешь прописывать TFRREEE не забудь прописать GRWWWSSD иначе проблемы будут.
Не бблагодари
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

:D
Было бы все так просто

Так же проводочки еще всякие и др-др-др под крышкой

показать ответы
0
Автор поста оценил этот комментарий

Я нихера не понял по поводу а что хотелось то? Упирается оно явно в скорость SAN или FC vs массив SSD, окромя может частных косяков, но пересборка бы их убрала банально другой топологии. Судя по тому что есть и всё падает - у тебя упёрлось в 4gb FC на блейде, ибо HDD даже с большим QD и SAS оно тянет, а вот уже SSD далеко впереди по скорости, далее эффекты понятны, вопрос как это балансировать, там даже QD снижение не поможет.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Хочется понимания, как все должно работать, правильно ли все сделано или нет. А может и какой-то идеальный вариант, конечно же.
Как получается, что упирается всё даже не в скорость. Каким-то образом забивается канал. Чем именно - неизвестно. Вероятно, что-то где-то сделано не так. Так как ранее с СХД я не работал от слова совсем - в идеале хочется узнать, как оно всё должно работать.

показать ответы