13

Нужен совет

Приветствую, старшие братья по разуму.

В тему администрирования полез недавно, менее года назад, в рамках хобби.
В итоге из желания "сделать что бы фоточки не просрались, если труба окирпичится" это переросло в нечто большее (immich, облако, smtp, пригоршня сайтов, сервер диспетчеризации и куча мелочевки, живущие на proxmox кластере за OPNsense и ASA5510).
Но тут становится вопрос организации стойки.
Хочется сделать эргономично и удобно, поэтому все шнурки с устройств не стоечного исполнения и серверов вывел на патч-панели, до этого всё было соединено соплями из плоского 6e кабеля с заводским обжимом.
Т.к. обжать многопроволочный плоский кабель я нормально не могу, выводил шнурком 5e, вроде всё разведено нормально, но пошли большие потери скорости.
Между серверами был стабильный гигабит, теперь один из серверов сам ограничил скорость до 100 мегабит, а на нём лежат все бэкапы и процесс резервного копирования стал невыносимо мучительным.
Переобжим патчкорда и смена слотов в патч-панели нифига не помогли.
Грешу еще на то что патч-панели без вывода под экран, но у шнурков 6e на разъемах тоже экрана не было.
Вся витуха проложена на максимальном отдалении от силовых кабелей.

Собственно сами вопросы:
1. Спасет ли перепрокладка с UTP 5e на S/FTP 5e ?
2. Можно ли мэнеджмент порты оставить на UTP ?
3. Можно ли вывести экраны S/FTP и заземлить их на стойку или это не сильно умный вариант?

Пока этот бомж-IT выглядит вот так:

Нижние патч-панели для декора, закрывают полку с увеличенными аккумами для ИБП.

Нижние патч-панели для декора, закрывают полку с увеличенными аккумами для ИБП.

Ввод реализован через archer 1500, с него на гигабитный свич на котором висят серверы и ПК стоящий в этой же стойке и с которого производятся все манипуляции с серверами.
На другом выходе висит умный свич, через который раздаётся интернет на второй этаж и wifi на mesh.
Все менджмент порты объединены на второй роутер, отрезанный от всех сетей, к которому, при необходимости, подключаюсь по воздуху.
На фото не все перемычки, т.к. делалось давно, от желтых вообще избавился, т.к. кабель оказался хуже некуда.

Один из симптомов, почему грешу на новый кабель, это то, что умный свич при тесте показывает длину кабеля на второй этаж +/- правильную, а длину кабеля до роутера даже не может определить, хотя там всего около 2м.

Да, надо плюнуть на всё и поднять между серверами 10G сетку, но так как это хобби, я не готов вкладываться в приобретение трёх 10G сетевух, но позже к этому обязательно вернусь (:
И снова да, коллег у которых можно это спросить, не пугая вас своей тупостью и древним железом, увы, нет. Посему, извините.

Лига Сисадминов

2.4K пост18.9K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

Вы смотрите срез комментариев. Показать все
5
Автор поста оценил этот комментарий
Возьмите где-нибудь нормальный кабельный тестер и посмотрите, что у Вас с кабелями. А так можно гадать до посинения, порт ли дохнет на коммутаторе, сетевуха в серваке или пара битая где-то...

Ну и для бомж-айти стойка с патч-панелями это прям хорошо))
раскрыть ветку (8)
1
Автор поста оценил этот комментарий

О.. еще раз перечитывая ваш комментарий, уткнулся в слова "порт дохнет на коммутаторе".. а ведь порт на гигабитном свиче я не менял.
Благодарю, как минимум одна зацепка уже появилась.

раскрыть ветку (5)
1
Автор поста оценил этот комментарий
Ну вот, уже лучше.
И совет на будущее - рисуйте схему сети, иначе через полгода забудете "где, куда и нафига". Да и сейчас из Вашего поста не очень понятно, кто на ком стоял, со схемой было бы проще.

ЗЫ. Интересно, оно у Вас где-то в нежилом помещении, наверное? 1U воет же, как боинг на взлете, да и ASA ни разу не тихая железка...
раскрыть ветку (4)
0
Автор поста оценил этот комментарий

Рисовал, в visual paradigm, но всё равно что-то коряво выходит.
Сейчас DrawIO и MindMap в облако установил, надо будет перерисовать более адекватно.

Иллюстрация к комментарию
раскрыть ветку (3)
1
Автор поста оценил этот комментарий
Что-нибудь прояснилось у Вас?

Ну и по поводу Вашей схемы - это не очень-то схема, ну или совсем не схема, уж простите. Будет время, гляньте плейлист ребят - https://youtube.com/playlist?list=PLcDkQ2Au8aVPmWZ2vXcby73Tl...
раскрыть ветку (2)
0
Автор поста оценил этот комментарий

По поводу "не очень-то схема, ну или совсем не схема" я даже не спорю.
Я писал в посте, что сети не мой профиль, я в это всё сунулся в рамках хобби, но есть непреодолимое желание, так сказать, прокачать скилл (:

Схему развития я, для себя, наметил примерно такую:
1. Заставить это всё работать, хоть как-то
2. Заставить это всё работать стабильно
3. Настроить резервное копирование
4. Защита данных
5. Мониторинг сети, процессов и парметров. //текущий момент
6. Единый вход во все сервисы для каждого пользователя.
7. Полная переустановка и подъем всех сервисов заново, с учетом всех ошибок и интеграцией п5 и п6.

8. пункт со звёздочкой. Перенести все сервисы на первй сервер, данные виртуалок на третий сервер и настроить High Availability с использованием второго сервера как резервного. ПК заставить следить за кворумом в кластере.

____
За плейлист отдельная благодарность. Изучу.

Пока не прояснилось, вчера руки не дошли до этого.
Как эрзац решение - бросил шнурок в обход патч-панели.
Возникла мысль, в виду отсутствия умного гигабитного свича с возможностью port aggregation, и наличия трех сетевух на сервере с бэкапами и двух сетевух на каждом сервере, добавить отдельную линию, без коммутатора, между всеми тремя серверами.

0
Автор поста оценил этот комментарий

Всё осталось так же непонятным. Но вероятнее всего дело всё-таки в кабеле.

При попытке выполнить
sudo ethtool -s ens1f0 speed 1000 duplex full autoneg off
Proxmox подвисает и выходит из этого состояния только после ребута, причем для ухода в такое состояние хватает не только поменять скорость, но и отключить автосогласование скорости (на текущий момент автосогласование включено).

Порты коммутатора менял, разъем на стороне сервера переобжал, порт в патч-панели менял, патчкорд на морде стойки тоже менял, прозванивал от RJ патчкорда, до RJ сервера, звонится отлично и мультиметром и тестером.

Но при включении напрямую, в обход кабеля лежащего в пучке (временно использовал хвост от второй сетевухи), гигабит нормально завёлся.
Может брак какой-то заводской попался, может просто факинг мэджик.

[upd] на новом шнурке изменение конфигов сетевухи не вызывает никаких проблем.

0
Автор поста оценил этот комментарий

Обычный тестер показывает что всё ОК, а для профессионального нужны товарищи сисадмины, коих у меня нет.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Тестер кажет физику, но обломы/недожатость и прочее не покажет.

Посему - использовать самодельные патчи не совсем кошерно (хотя и заводские бывают убитые)

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку