13

Нужен совет

Приветствую, старшие братья по разуму.

В тему администрирования полез недавно, менее года назад, в рамках хобби.
В итоге из желания "сделать что бы фоточки не просрались, если труба окирпичится" это переросло в нечто большее (immich, облако, smtp, пригоршня сайтов, сервер диспетчеризации и куча мелочевки, живущие на proxmox кластере за OPNsense и ASA5510).
Но тут становится вопрос организации стойки.
Хочется сделать эргономично и удобно, поэтому все шнурки с устройств не стоечного исполнения и серверов вывел на патч-панели, до этого всё было соединено соплями из плоского 6e кабеля с заводским обжимом.
Т.к. обжать многопроволочный плоский кабель я нормально не могу, выводил шнурком 5e, вроде всё разведено нормально, но пошли большие потери скорости.
Между серверами был стабильный гигабит, теперь один из серверов сам ограничил скорость до 100 мегабит, а на нём лежат все бэкапы и процесс резервного копирования стал невыносимо мучительным.
Переобжим патчкорда и смена слотов в патч-панели нифига не помогли.
Грешу еще на то что патч-панели без вывода под экран, но у шнурков 6e на разъемах тоже экрана не было.
Вся витуха проложена на максимальном отдалении от силовых кабелей.

Собственно сами вопросы:
1. Спасет ли перепрокладка с UTP 5e на S/FTP 5e ?
2. Можно ли мэнеджмент порты оставить на UTP ?
3. Можно ли вывести экраны S/FTP и заземлить их на стойку или это не сильно умный вариант?

Пока этот бомж-IT выглядит вот так:

Нижние патч-панели для декора, закрывают полку с увеличенными аккумами для ИБП.

Нижние патч-панели для декора, закрывают полку с увеличенными аккумами для ИБП.

Ввод реализован через archer 1500, с него на гигабитный свич на котором висят серверы и ПК стоящий в этой же стойке и с которого производятся все манипуляции с серверами.
На другом выходе висит умный свич, через который раздаётся интернет на второй этаж и wifi на mesh.
Все менджмент порты объединены на второй роутер, отрезанный от всех сетей, к которому, при необходимости, подключаюсь по воздуху.
На фото не все перемычки, т.к. делалось давно, от желтых вообще избавился, т.к. кабель оказался хуже некуда.

Один из симптомов, почему грешу на новый кабель, это то, что умный свич при тесте показывает длину кабеля на второй этаж +/- правильную, а длину кабеля до роутера даже не может определить, хотя там всего около 2м.

Да, надо плюнуть на всё и поднять между серверами 10G сетку, но так как это хобби, я не готов вкладываться в приобретение трёх 10G сетевух, но позже к этому обязательно вернусь (:
И снова да, коллег у которых можно это спросить, не пугая вас своей тупостью и древним железом, увы, нет. Посему, извините.

Лига Сисадминов

2.4K пост18.9K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

1
Автор поста оценил этот комментарий

я у себя в шкаф дома купил панель под кейстоуны, купил ворох 5м патчкордов кат6, обрезал с одной стороны, нацепил кейстоун, а с другой стороны оставил коннектор, который идет в оборудование в шкафу. ну и коротким патчкордом из панели в свич все залинковано. +в панель приходит витуха от розеток по дому. все провода заводские, проблем нет


сделайте сеть в минимуме без лишних звеньев, т.е. сервер свич. так проверите что порты работают нормально на ожидаемой скорости. дальше по одному переключайте через панель. методом исключения найдете.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

В итоге:
Поменял основные шнурки на резанные пополам 5м патчкорды cat.6 и всё завелось на честном гигабите.

Осталось найти дешевый управляемый гигабитный коммутатор на 9 дырок, с функцией link aggregation, что бы можно было поднять скорость до 2 гигабит.
В дальнейшем, конечно, надо переезжать на новые сетевухи и DAC.

5
Автор поста оценил этот комментарий
Возьмите где-нибудь нормальный кабельный тестер и посмотрите, что у Вас с кабелями. А так можно гадать до посинения, порт ли дохнет на коммутаторе, сетевуха в серваке или пара битая где-то...

Ну и для бомж-айти стойка с патч-панелями это прям хорошо))
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

О.. еще раз перечитывая ваш комментарий, уткнулся в слова "порт дохнет на коммутаторе".. а ведь порт на гигабитном свиче я не менял.
Благодарю, как минимум одна зацепка уже появилась.

показать ответы
1
Автор поста оценил этот комментарий

Между серверами был стабильный гигабит, теперь один из серверов сам ограничил скорость до 100 мегабит, а на нём лежат все бэкапы и процесс резервного копирования стал невыносимо мучительным.

Переобжим патчкорда и смена слотов в патч-панели нифига не помогли.

Или драйвера или модуль SFP умер.

Ставишь скорость на фиксированную 1g и смотришь.

По проводам:

Кабель 5 категории работает с частотой до 100 МГц, это гигабит.

5e - до 200 (иногда), это 2.5G

6 - до 250 МГц, это 10G.

Поэтому если у тебя гигабит, то тебе хоть 5, хоть 6.

Минимальная длина ограничена 50 см только из соображений тестирования.

Это в оптике критичен угол поворота, из-за специфики кабеля.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

В итоге:
Поменял основные шнурки на резанные пополам 5м патчкорды cat.6 и всё завелось на честном гигабите.

До этого, при попытке выполнить
sudo ethtool -s ens1f0 speed 1000 duplex full autoneg off
Proxmox подвисает и выходит из этого состояния только после ребута, причем для ухода в такое состояние хватает не только поменять скорость, но и отключить автосогласование скорости (на текущий момент автосогласование включено).

Порты коммутатора менял, разъем на стороне сервера переобжал, порт в патч-панели менял, патчкорд на морде стойки тоже менял, прозванивал от RJ патчкорда, до RJ сервера, звонится отлично и мультиметром и тестером.

Но при включении напрямую, в обход кабеля лежащего в пучке (временно использовал хвост от второй сетевухи), гигабит нормально завёлся.
Может брак какой-то заводской попался, может просто факинг мэджик.

На новом шнурке изменение конфигов сетевухи не вызывает никаких проблем.

1
Автор поста оценил этот комментарий

А никто не подумал про хреново расшитую патч-панель, в которой все сходится?

Что я делаю не так, что у меня гигабит спокойно бегает и по 5е и по 6ftp?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

По итогу, видимо попался какой-то брак в самом кабеле.
Т.к. временно переключил на шнурок от второй, не использующейся, сетевухи этого же сервера, лежащий в том же пучке кабелей и.. правильно, всё нормально завелось.
Сейчас поменял все основные шнурки на резанные пополам заводские 5м патчкорды cat.6, всё работает отлично.

1
Автор поста оценил этот комментарий
Что-нибудь прояснилось у Вас?

Ну и по поводу Вашей схемы - это не очень-то схема, ну или совсем не схема, уж простите. Будет время, гляньте плейлист ребят - https://youtube.com/playlist?list=PLcDkQ2Au8aVPmWZ2vXcby73Tl...
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Всё осталось так же непонятным. Но вероятнее всего дело всё-таки в кабеле.

При попытке выполнить
sudo ethtool -s ens1f0 speed 1000 duplex full autoneg off
Proxmox подвисает и выходит из этого состояния только после ребута, причем для ухода в такое состояние хватает не только поменять скорость, но и отключить автосогласование скорости (на текущий момент автосогласование включено).

Порты коммутатора менял, разъем на стороне сервера переобжал, порт в патч-панели менял, патчкорд на морде стойки тоже менял, прозванивал от RJ патчкорда, до RJ сервера, звонится отлично и мультиметром и тестером.

Но при включении напрямую, в обход кабеля лежащего в пучке (временно использовал хвост от второй сетевухи), гигабит нормально завёлся.
Может брак какой-то заводской попался, может просто факинг мэджик.

[upd] на новом шнурке изменение конфигов сетевухи не вызывает никаких проблем.

0
Автор поста оценил этот комментарий

Пока всё зашторено полотном из фильтрующей ткани G4, но хотелось бы что-то менее колхозное.

Воздухомойка разве что на выходе , и замкнутый цикл. И то, под вопросом.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Эхх, видимо надо всё же искать шкаф и ставить нормальный фильтр на входе.
Т.к. серверная в мастерской, приходится всё останавливать на чистку раз в два-три месяца.
На водяное охлаждение я не готов переходить, что бы стойку в дом перенести, хотя наработки по этой теме есть, но смущает что всё равно жесткие диски и сетевухи охлаждать только воздухом получится, а это шумно. Ну, или ставить в канал подачи воздуха кондишку, но это так же выводит мероприятие за рамки разумных финансовых и трудовых вложений.

1
Автор поста оценил этот комментарий

и возможностью вытащить сервер не залезая в "попу стойки" для отключения всех шнурков от него.

Для этого ставят рукав

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ух.. о рукавах, если мы об одном и том же - складывающихся держателях кабеля, я вообще мечтаю, но увы это нифига не в бюджете.

1
Автор поста оценил этот комментарий
Что-нибудь прояснилось у Вас?

Ну и по поводу Вашей схемы - это не очень-то схема, ну или совсем не схема, уж простите. Будет время, гляньте плейлист ребят - https://youtube.com/playlist?list=PLcDkQ2Au8aVPmWZ2vXcby73Tl...
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

По поводу "не очень-то схема, ну или совсем не схема" я даже не спорю.
Я писал в посте, что сети не мой профиль, я в это всё сунулся в рамках хобби, но есть непреодолимое желание, так сказать, прокачать скилл (:

Схему развития я, для себя, наметил примерно такую:
1. Заставить это всё работать, хоть как-то
2. Заставить это всё работать стабильно
3. Настроить резервное копирование
4. Защита данных
5. Мониторинг сети, процессов и парметров. //текущий момент
6. Единый вход во все сервисы для каждого пользователя.
7. Полная переустановка и подъем всех сервисов заново, с учетом всех ошибок и интеграцией п5 и п6.

8. пункт со звёздочкой. Перенести все сервисы на первй сервер, данные виртуалок на третий сервер и настроить High Availability с использованием второго сервера как резервного. ПК заставить следить за кворумом в кластере.

____
За плейлист отдельная благодарность. Изучу.

Пока не прояснилось, вчера руки не дошли до этого.
Как эрзац решение - бросил шнурок в обход патч-панели.
Возникла мысль, в виду отсутствия умного гигабитного свича с возможностью port aggregation, и наличия трех сетевух на сервере с бэкапами и двух сетевух на каждом сервере, добавить отдельную линию, без коммутатора, между всеми тремя серверами.

1
Автор поста оценил этот комментарий

А никто не подумал про хреново расшитую патч-панель, в которой все сходится?

Что я делаю не так, что у меня гигабит спокойно бегает и по 5е и по 6ftp?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Так в том-то и дело, я перекидывал на другой вход патч-панели, не помогло.

1
Автор поста оценил этот комментарий

Блин, я половину слов из поста не понял, но у меня вот такой.

Иллюстрация к комментарию
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я так понимаю что от моего он отличается только измерением длины кабеля. И более удобным определением правильности раскладки.

3
Автор поста оценил этот комментарий

Я, похоже, еще древнее того мужика. Минимальная длина была справедлива для коаксиального кабеля, не помню уже какая была. Для витой пары она тоже есть, но это суммарная длина между свичом и активным устройством. Патч панель не активна же. А формально по стандарту IEEE мин. длина для Cat 5 1 метр.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Тут еще смотря какая коаксиалка, видимо, т.к. в тех же роутерах внешние антенны коаксиалкой выведены, а там совсем короткие отрезки.
Я хоть и застал времена интернета по коаксиалу, но в построении сетей на нём не учавствовал.

2
Автор поста оценил этот комментарий
Чего-то теряешь? Воткни по бырому заводской патч на 1.2, проверь скорость, длину тестером и прочее. А потом назад огрызок верни.
делов на 20 минут, вошли и вышли.
ну и да, попробуй замерять длину огрызка тестером, покажет ли он чего?
мой флюк отказывался мерять меньше 30 см.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Сами огрызки нормальные, менял их местами, скорость в других местах не резалась.
Я скорее грешу на пучок витухи от патч-панелей к устройствам.
Но странно что режет скорость только на одном устройстве.
Может как-то в косе всё так совпало, что наведёнка только на этот кабель влияет =)

3
Автор поста оценил этот комментарий

на 99% уверен что дело в патчкордах, точнее в проводной части сети

1 в стойке используем исключительно заводские литые патчкорды. если он сломался то выбрасываем и берем новый. кат5е пропустит через себя гигабит, но разница в цене с кат6 мизерная, поэтому берем кат6.

2 меняем свич на другой чтобы проверить что дело в проводах. целиком. если на новом также фигово то...

3 убираем из уравнения патч панели, т.е. подключаем все напрямую в свич

4 надеюсь у вас там не штормит в сети)


и забудьте про обжимку. это ремонтная вещь. никто ее при строительстве сети не использует - витуха заканчивается или розеткой или портом панели. в розетку или порт втыкается нормальный заводской патчкорд. я за 15 лет наверное 100 коннекторов не обжал.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Благодарю.
Учту эти моменты.
Видимо надо будет закупаться патчкордами.

показать ответы
2
Автор поста оценил этот комментарий
Я уже давно это дело забросил, а когда занимался, то наставником был мужик, которому топологию "звезда" пришлось внедрять заместо "кольца", древний вообщем, как фекалия мамонта...
так, о чем это я?
А, да! Так вот этот самый наставник утверждал и доказывал и показывал на осциллографе, что патч-корды не могут быть короче полуметра(0.5, ага..), так как это противоречит самой концепции витой пары. Не успевают там биты-байты по нормальному завиться )))
а судя по вашим фото у вас там патчи сантиметров по 10-15.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Самое эпичное о чем я слышал, а потом и видел своими глазами - старая гвардия, которая перед обжимом зачищали витуху и лудили обжимаемые жилы.

показать ответы
2
Автор поста оценил этот комментарий
Я уже давно это дело забросил, а когда занимался, то наставником был мужик, которому топологию "звезда" пришлось внедрять заместо "кольца", древний вообщем, как фекалия мамонта...
так, о чем это я?
А, да! Так вот этот самый наставник утверждал и доказывал и показывал на осциллографе, что патч-корды не могут быть короче полуметра(0.5, ага..), так как это противоречит самой концепции витой пары. Не успевают там биты-байты по нормальному завиться )))
а судя по вашим фото у вас там патчи сантиметров по 10-15.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Может это он с электронной пучшкой перепутал? Может там электроны по нарезам закручиваться должны? =)
Всё, надо ставить кабельный органайзер между патч-панелями и по метру витухи укладывать.
Эхх, гуляла когда-то байка о том как сисоп рассказал пользователю, что провода от клавиатуры и мышки должны лежать ровно или под углами 90 градусов и как юзер это исполнял.

показать ответы
1
Автор поста оценил этот комментарий
Ну вот, уже лучше.
И совет на будущее - рисуйте схему сети, иначе через полгода забудете "где, куда и нафига". Да и сейчас из Вашего поста не очень понятно, кто на ком стоял, со схемой было бы проще.

ЗЫ. Интересно, оно у Вас где-то в нежилом помещении, наверное? 1U воет же, как боинг на взлете, да и ASA ни разу не тихая железка...
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Рисовал, в visual paradigm, но всё равно что-то коряво выходит.
Сейчас DrawIO и MindMap в облако установил, надо будет перерисовать более адекватно.

Иллюстрация к комментарию
показать ответы
1
Автор поста оценил этот комментарий

А звонится хорошо ?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Мультиметром не пробовал, но на вот таком отлично звонится, без слабого зажигания диодов.
Этот момент самому был интересен, пообжимал, посли покупки тестера, с неправильной раскладкой и с неполным вводом кабеля в штекер. Хоть посмотрел как вживую выглядят ошибки на тестере, а не в мануале.

Иллюстрация к комментарию
показать ответы
5
Автор поста оценил этот комментарий
Возьмите где-нибудь нормальный кабельный тестер и посмотрите, что у Вас с кабелями. А так можно гадать до посинения, порт ли дохнет на коммутаторе, сетевуха в серваке или пара битая где-то...

Ну и для бомж-айти стойка с патч-панелями это прям хорошо))
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Обычный тестер показывает что всё ОК, а для профессионального нужны товарищи сисадмины, коих у меня нет.

показать ответы
2
Автор поста оценил этот комментарий

Ну тогда надо последовательно заменять звенья цепи. Скорее всего шнурок, либо обжим, либо сам.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Все патчкорды обжимал самостоятельно, на других проблем нет.
На этом сервере и шнурок переобжимал и ячейку в патч-панели менял, всё равно выше сотки не даёт.
Грешу именно на помехи в жгуте кабелей.
А так как в стойку метров 50 шнурка смело улетит, вот и решил проконсультироваться что бы деньги зря не выбрасывать.
Да и нудно очень S/FTP обжимать, не хочется это впустую делать.

показать ответы
2
Автор поста оценил этот комментарий

А если соединить два нужных объекта просто шнурком, брошенным временно соплёй, безо всяких промежуточных патч панелей и роутеров ? Чисто для теста.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Так отлично работает, но хочется "по-взрослому" с нормальной коммутацией на морде стойки и возможностью вытащить сервер не залезая в "попу стойки" для отключения всех шнурков от него.

показать ответы
0
Автор поста оценил этот комментарий

Я не плачу, это дощь.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Все с чего-то начинали.
8 месяцев назад для меня неразрешимой задачей было порты на роутере прокинуть ))
Нужна помощь в настройке сети

0
Автор поста оценил этот комментарий
Тут лигу сис админов нужно вызывать
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я, вроде, в неё и запостил (:

1
Автор поста оценил этот комментарий

я у себя в шкаф дома купил панель под кейстоуны, купил ворох 5м патчкордов кат6, обрезал с одной стороны, нацепил кейстоун, а с другой стороны оставил коннектор, который идет в оборудование в шкафу. ну и коротким патчкордом из панели в свич все залинковано. +в панель приходит витуха от розеток по дому. все провода заводские, проблем нет


сделайте сеть в минимуме без лишних звеньев, т.е. сервер свич. так проверите что порты работают нормально на ожидаемой скорости. дальше по одному переключайте через панель. методом исключения найдете.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Направление для экспериментов понял (:

Мысль с длинными заводскими патчкордами — вообще огонь.

Розетки по дому я не тянул, там всё по воздуху работает.

Автор поста оценил этот комментарий

Да, если кто-то добрый подскажет какой-нибудь концепт по системам фильтрации фоздуха для серверных стоек, кроме серверного шкафа =), буду премного благодарен.
Пока всё зашторено полотном из фильтрующей ткани G4, но хотелось бы что-то менее колхозное.

показать ответы