alagopus

коль пошла такая пьянка, ловите мои:

1. Н-надеждность! ЦОД довольно крупной компании, довольно много серверов на 16-32 процессоров (в доисторические времена одноядерных процов это было огого). мы устанавливаем какую-то мелочь, два сервера по 8 процов каждый. нам строго-настрого запретили даже дышать в сторону "крупняка". все чин-чинарем: стойка, питание слева-справа по карманам, LAN/SAN по оптике. электрикам дали письменное задание провести две независимые линии питания с подключением к выделенным автоматам. перед сдачей проверяем по списку и отправляем электрика выключать одного из автоматов с целью проверки бесперебойности питания. через минуту телефон разрывается и руководитель отдела больших серверов грозит небесными карами, обвиняя, что мы их вырубили. оправдания "ничего не трогали, вон они до сих пор гудят как вылетающий самолет" наотрез не принимаются. угрозы гендиром и финансовые кары на миллионы у.е.

разгадка: во первых, сетевики прохлопали подключение обоих БП наиглавнейшего коммутатора на полтыщи портов двумя линиями к одному автомату, а во вторых у электриков то ли автоматов на момент подключения наших серверов не было под рукой, то ли места в щитке не хватало, но подключили одну из наших линии к злополучному коммутатору в напарники. обвинение в вырубании не-наших серверов сняли, оные упорно показывали десятки и сотни дней бесперебойной работы. но из-за пропажи опорного коммутатора все подразделения компании по всей стране потеряли связь с центром. ну, и работа тоже встала, а потери дохода измерялись сотнями тысяч у.е.

2. опять надеждность и дублирование, но уже не аппаратное. крупная госорганизация, принимаю на обслуживание кучу серверов, и среди них выделяются два под управлением БД Oracle Real Application Cluster. оба пашут как сумасшедшие, а в случае обслуживания одного из них нагрузка обоих падает на плечах выжившего. за час до описываемых событии приходит сообщение на почте, что основной остановят для подмены планок памяти. ну и ладно, я же на тот момент работаю на запасном, да и ничего из моих действии никому не должно мешать. все равно во время написания очередной команды текст обрывается на полуслове - я по клаве стучу, а терминал ничего не отображает. быстрая проверка показывает, что все терминалы с тем сервером "капут". звоню мужикам в ЦОД-е: "ребят, вы не тот сервер выключили". получил неожиданный ответ, что они-то выключили правильный и замена памяти идет полным ходом, а по опыту заметили, что в рамках получаса-часа после любых манипуляции по основному, запасной сервер подвисает и его приходится перезагружать. после перезагрузки никаких рецидивов. поэтому они так и сделали, никого не предупреждая, потому что все давно уже привыкли, что после А идет и Б.

разгадка: консультанты из очень уважаемой французской конторы установили архивирование Oracle RAC с изюминкой. по наставлениям производителя два потока транзакции нужно архивировать порознь, а в случае восстановления объединять. особо одаренным тварям пришло в голову объединить их еще во время архивирования, дабы было легче: пространство для архивов на дисках SAN подключить только к первому серверу, не пытаться поднимать Cluster FS ибо муторно и сложно, а устроить из первого сервера обмен файлов второму по NFS. в случае остановки основного сервера услуга NFS есно пропадала, журнал транзакции на запасном переполнялся и БД подзависала. при перезагрузке второго, он поднимал услугу NFS у себя в кластерном режиме, и архивирование прекрасно работало.

3. та же кантора, те же сервера. заметил в журнале, что производитель проводил ремонт каждые две недели и всегда меняли 1-2 планки памяти. управление показывало, что дефективных планок памяти заметно больше. спросил почему весь гемморой с остановом производства два раза в месяц заместо одной подмены всех и навсегда. что мне разжевали на пальцах: серверная рядом в внутренним двориком (мысль: "что??? какое это имеет отношение к делу?"), в дворике площадка и вокруг лавочки (мысли как кони: "мужики, вы издеваетесь?"). какому-то крутому начальнику не понравились стенки/заборчики вокруг площадки высотой в 4-5 кирпича, потому что сидящие на лавочках поднимали на те заборчики ноги, пачкали оные грязью и приходится их белить заново (кто красил траву кисточкой, не смеется). поэтому приказал заборчики поднять до около метра, дабы неудобно было, бреши (то бишь проходы) между стенками тоже замуровать, и все это добро заново побелить. все было прекрасно до первого дождя. заделанные проходы соорудили из бывшей площадки неплохой себе прудик. только о рыбках никто не позаботился, поэтому вода стала искать рыбок сама. искала выхода, искала, пока не нашла его в сторону серверной, как в том анекдоте (Анекдот).

4. готовимся к выставке достижении антинародного капитализма. нашим будущим клиентам будем показывать новинки вычислительной техники из-за океана: махонький такой сервер (мал золотник, да дорог). руководство доносит до нас расположение техники в помещении, затем жена гендира объясняет как правильно понимать мудрые мысли руководства и, между прочим, расставляет столы и стулья по женскому фен-шую. заново рисуем сеть, мудрствуя заново как проложить провода дабы никого не убило током и никто своими шпильками не проткнула связь. упахались всю субботу, зато в воскресенье утром смотрели свысока на соседей, потому что у нас все налажено и работает, а они еще мучаются с фен-шуем столов и прокладыванием кабелей. зря мы так, ой зряяя!!! к обеду впопыхах электрики умудрились подать вторую фазу на ноль и тем самым ухайдокали и нам, и соседям, и соседям соседей, и седьмой воде на киселе практически всю технику. не спасли нас ни защиты от перенапряжения, ни ИБП (внезапно, и забугорные производители халтурят). выжила только техника тех, кто еще мучались с кабелями и ничего из техники воткнуть в розетки еще не успели.

ну, а я-то с нашим маленьким и очень дорогим сервером всю неделю показывал меню настроек RS-232 терминала. сервер-то на тот момент в единственном экземпляре во всей стране. представитель производителя сразу заказал новый БП, но предупредил, что выполнение заказа займет 1-2 недели, потом еще растаможивать, тоесть до конца выставки ничего не поделаешь. народ пер, дивился, цокал языком... только один дядька в костюме, в галстуке и с неброскими часами подошел и так вежливо спросил: "ребята, так ведь это меню терминала?" поплакал ему в жилетку, посетовал на электриков, попросил прощения, пригласил его в наш офис где-то недели через три и одарил визиткой. где-то через месяц он все таки отправил своих айтишников нам в гости, с гордостью им все показал-рассказал, кажется даже что-то купили.

p.s. много лет спустя, работая уже на себя, выкупил за мизерную денюжку тот самый сервер и ждет свой час в моем личном музее Плюшкина.