Фундамент заложен
==========================
Вовочка (который из анекдота):
- Куда вы, куда? Там еще только фундамент заложили...
==========================
Вовочка (который из анекдота):
- Куда вы, куда? Там еще только фундамент заложили...
естественно госуслуги рассчитаны на определенный поток юзеров. никто не будет держать 10-кратное резервирование.
Именно с учётом определённой отказоустойчивости этот проект цифровизации суммарно и стоит почти 1 млрд рублей в год...
ну так определенную отказоустойчивость он и имеет. за косяки я думаю их так ебут, что мало не кажется.
Казалось бы, зачем сайту государственного значения куда потенциально будут обращаться все граждане РФ мощный сервер...
ага, а в каждом магазине надо хранить запас колбасы на весь город - ведь потенциально все жители разом могут приехать в этот магазин! и больницы потенциально надо иметь на всё население сразу, 150 миллионов коек. и ИВЛ к каждой - мало ли что!
есть расчетная нагрузка, которая к тому же постоянно мониторится. есть резервные мощности, которые подключаются при необходимости, но это занимает время, они не подключены постоянно. сейчас всё работает, к примеру. все подобные проблемы решаются обычно в течение суток.
Только я пару недель не могла даже попытаться встать на биржу. Невозможно было войти в личный кабинет на сайте.
Не сутки. Две недели.
Однако это не единственный магазин в городе.
А вот сайтов госуслуги2.рф, госуслуги3.рф, госуслуги4возвращениедерьмодемона.рф у нас нет.
Людям, которые никогда не слышали про highload это рассказывать бесполезно. Для них это увы "сайт"
Сутки, Карл! Если бы мы оставили без работы у себя в организации 5к рабочих мест на сутки, весь отдел пошёл бы на биржу. Тут нужно соотносить масштаб 20-30-40 лишних миллионов на такой проект - гроши в масштабе государства, это как обычному человеку лишнюю бутылку пива взять
если бы мы говорили о какой-либо жизненно важной системе - да, справедливо. госуслуги таковой не являются, сутками раньше или позже человек сможет сделать то что ему нужно - не жизненно важно и не стоит 10-кратного резервирования. я за оптимальное решение, а не за утопическое.
Там куча услуг для бизнеса, некоторые можно назвать жизненно важными, для приприятий естественно. Скажем, заявка на перевозку негабарита подвинет стройку на сутки, сколько бизнес потеряет? Эту часть портала вполне можно было перенести на отдельные мощности с резервированием, но она не работала. Где тут оптимальность или приоритизация?
кого ебет, сколько бизнес потеряет? это проблемы бизнеса и перекладывание рисков с бизнеса на государство. заявку заранее подай, какие проблемы? для того, чтобы у бизнеса всё было тип-топ, надо взять деньги из бюджета. вопрос - схуяли мои налоги должны идти на страховку бизнеса от проблем? оптимальность тут в соотношении затрат к эффективности. 360 дней в году госуслуги работают норм, этого более чем достаточно.
Там точно так же бизнес орет, что отдаёт по 22% в федеральный бюджет, а их деньги не работают
хуясе не работают. на эти деньги сделали охуительный портал, такая штука как госуслуги - мечта для подавляющего большинства стран мира. нигде на западе такой комплексной системы нет, а они всё недовольны. пик нагрузки видите ли сделал аж на сутки портал плохо работающим!
Так резнесите дадю Васю из зажопинска и Газпром на разные сервера и проблем не будет. Цена вопроса незначительная
я хз, как там всё устроено и какая цена вопроса. просто не вижу проблемы с действующей системой - сбои от нагрузки у всех бывают. поэтому не считаю нужным трогать то, что работает, и давать возможность пилить на этом бюджет.
Я хотел пропуск оформить ибо мне ехать, а тут хуй. Жизненноважно. Просто проёб изза внезапности заявления, бедные сисадмины
То есть человек, который вчера в телеке сказал про выплаты думал, что туда будут заходить по 10 человек в день?
а что он должен был сделать-то? лично накупить серверов внезапно? чтобы они через сутки, когда пик спадет, стояли и пылились? а помещения под них? а кондициониование? а персонал? а коммутация? а где это всё резко взять? а где даже в аренду это взять и быстро развернуть? коммерческим структурам выдать всю подноготную всех граждан?
на все эти вопросы должен человек в телеке думать, что ли? или, всё-таки, этим занимаются другие люди и вопросы, коли они есть, надо адресовать им?
если это так, то почему никто не щелкнул пальцами, а предпочел получить воттакенный дилдак в задницу?
у любой ситуации есть причина. если всё так легко масштабируется, нет никакой причины, почему это не сделано. значит, не так легко.
Да что вы распинаетесь, им лично Путин должен, всегда.
Люди думают, что вся инфраструктура просто берется из воздуха и непременно бесплатная. Сайт упал!! КАРАУЛ! ПИЗДЕЦ! Как упал, так и поднялся. Упадет еще пару раз, либо девелоперы возьмутся за старые баги\оптимизации производительности и допилят, либо отскейлят.
Людям просто надо сейчас поныть и срубить плюсцов на нытье.
Пост был не о сайте и не о Путине, а о наивном поведении граждан, которые ломанулись туда сразу, в надежде получить деньги "из дисковода".
Несколько рабочих дней нужно, чтобы нормативную базу по этим выплатам принять, бюджеты выделить, механизм проверки нуждающихся проработать, а что касается госуслуг - еще дописать модуль на сайт.
Выплатят. Хотя, я уверен, как всегда сделают не без перегибов, но это уже тема для отдельного поста. :-)
Я прочитал в своей ленте комментов, в профиле, они там типа "все под постом" ;-)
То-то я думаю почему этот коммент теперь "под постом" не могу найти...
Но ведь наш Путин все предусматривает, он вообще все знает заранее и любит моногоходовочки, но такой логичный факт что после его заявления все ломанутся на сайт не предусмотрел?
ваш Путин может быть всё предусматривает, тогда получается, что ваш Путин - господь бог. только ему по силам предусмотреть всё и вообще заниматься всем сразу. а если вменяемо оценивать его роль, то он председатель совета директоров крупнейшей корпорации под названием Российская Федерация, и естественно заниматься вопросами администрирования серверов - просто не его работа.
ну вообще есть вариант использовать облака, которые имеют солидный запас ресурсов. Но в данном случае это не вариант, так как гос структура
надо городить свое облако тогда, да. а потом те же самые хомячки, у которых "не работает", вопят "какого хера потратили миллионы на какой-то сайт, лучше бы пенсионерам раздали".
А чем облако отличается от собственного кластера серверов?) В облаке так же нужно масштабировать нагрузку, производить необходимые настройки. Там же не на магии всё работает)
разница в том что собственный кластер нужно прикупить. В облаке же балансировкой может заняться сам поставщик, и нужно будет заплатить только за временную возросшую нагрузку.
Ну так а что мешает кубернетес на кластере поднять и у себя масштабировать нагрузку? В долгосроке собственные сервера дешевле аренды выходят. Упёрлись вероятно не в мощности, а в проблемы с приложением непосредственно.
я может чего не понимаю, но как кубернетес на кластере сможет справиться с физическим пределом железа?
А в долгосроке когда у вас пиковые нагрузки два раза в год?=)
До физического предела железа им далеко. Там мощностей навалом. Чуток знаю как всё у них. Необходимо грамотно всё утилизировать. Тут уже кубер нужен. Бареметал или виртуализация уже не то. Там блокировки в базе или какая-нибудь интеграция все испортила.
С этого и стоило начинать. В рамках информации - сервер отвалился от нагрузки, могут быть разные причины: как слабое железо, так и плохая организация.
Первое можно решить в том числе и через облака, и в некоторых случаях это даже рентабельнее.
зачем резервировать большие мощности, если сайтом в 99.99% времени пользуются только 10% от всего текущего потока из-за выступления
Ну да, десяток лишних миллион на оборудование - непозволительная роскошь для государства, это вам не новую плитку менять
Не надо пиздеть и притягивать эту хуйню, никто не сказал бы лишнего слова, если бы потратили эти бабки на это.
Потому что это дорого. Рассчитывают на разумную нагрузку. Админы были явно не готовы к такому
а про горизонтальное масштабирование они не слышали?
по факту это просто вопрос денег - больше поток заявок больше денег на аренду серверов. а деньги - у кого надо деньги
А вы слышали, что проект сам по себе масштабироваться не будет, а такой механизм должен либо быть заложен в архитектуру изначально, либо быть допилен по ходу? Всегда идет выбор между разработкой новых фич для клиентов и фиксом бэклога. По производительности могут быть старые известные баги и места для оптимизации. Если все в принципе работает, то бизнес всегда будет выбирать фичи, потому что это видимое развитие проекта и привлечение новых пользователей за счет нового функционала.
Это же беспрецедентный пиковый наплыв юзеров, я бы после единичного случая максимум реализовывал бы самые дешевые решения, дающие возможность быстро дать еще хоть сколько-нибудь производительности. Если бы госуслуги нещадно тормозили бы ну допустим 3 дня стабильно, то можно начинать рефактрониг для большего параллелизма.
Поэтому сама постановка фразы
а про горизонтальное масштабирование они не слышали?
выдает в вас непонимания принципов развития IT проекта с точки зрения бизнеса. Не надо так.
Также не надо забывать, что проекту не первый год, у него уже есть какое-никакое легаси, а чем жирнее проект тем дороже по времени и по деньгам каждое изменение в нем. Так что охуительные советы из соседних комментариев про "ой да че там, наймите 1000 программистов, они вам все к утру напишут" вызывают только ор в глосину от космической глупости таких "таксистов".
Еще гослуги это не один сервис в себе, а неебическая интеграция всего со всем, вы уверены, что проблема в госуслугах? Сидит такой один госуслуговский томкат, отправляет запросы на авторизацию в сторонний сервис, а тут к нему миллион человек прибежал резко. Он все передал, а этот левый сервис сдох. Но виноват конечно же маленький томкат. Охуенно делать выводы, когда нихера не понимаешь как оно работает, угу=)
Звучит как "давайте разработаем сервис на 140 млн человек, но не будем закладываться на масштабируемость"? Даже звучит как бред, либо говорит о полной непрофессионализме разработчиков системы.
Сейчас идеи разработки с учетом "хайлоада" (что бы под ним не подразумевали ораторы) вышли в мейнстрим с 2017 года.
Если сайт сделан правильно - то масштабирование это просто вопрос деплоя на большее число серверов - по факту вопрос денег. При чем это делает не человек, а сам кубернетис автоматом.
> Отправляет запросы авторизации на сторонний сервис.
Масштабирование должно затрагивать все сервисы, участвующие в системе. Выдать 60 млн jwt токенов даже за час - не проблема вообщем то технически.
Не рассказывайте мне что я знаю :)
Звучит как "давайте разработаем сервис на 140 млн человек, но не будем закладываться на масштабируемость"?
Кто вам сказал, что постановка задачи была такая?
Если сайт сделан правильно - то масштабирование это просто вопрос деплоя на большее число серверов - по факту вопрос денег. При чем это делает не человек, а сам кубернетис автоматом.
Еще раз, для тех кто в саппорте фронтенда и думает, что вокруг ничего нету.
Ваш деплой еще нескольких нод томкатов нихрена не поможет, если у вас тупо база не справляется с нагрузкой - вот не может она за таймаут найти юзера и все. Всегда есть бутылочные горлышки, и фикс каждого нового гарантировано, в 100% случаях приводит к обнажению нового в какой-нибудь другой ситуации.
Если сайт сделан правильно
Сайт "сделан правильно" до тех пор, пока не вылезает новая проблема (ее может даже в теории не существовать на момент создания архитектуры). С этого момента сайт "сделан неправильно". Не надо этой ебучей демагогии про "правильно" с маркетинговых рекламок для девопсов=)
Не рассказывайте мне что я знаю :)
Да не вопрос, вы видимо просто не работали на проектах глубже "интернет-магазин".
> Кто вам сказал, что постановка задачи была такая?
Если это не закладывалось, это очевидная профнепригодность. Уверен, что это не так.
> если у вас тупо база не справляется с нагрузкой - вот не может она за таймаут найти юзера и все
Типовая задача, на которой режутся начинающие разработчики. Не справляется база на чтение - добавьте реплик.
Хайлоад - это умение устранять бутылочные горлышки, продумывая изначально масштабируемую архитектуру - и за это дядям архитекторам платят хорошие деньги :)
> ее может даже в теории не существовать на момент создания архитектуры
Что б такого не было, нанимают нормальных архитекторов. Если меньше пилить - такое возможно. Дорого, зато потом не нужно винить людей в том, что они зашли на ваш сайт.
> вы видимо просто не работали на проектах глубже "интернет-магазин".
Не угадали. А вы, я так понял, приложили руку к разработке или поддержке госуслуг? С таким жаром защищаете :)
Если это не закладывалось, это очевидная профнепригодность. Уверен, что это не так.
Абсолютно нет. А ваша уверенность вообще не является доказательством чего-либо=)
и за это дядям архитекторам платят хорошие деньги :)Это замечательно, но на старте хороших денег может не быть и архитектура может быть не рассчитана на это. Сейчас, если это опять-таки будет реально нужно, дядек наймут, они сначала будут изучать имеющееся легаси какое-то время, через месяцок напишут пруф оф концепт. А до прода такой рефакторинг-проект будет ехать год. Это особо безотносительно того сколько вы таких дядек наймете, ну в лучшем случае толпа продумает и сделает допустим в 2 раза быстрее, за полгода. Но никаких "завтра" не будет.
Что б такого не было, нанимают нормальных архитекторов. Если меньше пилить - такое возможно.
Вы знаете много порталов такого уровня функциональности в мире как госуслуги? Не интернет-магазины, а именно государственные порталы с очевидным охулиардом взаимных интеграций. Мало? А 10 лет назад? При заказе какого-то цифрового сервиса всегда есть метрики проивозводительности для приемки - никакой хуйни про "хороший сайт" или "плохой". Написано например сайт должен отдавать ответы в среднем за 10мс при количестве запросов 1 миллион в минуту и т.д. У вас очевидно есть пруф про прицел на 140 лямов человек 10 лет назад? У вас его нет, так что вы просто занимаетесь пиздабольством=) Плюс ко всему мало написать 1 миллион в минуту
Дорого, зато потом не нужно винить людей в том, что они зашли на ваш сайт.
Кто-то винит пользователей? О_О Мнения диванных орунов, который сами в своей головушки это выдумали тут рядом в коментах естественно не в счет.
Не угадали.Пока судя по нашему общению - угадал.
А вы, я так понял, приложили руку к разработке или поддержке госуслуг? С таким жаром защищаете :)Нет, к госуслугам никакого отношения не имею, работаю в проекте по разработке\поддержке брокерского софта штатовского с легаси в 15 лет. Каждый кризис идет увеличение нагрузки на систему, т.к. рынок реагирует адовым всплеском трейдов. Про нагрузку начинают чесаться только когда начинает тормозить и мешает получать прибыль.
Не справляется база на чтение - добавьте реплик.
Это самое простое решение, но кто вам сказал, что проблема только в чтении, может там в рамках одной транзакции еще проходит синхронизация каких-нибудь параметров юзера, типа апдейта последней даты входа. Это все демагогия, я вам могу каждый раз накидывать новые причины и вы будете выдумать какое-то решение, мы не знаем в чем у них затык, разница в том, что я не делаю выводов о чьей-либо профнепригодности, а вы делаете. Ну и повторю - речь о том, что никаких "хороших" архитектур нет. Есть задача и есть под нее бюджет, а также есть время и обстоятельства при которых это решение надо менять.
> Написано например сайт должен отдавать ответы в среднем за 10мс при количестве запросов 1 миллион в минуту и т.д.
Время отдачи ответа и количество запросов в минуту - разные метрики и не связаны напрямую друг с другом.
Если речь про веб-сайт, то цифра в 10мс на ответ не реалистична (если конечно не говорим о сильнокешированной около-статики). Но это говорит о низком уровне вашего опыта в этой теме.
> типа апдейта последней даты входа
никто не совмещает редкоизменяемые данные и частоизменяемые в одной таблице или даже базе данных. такие изменения можно делать и асинхронно - кафка в помощь
вы пытаетесь спорить с тем, в чем не разбираетесь. заканчивайте сидеть на 15-летнем легаси, все эти проблемы давно решены. но не так давно, как 15 лет конечно.
ваша проблема - вы отстали от времени и покрываетесь пылью. встряхнитесь.
а по тексту только и можете кидаться какашками. это фу )
Время отдачи ответа и количество запросов в минуту - разные метрики и не связаны напрямую друг с другом.
Я нигде не говорил обратного, к чему вы?
Но это говорит о низком уровне вашего опыта в этой теме.
Я вообще не поддерживаю веб фронтенд, а вот бэкэнд да. Цифры напечатаны с потолка, т.к. в принципе при запросе в пределах одной физической сети реальны.
никто не совмещает редкоизменяемые данные и частоизменяемые в одной таблице или даже базе данных. такие изменения можно делать и асинхронно - кафка в помощь
При чем тут редкоизменяемые данные? О чем вы вообще=)) Мне не нужны гипотетические решения проблем, которые я сам вам выдумал=)
вы пытаетесь спорить с тем, в чем не разбираетесь. заканчивайте сидеть на 15-летнем легаси, все эти проблемы давно решены. но не так давно, как 15 лет конечно.
Спасибо посмеялся=) Ну раз вы так говорите, то конечно сейчас выключим сервера топ1 брокера в штатах, до тех пор пока весь бэкэнд не будет отрефакторен на распред системы, т.е. минимум на полгода. Или сразу на микросервисы, это сейчас тоже модно среди залетных программистов\деплойщиков=)
ваша проблема - вы отстали от времени и покрываетесь пылью. встряхнитесь.
Ваша проблема - вы даете советы по реализациям, которая по факту едет на прод годами, с видом, что это все делается бесплатно и "еще вчера". Имплементатор в отрыве от реальности, а главное от бизнеса, это конечно выглядит со стороны очень по-героически, но всегда смешно=)
а по тексту только и можете кидаться какашками. это фу )
Во дела, хуесосят поддержку госуслуг за какой-то выдуманный непрофессионализм другие, а какашками кидаюсь я=)
Сорямба, дальше продолжать смысла не вижу, в мире понЕй и радуги конечно интересно, но реальные проекты надо развивать реальными методами=)
> Я вообще не поддерживаю веб фронтенд, а вот бэкэнд да.
а кто говорил о фронтенде? это все о бэке
> Мне не нужны гипотетические решения проблем, которые я сам вам выдумал
ясно, понятно
> то конечно сейчас выключим сервера топ1 брокера в штатах
А вот это могу понять. Легаси оно вечное и кормит вечно. В штатах вон спецы на коболе до сих пор востребованы. Но мне такое скучно.
Я занимаюсь стартапами, и мне интересней свежие системы, которые по посещаемости на третий год не уступают тем же госуслугам.
Времена изменились, сейчас время от идеи до реализацию стараются делать все меньше и меньше за счет наработанных технологий. Это тяжело, но интересно.
Не удивлюсь, если со временем вашего брокера заменит очередной финтех стартап
> а какашками кидаюсь я=)
Ну а кто писал "мнения диванных орунов" и "вы просто занимаетесь пиздабольством" и всю остальную пассивную агрессию?
Да, будьте смелы признать себе что ваша аргументация на уровне бабуинов в зоопарке :) я вас не осуждаю, это просто факт
> Сорямба, дальше продолжать смысла не вижу
Взаимно :)
это не делается внезапно. я не думаю, что им докладывают о планах обращений гаранта и о темах, которые там будут затронуты. а значит, вариантов отмасштабироваться заранее нет. значит, нужно держать горячие мощности всё время. десятикратные? заебись, чо.
в современных системах время масштабирования - минуты. осваивайте kubernetes.
облака позволяют использовать свободные мощности - например ночью или утром, когда поток клиентов на развлекательные сервисы мал и они освобождают мощности, вполне можно взять инстансы по-дешовке