Серия «Кудахтеры»

Сначала разберемся, что такое ЦОД, и какие они бывают.
Если максимально упрощать, то ЦОД – это любое помещение, бетонная коробка (в РФ. В США может быть и жестяной ангар), в которую поставили какое-то количество компьютеров. Без всяких стоек. Можно даже «домашних». Охапка дров кабелей и ЦОД готов. Ничего плохого в такой конструкции нет, даже на такое есть спрос. Но так, обычно, не делают – кроме майнинг ферм, которые именно так и делали. И делают. Даже в подвале, как на УАЗ и ВАЗ. Но лучше на суперкомпьютере.

Коммерческий, или внутренний, ЦОД, обычно, делают все же чуть надежнее и чуть закрытее.
Это вся та же бетонная коробка, но с нюансами.
Компьютерное оборудование стараются ставить в стойки. Современный стандарт 19-дюймовых стоек был установлен AT & T для поддержки своих стоек телефонных реле в 1922 году, сейчас это стандарты ANSI/EIA-310-D и CEA-310-E. Это просто удобнее. Есть еще стандарт Open Compute Project (OCP) - Open Rack v3 / ORv3.

Каждая стойка весит, с оборудованием, до 1.5 тонн. Стойки для удобства ставят в ряды, ряды собирают в машинный зал. Система зародилась еще во времена телефонных станций, так и осталась. В том числе поэтому часть ЦОД размещена в зданиях бывших АТС.

У ЦОД есть своя система сертификации «по категориям», но эти детали сейчас не так важны.

Главным является то, что внутри ЦОД может быть:
1) Чужое оборудование. Фирма арендует от места в стойке до части машинного зала (огораживая его отдельной клеткой). От ЦОД приходит электричество, сигнализация, холодный воздух, доступ к десятку провайдеров интернет, и услуги «умные руки». Остальное – свое.
2) Свое оборудование. Когда ЦОД работает или на нужды организации, или как поставщик сервисов (облако, или только виртуальные машины). На одной площадке часто несколько разных машзалов, или даже внутри одного машзала может стоять и «чужое» и «свое» оборудование.

Как легко понять, если в ЦОД стоит «чужое» оборудование, то такой ЦОД должен быть достаточно приближен к заказчику. Зачем? Чтобы инженеры заказчика могли в разумное время туда приехать для регламентных работ, которые по каким-то причинам не могут сделать инженеры ЦОД.
Можно ли, чтобы все работы проводили инженеры ЦОД ? Технически возможно, но организационно может быть запрещено – в ЦОД иногда стоит оборудование с печатями чистоты, запретом доступа кому попало, кто кровью не подписался, что никогда не будет грязными руками трогать святое порождение  машинного духа.
В части ЦОД все слишком хорошо с очисткой – туда можно попасть, но после этого пять лет ты будешь отдыхать только в Сочи.

Если же оборудование «только свое», то есть туда доступ разрешен только своим инженерам, и инженерам вендора (часть оборудования можно трогать только людям с личной печатью чистоты), то его можно ставить «где удобно». Удобно его ставить там, где про него или знает людей поменьше, или рядом есть дешевое электричество. Например, Ростелеком договорился с Росатомом и построил ЦОД Удомля, около Калининской АЭС.

Сколько ЦОД в Москве и Подмосковье?

Много. Ведомственные на учет не встают, а коммерческих – 52 % от всей РФ

Москва, 3 сентября 2025 г. Москва продолжает уверенно удерживать лидирующие позиции на рынке коммерческих дата-центров России, концентрируя 52% действующих объектов страны. По данным Nikoliers, в настоящий момент общая площадь существующих ЦОД в Московском регионе составляет 477 415 кв. м, где размещено 86 230 серверных стоек с общей мощностью 760 МВт
https://nikoliers.ru/media/news/moskovskiy-region-ostaetsya-liderom-rynka-kommercheskikh-tsod-52-ot-obshchego-kolichestva-v-strane/

Можно ли построить ЦОД где-то, где зимой холодно, и сэкономить?

Простой ответ: Построить можно. Сэкономить - нет.

Регионы Дальнего Востока подтвердили поддержку проекта создания центра обработки данных (ЦОД) для развития технологий искусственного интеллекта в Якутии на межрегиональном совещании с участием представителей Якутии, Еврейской автономной области, Забайкальского, Хабаровского и Камчатского краев, а также Чукотского автономного округа. Об этом CNews сообщили представители пресс-центра Республики Саха (Якутия) в Москве.
https://www.cnews.ru/news/line/2026-11-05_regiony_dalnego_vostoka

«Слишком холодно» это тоже нехорошо. В машинный зал должен приходить воздух заданной температуры, и заданной влажности. Будет слишком холодно и сухо – будет сохнуть пластик схем, конденсаторы, и резина на виброгасителях. Будет слишком жарко – техника будет перегреваться, плюс все вышеперечисленное. Это не приведет к мгновенному отказу, только к сокращению среднего срока службы с 5 лет до 2.
Самим кондиционерам тоже нужен оптимальный температурный режим – не слишком холодно, а то их самих придется подогревать.
Если делать воздухоподготовку зимой на теплообменниках горячего (выходящего) и холодного воздуха, то в системе нужно будет постоянно шевелить задвижками - то открывать, то закрывать. Лишняя механика в системе может замерзнуть, заклинить, и так далее. И еще, в тех регионах, где «зимой холодно», зачастую летом комаров столько, что придется ставить фильтры.
Сделать можно, и так делают, но на общем фоне сложности инженерного комплекса ЦОД каждый раз нужно отдельно считать, будет ли тут экономия, или будет только лишняя железка, которую надо проверять и чинить.

Бетон

Как уже сказано, сама бетонная коробка ЦОД ничего особо сложного из себя не представляет – железобетон, пеноблоки, лифты, коридоры. Требований по запылению, вибрациям, и прочей технической магии почти нет. Видел я как-то, в 2015 году, технику из ЦОД "около завода". В масле.

Кроме бетона

Сложное начинается с той части, которая скрыта за бетоном. Это:
Воздухоподготовка. Чтобы в залах было ровно столько градусов, и ровно той влажности, сколько надо.
Для систем воздухоподготовки надо фреон и этиленгликоль, и еще фреон про запас. Немного – тонн 10 - 20. И есть нюанс: если фреон или гликоль при аварии вытечет, то надо срочно где-то найти еще тонн 10.
2017 год:

Однако, по одной из версий, которая активно обсуждается в социальных сетях, в связи с понижением температур до -30 °С и ниже в системе охлаждения замерз хладагент, что привело к повреждению труб и утечке этиленгликоля. Из-за длительных новогодних праздников сотрудникам дата-центра не удалось оперативно получить около 30 тонн хладоносителя, чтобы заправить систему. Служба эксплуатации организовала импровизированный фрикулинг, и в процессе была обесточена часть серверных стоек.
https://alldc.ru/documentation/document/5289.html

Можно делать системы как на мясокомбинатах, на аммиаке. Со всеми последующими проблемами.
Система пожаротушения. Она нужна. Вы, может, лично, и не видели, но в ЦОД бывают пожары. На слуху был только мелкий пожар в Даталайне, но их было чуть больше. Вроде все без жертв, кроме ложной сработки системы пожаротушения с трупом в 2010. Можно делать на азоте, но азотная система (тушения) очень шумная, и от этого шума выходит из строя «до трети» жестких дисков. Для SSD проблем меньше, но механических дисков все равно до сих пор много. Можно делать на фторкетоне 1230, но это дороже азота и углекислоты.

Москва. 25 августа (2010). INTERFAX.RU – В одном из банковских отделений в подмосковном Подольске произошел выброс газа. Погиб один человек, 13 пострадали – все они находятся в реанимации
https://www.interfax.ru/russia/151226

Для систем электроснабжения нужно притащить несколько десятков тонн свинцовых аккумуляторов, чтобы снабжать ЦОД в те 10 минут, пока стартует резервная система. Или притащить динамический ИБП. И дизели тоже нужны. И солярка к ним. И система пожаротушения дизелей.
Можно ставить не дизель, а газовую или газопоршневую установку, тоже то еще приключение.
Линии связи. Как без них. Нужно заводить всех возможных провайдеров, то есть тянуть от их узлов связи, или сразу от точек обмена трафиком, километры и тысячи жил оптики. Желательно разными маршрутами.
СКУД и периметр. Чтобы не ходили, кто попало. И даже если кому-то очень надо, и у него есть технические средства, чтобы тоже не ходили без справки.
За всем этим нужно следить, то есть нужен обученный персонал инженерной части.
Для всего этого нужна логистика инженерных запчастей.
Конечно, нужна внутренняя электрика – система электрического распределения. Современная ИИ стойка «в сборе» потребляет до 150-195 киловатт мощности. GB300 NVL72 тащемта. Не 5 (пять) киловатт, как предлагают в "среднем в РФ". Значит, нужны трансформаторы, всякие шины, и прочее электрическое и кабельное хозяйство.

The rack’s TDP (thermal design power) is 132 kW nominal with a EDPp (electrical design power – peak) of 1.5x TDP or approximately 192 kW

NVIDIA GB200 NVL72 by HPE QuickSpecs

Что там сверху фундаметра, стен, и инженерных систем

Поверх фундамента, то есть инженерной части, строится остальной ЦОД. Тут и метрокластер, и разные вариации отказоустойчивых схем – от защиты на аппаратном уровне до системы «умер контейнер и ладно, пользователь потерпит». Про каждый из этих уровней написаны трактаты, начиная от бесконечно (нет) увлекательного занятия по контролю уровню сигнала в оптике и мультиплексорах (MUX / DEMUX), заканчивая буферными кредитами (buffer-to-buffer credits, BBC) и того, с чего началось - HPE Synchronous Long Distance (SLD)

Конфигурация синхронного удаленного копирования (Synchronous Long Distance, SLD) состоит из трех систем: одной первичной и двух отдельных вторичных систем.
Группы удаленного копирования (Remote Copy groups) с первичной системы реплицируются на обе вторичные системы одновременно. На одну из вторичных систем данные реплицируются в синхронном режиме, а на другую — в асинхронном периодическом режиме.

И это только проход к лифту в веселый мир сервисов внутри ЦОД и внутри облаков.

На фоне всех прочих затрат , на логистику «всего» , от кранов до кабелей, возможная экономия «на эксплуатации» может совсем отсутствовать

Оригинал:
https://news.microsoft.com/source/features/innovation/majora...

Microsoft unveils Majorana 2, its next-generation topological quantum chip developed with the help of Microsoft Discovery’s agentic AI.

Majorana 2’s new features include a new materials stack enabling a 1,000-fold improvement in reliability over the prior generation of qubits, with a mean qubit lifetime of 20 seconds and instances lasting as long as one minute.

Microsoft now expects to achieve a scalable quantum computer by 2029, cutting its original timeline in half.

Microsoft Discovery is now generally available. The platform for Frontier R&D lets customers deploy AI agent teams, guided by human expertise, to speed up scientific discovery.

На сайте минцифры есть перевод статьи «Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить» (Оригинал - Qwen3.8-27B: the best local LLM you probably can't run, https://thomas-wiegold.com/blog/qwen-3-8-27b-best-local-llm/) , где пишут, что:
Перевод от Вестника Минцифры:
Вкратце: для 4-битного квантового процессора вам понадобится от 17 до 18 ГБ памяти, плюс кэш-память KV. 24 ГБ унифицированной памяти — это практический минимум, 32 ГБ — оптимальный объем, а 48 ГБ — золотая середина.
Оригинал:
Short version: you need about 17 to 18 GB for a 4-bit quant, plus KV cache on top. 24 GB of unified memory is the practical floor, 32 GB is where it gets comfortable, and 48 GB is the value sweet spot.

Мой первый опыт «у себя»оказался неудачным.
LM Studio сообщает, что я нищеброд, и надо никак не 8 гигабайт памяти в виртуальной машине, а хотя бы 20:
Model loading was stopped due to insufficient system resources. Under the current settings, this model requires approximately 19.24 GB of memory, and continuing to load it would likely overload your system and cause it to freeze. If you think this is incorrect, you can adjust the model loading guardrails in settings.

Пробовать и проверять мне было лень, пришлось сделать две вещи, которые лучше сделать сразу

1 Настроить каталог для хранения моделей (настройки – общие - Models Directory, по умолчанию - C:\Users\youuser\.lmstudio\models

2 Скачать lmstudio-community/Qwen3-8B-GGUF. Легко сказать, трудно сделать.
Я доигрался с настройками, и скорость скачивания в виртуальной машине упала с 15 (или мегабайт, или мегабит)\секунду до 256к. Включил обратно VMQ (обычно, VMQ все портит, а тут наоборот), и скорость вернулась аж до 30 чего-то в секунду. Магия, не иначе.

Но скачалось, и работает. Без всякого GPU, внутри виртуальной машины с 2 процессорами и 16 памяти.

Заключение.

Оказывается, Otus  выпустил статью (на braintools и на вестнике минцифры) «Запустить LLM локально: что считать до покупки видеокарты?» , где самое полезное, это ссылка на тестирование:

Инженер Hugging Face Мэтью Кэрриган собрал стенд под полную DeepSeek‑R1 на 671 миллиард параметров в 8-битном квантовании — и не поставил туда ни одной видеокарты. Два процессора AMD EPYC, 768 ГБ DDR5, Linux, llama.cpp.
Обошлось примерно в шесть тысяч долларов. На выходе — 6–8 токенов в секунду при потреблении меньше 400 ватт. Отдельная деталь: правка в BIOS, выставление NUMA‑групп в ноль, удваивала эффективность работы с памятью.

Оригинал статьи, на которую ссылаются: Way to run DeepSeek's 671B AI model without expensive GPUs discovered
https://www.notebookcheck.net/Way-to-run-DeepSeek-s-671B-AI-...

О чем это говорит, как и на 99.95% бесполезная статья выше?
О том, что для учебы, редкого локального использования, и пилотов «как это вообще живет» хватит даже не AMD 395, а любого ноутбука с хотя бы 32 Гб памяти, без видеокарты. Стопка GPU «на посмотреть» не нужна.
Про AMD 395 я уже писал
Что там в мире ИИ шечек побольше и поменьше

Последний пункт не то, чтобы жизненно необходим, но мне было скучно и я делал все в виртуальной машине.

В дальнейшем придется изучить темы Discrete Device Assignment (DDA) и GPU Partitioning

Для первого шага в мир ИИ достаточно:

1.Скачать LM-Studio бесплатно, без смс, с официального сайта: https://lmstudio.ai/download

2.Установить LM-Studio, путем нажатия запустить - далее – далее

3.После завершения установки, прямо из установщика LM-Studio, скачать google /gemma-3-4b

Все, вы великолепны, нажмите далее

Когда все загрузится, нажмите все сразу, и дайте первую команду – write bubble sort

Все, вы великолепны. Работает этот ИИ, в такой конфигурации, очень, очень скромно по скорости.

Заключение

Вы молодец, допишите в резюме «умею обращаться с ИИ».
И проследуйте читать, можно во встроенном в любой современный браузер автоматическом переводчике, инструкции:
https://lmstudio.ai/docs/app/basics
https://lmstudio.ai/docs/bionic/quick-start
https://code.claude.com/docs/ru/quickstart

Март 2026. METR. В вайб коде была обнаружена уязвимость типа «fail-open»: она незаметно отключала аутентификацию, в результате чего панель управления оркестрацией агентов оказалась открытой для доступа из публичного интернета на несколько дней.
Итог: счет в 600.000
Подробности: https://metr.org/blog/2026-08-31-security-update/

Заключение

ИИ пишет код.
ИИ не занимается, (как и вайб кодер, как и поколения макако-кодеров до него), если его специально не тыкать:
кешированием,
балансировкой нагрузки,
работой приложения в кластере,
Ограничением числа запросов, и прочими очередями запросов
Работой при таймаутах, повторных запросах, очередями недоставленных и неотработанных запросов,
мониторингом, точнее созданием интерфейсов для мониторинга, логированием, и прочим observability
блокировками в базе данных,
безопасностью..

И еще много чем, что выходит за границы идеальной работы при идеальных условиях.

Про это, и еще про будущее, Yoni Rechtman выпустил статью There will only be four jobs:

Вполне вероятно, что в технологических компаниях останутся лишь следующие категории сотрудников:
продуктовые инженеры / «вайб-кодеры» / продакт-менеджеры / «генераторы контента» (slop cannon): тут всё понятно без слов. Это специалисты широкого профиля, работающие в высоком темпе и активно использующие современные инструменты. Разумеется, они не ограничены рамками чисто инженерных или продуктовых ролей; коммерческое и продуктовое мышление может быть присуще кому угодно.

SRE, специалисты по инфраструктуре, безопасности и системные инженеры: мы будем создавать такое огромное количество продуктов и сервисов, что потребуются действительно классные специалисты, способные всё это объединить, обеспечив стабильность, безопасность и надежность системы.

«Взрослые»: иногда в коллективе нужен человек, способный трезво оценить ситуацию и сказать: «Послушайте, ну хватит уже». По сути, они выступают в роли регулятора, сдерживающего организацию, которая в противном случае рискует потерять контроль из-за слишком быстрого роста. Такие люди встречаются на самых разных позициях, но есть сферы — например, юриспруденция или финансы, — где без «взрослого» руководителя успех просто невозможен.

Привлекательные люди: эффектные, обаятельные сотрудники могут занимать самые разные должности — от продаж и HR до работы с клиентами (CX). Всегда найдется место для тех, кто олицетворяет собой «простой и приятный UX» (удобный интерфейс взаимодействия) и с кем просто приятно иметь дело. И помните: привлекательность бывает разной

Поживем - увидим, что еще сказать.