Серия «Селф-хост»

1) "Особые" случаи- как правило это SBC (Single Board Computer, одноплатный компьютер) вроде различного рода * Pi (Raspberry Pi, она же "Малинка" , Banana\Orange\.... Pi), или же немного изврата с адаптацией железа с других платформ под нужды селф-хоста. В первом посте я описал, что минимальной планкой для селф-хоста сейчас ставлю 6 т.р. + накопители, и описал, что за эти деньги можно ожидать ТВ-бокса китайских небольших компаний, прошиваемого на Линукс. И я все ещё считаю, что для ультра-бюджетного "Вкатывания" в селф-хост это один из лучших вариантов. Почему? Об чуть позже.

2) Неттопы\Мини-ПК\ноутбуки. Всё это -вполне подходящие варианты, хоть и с рядом условностей. Они, как правило, сильно дороже (если речь идёт о хотя бы отдалённо свежем железе) , но при этом это компактное решение, которое потянет бОльшую часть вычислительной нагрузки вне ИИ-среды.

3) Полноценные ПК , самосбор. Вариант более чем рабочий, но с рядом ощутимых оговорок.

4) NAS (Network Access Storage) или ему подобные "Коробочные" решения. Плюс - как правило- работает из коробки, и часто обладает функциями, которые в других вариантах категорий 1-2 из коробки не найти- RAID\зеркалированием, например. Минус- обычно дороже , часто- вендор-лок, и доступный софт может , в зависимости от платформы, быть ограничен.

Это -основные категории. Они могут спокойно пересекаться от модели к модели по производительности, по стоимости, по фичам. Категория в данном случае определяет скорее форм-фактор устройства.

Далее я рассмотрю основные, на мой взгляд, варианты в каждой категории, распишу примерные ценники , плюсы и минусы.

Вариант А:

ТВ-бокс на Android, прошитый на Linux.

В чём преимущество?

Всё просто:

Обычно ценник на них чуть выше (3.5-5 т.р.) , но это всё ещё хорошее предложение.

Плюсы- за эти деньги получается полностью готовая к подключению накопителя коробочка, которая сразу обладает и WiFi\BT, и аппаратным декодированием H264\H265, и гигабитным LAN-портом, ест ~10 ватт , при желании помещается в карман, и может работать полностью пассивно, без шума вентиляторов.

При этом на борт ставится вполне полноценный Linux (обычно Armbian) ,и такой бокс запросто держит десяток не самых требовательных приложений.

Минусы- нужно очень тщательно выбирать модель (уровень поддержки может разниться от "Всё сразу заработало" до "Ни вайфая, ни сетевой, только консоль в зелёной гамме"), ограничен выбор дистрибутивов Linux (базово обычно Armbian, изредка встречаются Arch-based сборки типа той же Manjaro. Процесс запуска Linux может быть не самым очевидным, а установка "полноценно" в память самого бокса- хлопотной.

Производительность таких ТВ-боксов находится где-то на уровне флагманских телефонов начала десятых годов, или даже ниже. Казалось бы- этого очень, ОЧЕНЬ мало, но на практике- этого достаточно в разумных пределах . Тяжелые сетапы вроде Nextcloud+ Immich+ Homeassistant + Jellyfin такая коробочка не потянет ,но по одному-два эти сервисы вполне можно использовать. Или же пяток-десяток сервисов , не сильно требовательных к железу.

В целом- это вполне рабочий вариант, если селф-хост пробовать впервые. Если даже "не зайдёт" - коробок прошивается на Android и служит просто ТВ-приставкой, или же прошивается в ретроигровую консоль, или... Не шумит, много не ест, в зависимости от модели и поддержки- может требовать изредка перезагрузки.

Общий минус что категории приставок, что мини-ПК - это отсутствие возможности зеркалирования дисков или создания RAID-массивов нативно.

Вариант Б:

Неттоп\Мини-ПК.

Это решение уже классом выше . Даже условный Intel N150 даст в конечном итоге сильно бОльше свободы в плане запуска сервисов, а Ryzen 3000\5000\6000\7000 -вообще может потянуть даже простенькую ИИ-нагрузку.

Ценник, разумеется, тоже улетает вверх, но тут по-разному. Новый фирменный мини-ПК может варьироваться от ~15 т.р. за сетап на условном N150\Ryzen 3***U и с 8 ГБ оперативной памяти, постепенно повышаясь до ~ 25-30 т.р. за сетапы на Ryzen 5500u и ближайших к нему (в сборке с накопителем и оперативной памятью), и уходя дальше- к сборкам на Ryzen 255, и совсем навороченным машинам на Ryzen 3** AI\HX за 200+ тысяч рублей. Для домашней серверной нагрузки это избыточно, за исключением локальных нейросетей.

Плюсы:

Всё ещё легче, меньше, тише , чем полноценный сборный ПК. В отличии от тв-боксов- уже довольно легко апгрейдится (не всегда, есть модели с распаянной памятью, особенно в области "инженерных" чипов). Сетапы на N100\N150\N200 могут работать пассивно (за счёт массивного корпуса, выступающего радиатором), Райзены - как правило с ноутбучной "Турбиной" . Это уже не полная тишина, но в комнате с таким всё ещё можно спокойно спать.

Зато это полноценный X86\64 , т.е. выбирать дистрибутивы можно спокойно, вплоть до "специфичных", мощности уже хватит для полноценной нагрузки полным набором софта вне ИИ-среды, плюс N*** у Интела обладают отличным встроенным декодером\энкодером видео , а Ryzen - кодируют видео на iGPU (VAAPI).

Практически всегда- опять же "Batteries Included", т.е. на борту уже будет Wi-Fi\BT приёмник, но портов USB сильно больше, могут быть дополнительные фичи.

Минусы- ценник взлетает быстро, тишина, опять же, уже не полная (модели с "турбиной" могут основательно реветь во время активной нагрузки), у некоторых моделей всё ещё присутствуют костыли в плане совместимости драйверов с Linux (в основном Wi-Fi\BT модулей или Ethernet-адаптеров). Всё ещё в большинстве случаев нет поддержки RAID.

В целом- модели нижнего и среднего ценового- вполне пользуются популярностью в виде "домашних серверов", хотя и не без конкуренции со стороны БУ -рынка.

Вариант В: SOC, также известный как одноплатник.

По сути- это решение где-то между ТВ-боксом и мини-ПК. Как правило- в основе всё ещё ARM-чипы, от всё того же S905X* до RK3588 и выше. В эту категорию попадают различные * Pi (Raspberry Pi\Banana Pi\ Orange Pi \ Rock * и т.д. ). В отличии от ТВ-боксов- у таких плат, как правило, есть полноценные выходы GPIO, SATA\NVME M2, иногда - несколько Ethernet разъемов и готовые сборки Linux под конкретную плату.

Плюсы- всё ещё тихо, холодно , но гораздо производительнее.

Минусы- дорого (ДОРОГО) относительно прямой производительности, нуждается в докупке "аксессуаров" (корпуса, БП , "шапки" , т.е. платы расширения, адаптеры Wi-Fi и BT для большинства моделей (на скриншоте выше- чисто плата. Вообще без "обвеса". За него можно смело добавлять 10-15 тысяч к стоимости.). Увы , но этот вариант из селф-хоста всё чаще выпадает, просто потому, что полноценный "сервер" на RK3588 выходит в сумму, сравнимую с полноценным мини-ПК , при этом разница в производительности будет колоссальной. GPIO- однозначно полезны, но реально нужны только совсем небольшому кругу энтузиастов, в сфере селф-хоста- редко. По сфере SOC\SBC кризис памяти ударил больнее всего, фактически сегмент убит.

Вариант Г: Самосбор на основе полноценного ПК.

То, что обычно представляют при словах "Домашний сервер" .

Тут всё просто- берём обычный компьютер, ставим "серверную" ОС. Места под жесткие диски- уйма. Запас по питанию- огромный (если БП позволяет) . Процессор\ОЗУ\ГП - можно варьировать как угодно.

Плюсы- модульность полноценная, апгрейд- прост как три копейки. Любой необходимый набор интерфейсов . Полноценный RAID при наличии достаточного количества дисков .

Минусы- попытки сэкономить где только можно рискуют породить монстра. Сосуществование с огромным гудящим 24\7 гробом в одной комнате может быть довольно неприятным. А собрать такой ПК маленьким, тихим и сбалансированным- может быть или дорого, или довольно нетривиально. В "народной" нынче платформе AM4 материнских плат формата Mini-ITX не слишком много, корпус- ещё можно найти, но в целом- это относительно хлопотно. Плюс основной нюанс селф-хоста - "сам управляешь- сам несёшь ответственность" тут работает в два конца- самостоятельно собранный ПК - это принятие ответственности за сборку.

Разумеется, что сборка навроде AM5 Ryzen 7***X + 32 GB DDR5 + какой бы то ни было GPU, на в Mini-ITX корпусе объемом в несколько литров, да с тихоньким кулером- это прямо мечта от мира домашних серверов. Но :а) ДОРОГО. б) Сборка такого ПК уже требует опыта от сборщика, т.к. часто там процесс сборки отличается от "обычного" , в) имеет смысл только в случае полноценных станций для локального ИИ- для всего остального это слишком большая вычислительная мощь, ещё и выливающаяся в неплохой жор электроэнергии.

Вариант Д: БУ-рынок ПК\неттопов, Авито, списанный энтерпрайз.

Это рынок, уже требующий определенного опыта. На площадках типа Реддита, обычно, когда заходит речь об "оптимальном" железе - часто звучит что-то наподобие "ThinkCentre с Ebay за 100-200$" ,и в зависимости от обстоятельств- это вполне может быть актуальным выбором. Часто за те же деньги, которые обойдётся мини-пк с маркетплейсов , можно взять БУ ноутбук на той же платформе,или даже мощнее. Нужно ли- вопрос, но возможно.

Но стоит понимать, что Авито- это в принципе мир в себе.

Поэтому покрыть рынок БУ ПК одним постом- в принципе, на мой взгляд, практически нереально.

Вариант Е: NAS.

Тут всё просто- это решение, которое работает "Из коробки". Оно уже рассчитано на какое-то количество дисков, как правило- поддерживает NAS, обладает операционной системой, специально заточенной на селф-хост с поддержкой каких-то базовых сервисов.

Аппаратно они делятся на два крупных вида:

X86-64 . Тут всё просто -это, по сути, просто неттоп\мини-пк, к которому производитель сразу приделал RAID-контроллер и распланировал корпус под N дисков. Обычно это оборачивается ощутимым повышением ценника, что может вывести аналог неттопа за 20 т.р. в ценовой диапазон ближе к 40-50.

ARM- как правило, остро заточены под задуманный производителем сет программ. Может варьироваться от "Просто диск с доступом по сети через приложение" до полноценной поддержки Docker и настроенного производителем "магазина приложений". Стоит понимать, что подобные штуки, хоть и хорошо выглядят "из коробки" -могут быть проблемными в тонкой настройке .

Важно- всё больше NAS отказывается от поддержки 2.5\3.5 HDD, переходя на NVME-only хранилище. Перед покупкой обязательно стоит проверить поддерживаемые конфигурации дисков.

По сути- по мощности, по функционалу и по ценнику, эти категории могут легко пересекаться, а могут и прямо находиться на разных углах. Те же NAS часто могут обладать железом даже слабее, чем дешёвый TV-бокс, но закрывать основную его слабость- отсутствие гибкости в подключении и выборе накопителей.

Но в целом- это основные категории, в которых имеет смысл смотреть. Это недёшево, но тут остаётся только пожать плечами. Именно подорожание комплектующих, по сути, сейчас вышибает селф-хост в "нишевое" хобби.

Мини-ПК, служащий мне сейчас "сервером" , взятый когда-то за ~ 20 т.р. - сейчас даже на БУ-рынке приближается к 25-30 в стоимости . Жесткий диск, взятый года полтора -два назад за 7 т.р., сейчас в том же магазине приближается к 25 т.р. . И т.д.

В целом, несмотря на то, что я начал эту серию постов- я не могу однозначно порекомендовать сейчас влезать в селф-хост. Повторю вывод из первого поста- хорошо, если у вас есть "ненужное" железо или накопители. В противном случае- слишком дорого.

Итоговая лестница производительности:

TV-Box (S905X*) => ARM NAS => High-Tier SBC (одноплатник на 3588 или Amlogic S92*) => N150\ Ryzen 3*** => Ryzen 5***\6***\7*** => Десктопный Intel\Ryzen свежих поколений => Флагманские "мобильные" чипы => флагманские десктопные сборки.

X86-64 NAS просто ложатся в категорию по чипу, а не в отдельный слот.

В следующем посте я рассмотрю "сопутствующие траты" и подобные моменты (Роутер , и его роль в "домашнем сервере" , различного рода "адаптеры" для нестандартных протоколов, ИБП, и т.д.), а затем- перейду уже к чисто программной части - ОС (их целая россыпь!) , основным механизмам (Натив\VM\Контейнеры, доменные имена -DNS-DDNS, реверс-прокси, порт-форвардинг и т.д.) , и затем уже - полноценно побежим по софту, от крупных платформ (Jellyfin\HomeAssistant\Nextcloud\*arr) к более тематическим программам.

На данный момент я занимаюсь настройкой "homelab" под ключ. Не скажу, что услуга пользуется огромным спросом, но он есть. Сразу обмолвлюсь- во избежание обвинений в предвзятости- на Пикабу, и в других источниках, если я буду их заводить- я НЕ буду оставлять никаких данных о контактах и рекламу собственных услуг. Для меня это принципиально. Я здесь не для рекламы, а для того, чтобы, возможно, подарить хобби хотя бы небольшому количеству людей. Хобби, которое в данный момент стало нишевым, но всё ещё позволяет относительно бюджетно стартовать, и приносит плюшки то тут, то там в повседневной жизни.

ВАЖНО: я НЕ сторонник "отказа от корпораций". Селф-хост в моих глазах- это не про "ОНИ НЕ ПОХИТЯТ МОИ ДАННЫЕ" , и не про корпорации добра, зла, и прочие. Я просто хочу получить систему, которую смогу подстраивать под себя более гибко, чем имеющиеся сервисы- аналоги, и которая будет закрывать мои потребности, которые не закрывают имеющиеся на рынке сервисы. Это не акт борьбы, революции против бигтеха, это просто "своё хочу".

Итак, начинаем.

Пост 1. Мета.

Что такое этот ваш "Селф-хост"?

Селф-хост (Self-host) - это процесс, при котором человек (или группа людей) необходимые им сервисы заводит на собственных вычислительных мощностях. В принципе- это всё определение, да. Что это будут за мощности- дело запускающего. Они могут быть в том числе арендованы "В облаке", но обычно всё сводится в том или ином виде к концепции "домашнего сервера" - какой-то железяки, которая лежит дома, 24\7 подключённая к питанию и Интернету, и на которой запущен некоторый набор программ.

А зачем оно вообще?

В последние ~10 лет селф-хост стал набирать популярность. Практически все нынешние крупные проекты в этом направлении появились где-то в начале-середине десятых годов, а сейчас имеют крупные сформировавшиеся сообщества.

Причина, по которой это произошло за границей- в основном сводится к паре столпов:

а) Ужесточение анти-пиратского законодательства. Блокировки пиратских CDN и изъятие серверов, "подсадные" юристы в P2P сетях, из-за которых скачивание торрента в какой-нибудь Германии запросто оборачивается многотысячным штрафом.

б) Постепенное увеличение подписочной нагрузки. Западное общество, особенно в США- довольно сильно закредитовано. Подписки на контент в этом случае ложатся примерно в ту же корзину, что и платежи по кредиткам- это "текущая нагрузка". Когда практически единственным сервисом был Нетфликс- это работало даже на уменьшение пиратства как такового- геморрой с поиском контента не стоит пары баксов за "расшаренную" подписку. Но с тех пор контент распочковался по десятку-двум платформ, каждая- с эксклюзивами, каждая с отдельной оплатой, и при этом - ещё и дорожающей.

в) Общее отторжение принимаемых в пределах технологического сектора решений. Постепенно идея того, что хранимые на серверах корпораций данные- не твои, они могут быть не просто отобраны у тебя, но и использованы тебе во вред. Через что-то подобное средний пользователь прошёл ещё в нулевых на взлетё условных фейсбуков и ВКонтакте- тогда на волне восторга от концепции там могли спокойно оставить номер телефона на всеобщее обозрение, а то и вовсе фото, которые не предполагали кому-то показывать. Постепенно рядовой пользователь приучился разделять свои данные на "свои" и "публичные" . Сейчас подобное происходит несколько глобальнее. Инициативы типа Stop Killing Games в том числе поднимают и этот вопрос, т.к. предмет обсуждения хоть и отличается, но лежит в одной плоскости.

В случае с РФ добавляется ещё пара моментов, ставших актуальными за последние года:

а) Массовый отзыв лицензий на контент с отечественных стримингов , плюс борьба зарубежных сервисов с пользователями под VPN, и разворот в сторону геоблока в целом.

б) Общее нагнетание атмосферы "интернет не нужОн" - постоянные разговоры о белых списках, платном международном трафике, и т.д.

в) Прилёты по ЦОДам открывают новый слой во всей этой ситуации, да.

Ну и остаётся то самое "убеждение". "Всё своё ношу с собой" и прочая идеология.

В чём сейчас плюсы?

Ровно в том же, что и за рубежом- твой контент остаётся с тобой. Твои фото- твои, доступны тебе в любое время, не будут удалены из-за того, что нейросеть при заливе обнаружила там что-то нехорошее, не будут принудительно сжаты для сокращения издержек, тебя не будут шантажировать тем, что если ты перестанешь платить на месяц-два - фото просто удалят.

Плюс номер два- селф-хост системы могут быть гораздо более гибкими, чем их "сервисные" аналоги. Возможно и обратное, да. Но из того же Nextcloud можно собрать не просто облако, а "твоё" облако- с нужным тебе функционалом, вмещающее не только файлы и документы, но и штуки, которые интересны именно тебе- книгу рецептов, журнал КБЖУ, или хранилище моделей для 3D-печати с предпросмотром.

Плюс номер три- прямой доступ из локальной сети в отсутствие связи. Если провайдер уронил доступ к интернету , но ты сидишь дома, и сервер у тебя под кроватью- данные доступны. Это не без нюансов (при схеме "провайдер уронил интернет" - не будет доступа извне, или же нужен резервный канал), но это остаётся верным в большинстве ситуаций. Исключение- белые списки. Но БС это в принципе штука, которая практически любую логику связи ломает напрочь.

В чём минусы?

Основных минусов на данный момент четыре. И два из них взаимосвязаны.

Первый- довольно большие затраты в момент старта. В будущих постах я распишу совершенно разные сетапы и по стоимости, и по мощности. Но факт остаётся фактом- если у вас нет железа на руках , то это немаленький чек на старте. Перебивает ли это подписки- вопрос, на который каждый отвечает себе сам.

Второй - сейчас ОЧЕНЬ, ОЧЕНЬ плохая ситуация с ценами на накопители. Если у вас есть , условно, "завалявшийся" жесткий диск или SSD- это очень круто. Но ценник на классические HDD улетел в космос. Модель, которую я года полтора назад брал за 7 т.р. (4ТБ HDD) , сейчас еле-еле можно найти за 25. Терабайтный HDD фактически ушёл по стоимости выше, чем терабайтный SSD из бюджеток. Это ОЧЕНЬ ДОРОГО. И увы, но пока не начнёт сдуваться (именно сдуваться) ИИ-пузырь - улучшения вряд ли будут. Будет дороже. Будет сложнее.

Третий- данные твои. Ответственность за них- тоже твоя . Умер диск, и данные не зеркалировались- попрощайся с ними. По незананию сделал rm -rf /? Попрощайся с ними. Ты решил переустановить систему, а потом понял, что сервис шифрует данные ,а ключ ты не сохранил? Исход понятен. И так далее. Нет волшебного Яндекса, который хотя бы попытается восстановить твои данные, если у них откажет ЦОД (пока отказов не станет слишком много). Ответственность целиком на тебе. Это ВАЖНО, и именно это ломает розовые очки большинству селф-хостеров в момент первой поломки. Ломает с хрустом, после чего, как правило, многие просто уходят из селф-хоста и больше не оглядываются.

Когда селф-хост имеет смысл? Когда смысла нет?

Тут чисто моё мнение, т.к. объективно- вопрос сложный.

Селф-хост имеет смысл, если:

1) У вас есть "ненужное" железо. Сейчас, повторюсь, селф-хост это ДОРОГО.

Старый ПК, который вы уже пообновляли. Жесткие диски, которые лежат ещё с прошлых железяк типа ноутбуков. В таком сетапе можно как минимум начать вообще без боли. Понравится- окей. Не понравится - железяки просто вернутся на полку.

2) У вас есть не самые большие деньги и накопитель, но вопрос интересен и попробовать хочется.

Для себя минимальную планку я установил примерно в 6 т.р. и терабайтный накопитель сверху. О железе как таковом будет следующий пост, где я распишу разные ценовые категории серверов и то, что на них получится\не получится запустить. Но если не брать откровенно рандомные ПК с Авито- то 6 т.р. это минимальная планка, представляют которую , внезапно, даже не ПК, а прошиваемые на Linux ТВ-боксы на китайских платформах. Vontar X3 я испытывал в течении сервера примерно год-полтора, и хотя не без проблем- но с ним вполне можно окунуться в эту среду. К тому же в случае чего такие штуки довольно просто прошиваются обратно на исходную, и остаются рабочим ТВ-боксом.

3) У вас есть деньги, и хочется хобби.

Тут всё просто - селф-хост это буквально цифровая версия ,условно, жигулей в гараже. На доведение селф-хост сетапа под себя можно запросто убить год-два веселых посиделок по вечерам, и при этом какую-то отдачу в быту ты будешь от этого чувствовать. Это весело. Ну и навыки в ИТ понемногу, но качает.

4) У вас есть интерес к "умному дому", или ваши потребности в плане сервисов лежат НЕ в плоскости ИИ и киношко-музыкальной мультимедии.

Селф-хост - не обязательно про огромные количества данных. Умный дом- вполне себе вариант селф-хоста, и при этом наличие домашнего сервера сильно расширяет возможности и свободу выбора в плане железяк умного дома.

Кроме кино,музыки и фото, которые занимают на накопителях подавляющее большинство места -есть ещё десятки программ и проектов, которые не сильно требовательны к накопителям, но успешно интегрируются в повседневную жизнь. И хотя в основном, говоря про селф-хост, вспоминают именно Plex\Jellyfin и *arr -ими всё далеко не ограничивается.

Смысла лезть в селф-хост НЕТ, если :

1) Вас полностью устраивает текущее состояние подписок и прочего, за которые вы платите, а риски, связанные с недавними событиями или блокировками- вы считаете приемлемыми.

2) У вас очень небольшой бюджет, и нет свободных накопителей. Слишком дорого сейчас. Увы. Плюс сервер под кроватью- это хоть и не самые большие, но затраты на розетку.

3) Вы не готовы к тому, что софт будет время от времени отказывать, сервер надо иногда перезагружать , обновлять и в принципе периодически уделять ему время.

4) Вы предпочитаете "под ключ" решения, даже если они дороже или менее функциональны. Это нормально.

Более детально определить, привлекает ли вас идея селф-хоста, можно будет по ходу серии постов.

В принципе- на этом первый пост, наверно, и закончу. Следующий пост в ближайшие пару дней будет по "железу" - распишу основные конфигурации от ультра-бюджетных до ультра-дорогих, рассмотрю "коробочные" решения и их плюсы и минусы, распишу не-серверные затраты на селф-хост. Постараюсь уделить больше времени оформлению поста, иллюстрациям и прочему.

Комментарии буду по возможности читать, на вопросы охотно отвечу. Сразу замечу- я попытаюсь излагать вещи так, чтобы они были понятны, условно, человеку "не в теме". Это может приводить к тому, что достаточно сложные вопросы я буду упрощать до более примитивных , а это, как правило, порождает неточности.