Прошло примерно три месяца с момента моего первого поста в этом сообществе - про то как я сделал свой домашний сервер. Я был молод и наивен полон энтузиазма и считал что уже все сделал и был готов делится опытом.

Чтош, самое время подвести промежуточные итоги и рассказать о тех ошибках, которые я натворил, возможно кому то они помогут их избежать. Ну и просто похвастаться.

Слой железа.

1. Добавилась еще одна машинка. Знакомый вворемя заметил тренд на подорожание оперативной памяти и посоветовал - если тебе что то нужно - бери сейчас или потом не ной. Поэтому я залез в кубышку и приобрел еще ASUS NUC 14 Pro Tall Kit RNUC14RVHV500002I (Intel Core U5 135H Processor, Intel Arc Graphics, Intel WiFi 6E, No Operating System, with EU Power Cord), добавил к нему WD_BLACK SN850X NVMe SSD 4 TB Internal SSD и Crucial DDR5 RAM 96GB Kit (2x48GB) 5600MHz SODIMM. Все вместе стоило 1158 евро, сейчас такой же набор уже обошелся бы мне 1973 евров. Моя жаба довольна, до тех пор пока не займусь плотно llm локальными - мне желаза хватит надолго.

2. Добавился TP-Link TL-SG3428X 24-Port Gigabit L2+ Managed Switch (4 10GE SFP+). Ранее все устройства были воткнуты напрямую в роутер - но это не очень правильно. Добавление считча позволило мне
   - обьединить все сервера в высокоскоростную сеть.
   - снять нагрузку с с CPU роутера

   - интегрировать Omada и сделать более сложную топологию сети.
   Свитч подключен 10G к роутеру, остальные три порта заняты НАС и двумя машинами.

   Совершенная ошибка: всего 4 быстрых порта в свитче, сейчас я бы взял 8 SFP+, а меди можно было взять меньше.

   В свою защиту скажу что три месяца назад я вообще не знал что такое SFP+ и что бывают скорости больше 2.5 гигабита.

3. Добавился юсб - хаб, временное колхозное решение, но в серверах начало не хватать портов для переферии. Уберу в версии 2.0.

Слой ОС

Наиболее заметные изменения были именно на этом слое. Три месяца назад на одной машине у меня стоял OMV, на котором крутились все контейнеры, а на второй - Проксмокс, на котором крутились виртуалки Home Assistant.

Совершенная ошибка: OMV это прежде всего сетевое хранилище, на которое «сверху» прикрутили возможность запускать Docker. Если падает ОС или забивается системный диск логами Docker - падает всё сразу.

Сейчас OMV я убил полность, а на все три машины установлен Проксмокс, ноды обьединены в один управляемый кластер, критически важные машины используют SSD iSCSI-рейд на NAS.

Proxmox - это гипервизор 1-го уровня. Все сервисы живут отдельно. Падение одного не задевает другого. При наличии кластера (три+ устройства) можно использовать iSCSI луны как системные диски, можно обеспечивать High Availability state. Простыми словами - если запщущенная у меня на одной машине виртуалка падает, даже если вся машина полностью выходит из строя - проксмокс автоматически поднимает ее копию спустя пару минут на другой машине. Часто пользователь даже не замечает этого. В случае если нужно провести обслуживание одной машины - виртуалку за пару минут можно перенести на другоую машину без потери доступности. Proxmox Backup Server позволяет быстро и экономно хранить бекапы всего и вся.

Слой логики.

Совершенная ошибка: Я перетащил все 60 + контейнеров с моей машины OMV на ноду проскмос без проблем - но проблема началась позже. У меня не было распределения сервисов на "критические" и "контентные", все висело на одной виртуалке. Если она падала - падало все. А она падала!
Решением стало выделение отдельной виртуалки (infra-gateway) для системных служб (Nginx Proxy Manager, Omada Controller, Authentik, AdGuard Home, Prometheus, Grafana, Alertmanager, Uptime Kuma, Dozzle Master и CrowdSec). Я повесил ее в режим High Availability state и это стало моим лучшим решением - никакие дальнейшие эксперименты в лабе не могли "сломать мне все". Пойдя дальше я разнес окружения контента и разработки тоже на отдельные машины, но об этом позже. В свое оправдание (да, люблю я оправдываться) могу сказать что про Single Point of Failure, сиречь единая точка отказа и про Blast Radius (радиус поражения) - я тогда не слышал и не задумывался. Хождение по граблям наше все.

Слой приложений.
Этот слой тоже претерпел заметные изменения, как по содержанию, так и по логике.

Совершенная ошибка: Первое время логика была такая - О, такая штука есть, я ее себе хочу. Таким образом у меня на OMV в докере появился например YunoHost (внутри которого, в докерах же, появились другие сервимы), или например заметную часть оперативки стал занимать почти корпоративный сервис для аудита безопасности GreenBone.

Пару месяцев спустя и заново изобрел подход (который изобрели задолго до меня) YAGNI (You Ain't Gonna Need It - не устанавливай сервис до тех пор, пока у тебя не возникла реальная, осязаемая потребность в нём. Сервисы нужно обновлять. Сервисы нужно защищать. Сервисы нужно пониторить. Сервисы нужно бекпить. Сервисы тратят ресурсы системы и электричество. Поэтому если я не планирую открывать сервис чаще чем раз в месяц - вероятно сервис мне не нужен.

Пока я не до конца прошел этот путь (у меня есть несколько сервисов с близкими или дублирующимся функциями), но постепенно от них избавляюсь. Уже избавился от Speedtest Tracker (тратит ресурсы, показывает всегда прямую линию), ByteStash (заменил Gitea), Terminal (заменил VC Code), Cockpit (заменил VC Code), YunoHost (работаю напрямую с контейнерами, так гибче и удобней)

Новые сервисы

Я все еще продолжаю (и планирую продолжать) экспериментировать с сервисами. Ставлю, смотрю удобно или нет, решает ли мою проблему какую то или нет. Если нет - удаляю, если да - то оставляю. Из интересного за последние месяцы появились

• Authentik - единое окно авторизации. С настройкой пришлось повозится, но потом стало очень удобно, особенно когда подвключил к сервисам жену и других родственников. Единожды создаешь пользователя в goauthentik, пользователь помнит пароль только от goauthentik, остальные сервисы используют SSO авторизацию.

• Filebrowser - файловый менеджер. Ближайший кандидат к удалению. Через VC Code удобней.

• CrowdSec - один из сервисов, который я почти никогда не открываю - но удалять не планирую. Этот сервис "читает" логи Nginx Proxy Manager и Authentik в реальном времени. Он видит каждый IP-адрес и то, что он пытается сделать. Как только поведение признано враждебным, CrowdSec принимает решение: забанить этот IP на определенное время. Далее он передает через апи команду в Cloudflare Bouncer, и тот блокируется на уровне серверов Cloudflare. Решение работает и децентрилизовано - если злоумышленик пытался кого то взломать (тех, у кого тоже стоит краудсек), то он автоматически будет забанен и у меня.

• Dockge - сервис имеет аналогичные функции с уже имеющимся у меня Portainer, но я зачем то перевел Portainer на бизнес лицензию (бесплатную для трех нод), поэтому для остальных машин нужно иметь какой то сервис управления докерами - и я выбрал этот. Сейчас Portainer у меня управляет основными нодами (инфраструктура и медиа), а разработка, аи инструменты, фригейт и прочие живут на Dockge

• Adguard Slave поселился в добавок к основному - даже если HA машина с основным adguard перегружается или недоступна - доступ к интернету остается. Синкается автоматически.

• Немного изменил медиа стек. Раньше я руками заходил в пролар, искал там что-то, отправлял в куторрент. А потом руками переносил в нужную папку - музыка ли, фильмы ли, сериалы ли. Сейчас работает не так - есть Jellyseerr, который выглядит почти как Нетфликс, в котором я просто выбираю что хочу посмотреть, нажимаю "скачать", а дальше происходит магия и нужный сериал или фильм появляется в плеере.

• Gitea. Я начал работать с VC Code и гитом, хранить там всякие конфиги, стаки контейнеров, автоматизации, очень удобно.

• Paperless-ngx - решает проблему бумажного и цифрового хаоса, превращает горы документов в структурированную базу данных с мгновенным поиском.

• Firefly III - удобный менеджер финансов, записываю расходы, доходы, смотрю красивые отчеты охуеваю от того во сколько мне обходятся мои хобби.

• Vikunja - удобный таск трекер для личных задач, хобби, развития. Работает для меня и жены.

• Monica - Я постоянно забываю дни рождения и всякие важные даты друзей. Эта легкая срм помогает мне, как воробушку социофобушку выносить из "оперативной" памяти всякие дни рождения, свадью, имена детей, предпочтения в еде, карьерные успехи друзей и знакомых. Вероятно люди стали думать что я стал очень внимательный к ним.
  

  Еще несколько сервисов в процессе изучения, и их пока описывать не буду. Если вы дочитали до сюда - вы мой герой с завидной концетрацией, буду рад ответить на вопросы если такие есть.
  

  В ближайших планах

• Разрбраться с протоколом связи Meshtastic, установить дома стационарную ноду

• Перенести все барахло в специальный ящик, сделать кабель менеджмент

• Подключить все это к нормальному ИБП (пока проблем с сетью нет - но могут быть)
  
  В дальних планах

• Купить для АИ стека машинку PGX 30KL - MT - 1 x GB10 Grace Blackwell Superchip - RAM 128 GB, попробовать поиграться с большими моделями.

• Изучить автоматизацию на Flowise и n8n
  
  

Описание Сервера автоматизации СА-02м

Питается от 24 вольт постоянного тока через торцевой разъем от модуля питания МП-02м. Там же в торцевых разъемах (слева и справа по одному) расположены RS-485, к которым можно подключить модули расширения МР-02м для увеличения количества входов\выходов (дискретные, аналоговые). Устройство на базе одноплаточника с "камнем" Allwinner A40i. Установлен Armbian + Linux 6.1.0-rc6. Оперативной памяти 512 Мб, eMMC на 8 Гб, чего вполне достаточно для диспетчеризации 5 000 тегов в MasterSCADA4D (по информации о нагрузочных тестах СА-02м в ООО "МПС Софт").

У сервера автоматизации СА-02м на борту 5 RS-485, один из которых с гальванической развязкой (изолированный). При установке системы диспетчеризации появляется возможность опрашивать различное инженерное и сетевое оборудование по протоколам МЭК 61850, МЭК 60870-5-104, Modbus RTU, Modbus TCP, OPC UA, SNMP, MQTT, BACnet, Profinet, Меркурий и других, что позволяет создать локальную систему учета электроэнергии, управлять системами вентиляции и кондиционирования воздуха, освещением, отоплением и т.д.

Так же есть возможность установить SCADA Каскад, Simple-SCADA, CoDeSys, NodeRed, OpenHab, Home Assistant и любое другое совместимое ПО.

"Под капотом"

На верхней плате:

• пара микросхем для RS-485 в торцевых разъемах

• пищалка

• статусные светодиоды

• кнопка перезагрузки

На нижней плате:

• 3 разъема для RS-485

• разъем для дискретного выхода

• Ethernet

• USB type-C + USB Type A

• управление питанием USB для перезагрузки модемов

• разъем под microSD

• PCI-e для одноплаточника

• батарейка для часов реального времени (RTC)

Характеристики "одноплаточника" на Allwinner A40i

• Allwinner A40i - 4xARM Cortex-A7 1200МГц

• 512 Мб DDR3 DDR-1200

• 8 Гб eMMC

• 2 х Ethernet 100/10M, 2 x USB

• I/O: CAN, UART, SPI, I2C, PWM, HP-out, TV-in, GPIO ...

• Размеры PCI-e 30х51х4мм

• Температурный диапазон -40 ... +85 °C

Как это работает

Подключили сервер автоматизации СА-02м к модулю питания МП-02м-24, подключили модули расширения, разработали проект диспетчеризации в MasterSCADA4D с нужной логикой работы и загрузили его.
Подключились на web по IP и управляете нужным оборудованием через графический интерфейс.
Затем добавили счетчики электроэнергии и реализовали энергоучет.

Воткнули USB модем, настроили подключение к серверу, так как это все в контейнере за пол версты от офиса и кабель не проложить до него. Потом добавили интеграцию с телеграм и начали получать уведомления на телефон. Добавили модуль с LoRaWAN для беспроводных датчиков и связи с другим контейнером. По SNMP добавили пару серверных стоек, для большего спокойствия, и можно идти на новогодние праздники.

Передумали, зашли под админкой, поставили CoDeSys с Control Basic M лицензией, и используете, как ПЛК. Нужно для дома - NodeRed и Home Assistant.

Ссылки, идеи

Будем рады Вашим идеям, предложениям и содействию по расширению функционала и возможностей СА-02м.

Сервер автоматизации СА-02м, модуль питания и модули расширения можно посмотреть тут: ЦИНТРОН - Устройства автоматизации

Одноплаточник можно глянуть тут: SK-A40i-NANO-2E

Подписаться на новости по нашим устройствам в телеграм тут: Цинтрон. Устройства автоматизации

Алоха, красноглазые! в этом посте я расскажу, как затащить данные с погодной станции на WS2032 в Home Assistant. данная статья не для новичков, подразумевается, что вы немного знакомы с linux (делать будем на нем) ну и docker надо, куда ж без него

История такова, что мне подарили эту погодную станцию и я ее в загородном доме долго использовал, но у нее только экран с цифрами есть, а как объединить ее и HA - понятных инструкций не было. ну поковыряв интернеты пару вечеров, я придумал как сделать. Вообще данный способ подходит для кучи устройств которые разговаривают по открытому протоколу на частоте 433 мгц, rtl_433 поддерживает дофига всякого

TL;DR

связка работает так - ws2032>usb radio >утилита rtl_433> очередь mqtt> home assistant

Погнали:

1. покупаем на али погодную станцию на базе WS2032 их там довольно много, и вроде как они самые недорогие, есть варианты с со сбором воды и просто ветер и температура, так же потребуется usb радиоприемник типа soap-sdr (их великое множество, все немного качеством различаются я брал на RTL2838 DVB-T, самые дешманские работают не очень) и usb хаб с питанием.

2. нам потребуется rtl_433 - утилиту можно взять из системных реп но лучше взять свежую из гита и собрать самостоятельно вот гайд,

   1. для работы rtl_433 потребуется конфиг файл, в нем очень важный момент - нужно будет указать окно девиаций частоты, поскольку станция дешманская и частота передатчика довольно заметно плавает, у меня заработало стабильно вот с таким конфигом (/etc/rtl_433/rtl_433.conf)

      device 0

      gain 0

      # default is "433.92M", other resonable values are 315M, 345M, 915M and 868M

      frequency 433.69M

      frequency 433.72M

      frequency 433.752M

      # default is "600" seconds, only used when multiple frequencies are given

      hop_interval 10

      ppm_error 0

      sample_rate 250k

      samples_to_read 0

      analyze_pulses false

      report_meta level

      report_meta stats

      report_meta time:usec

      report_meta protocol

      signal_grabber none

      output json

      convert si

      stop_after_successful_events false

      protocol 145 # WS2032 weather station

3. запустить проверить можно вот таким способом

   /usr/bin/rtl_433 -F mqtt://127.0.0.1 1883 retain 1 events rtl_433/rtlsdr/event/21770 states rtl_433/rtlsdr/state/21770 -c /etc/rtl_433/rtl_433.conf

   в ответ должно получиться что то такое

rlt_433 и контейнер с mqtt в моем случае на 1 хосте живут

4. далее нам нужен сервер очередей mqtt - проще всего использовать docker compose

вот их репозиторий со всей нужной обвязкой

services:

mosquitto:

image: eclipse-mosquitto:latest

restart: unless-stopped

volumes:

- ./config/:/mosquitto/config/:rw

- ./log/:/mosquitto/log/

- ./data:/mosquitto/data/

ports:

- 1883:1883

- 9001:9001

запускаем композ и смотрим что он начал слушать на порту 1883, рядом в соседнем терминале запускаем rtl_433 (потом можно будет написать systemd unit) - проверить что в mqtt что то пишется нам поможет утилита mqtt explorer - цепляемся к нашей очереди и смотрим события в ней

тут видно что используется 2 очереди event и state (остальные очереди в моем случае всякое остальное типа zigbee устройств) в очереди event можно понаблюдать как меняются данные,

5. раз данные обновляются стабильно, можно переходить к настройке Home Assistant - нам потребуется плагин для mqtt и немного допилить конфиг для того что бы направление ветра показывало не в градусах а в виде букв (N,S,W,E и тд)

сам плагин настраиваем что бы он слушал нашу очередь

и указываем топик откуда получать данные

далее настраиваем configuration.yaml от HA (не забываем рестатануть HA и внимательно следим за идетнацией ямла - блоки sensor ws2032_extras и mqtt должны вроде как быть без отступов, но в вашем конфиге может быть иначе)

mqtt:

sensor:

- name: "village_outside_temp"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "°C"

value_template: "{{ value_json.temperature_C }}"

unique_id: village_outside_temp_id

- name: "village_outside_humidity"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "%"

value_template: "{{ value_json.humidity }}"

unique_id: village_outside_humidity_id

- name: "village_outside_wind_direction"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "deg"

value_template: "{{ value_json.wind_dir_deg }}"

unique_id: village_outside_wind_dir_deg

- name: "village_outside_wind_avg_spd"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "km/h"

value_template: "{{ value_json.wind_avg_km_h }}"

unique_id: village_outside_wind_avg_spd

- name: "village_outside_wind_max_spd"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "km/h"

value_template: "{{ value_json.wind_max_km_h }}"

unique_id: village_outside_wind_max_spd

- name: "village_outside_battery_ok"

state_topic: "rtl_433/rtlsdr/event/21770"

unit_of_measurement: "state"

value_template: "{{ value_json.battery_ok }}"

unique_id: village_outside_battery_ok

sensor ws2032_extras:

- platform: template

sensors:

ws2032_wdc:

unique_id: ws2032_wdc

friendly_name: "Wind: Direction (Cardinal)"

icon_template: mdi:weather-cloudy-arrow-right

value_template: >

{% set direction = ['N','NNE','NE','ENE','E','ESE','SE','SSE','S','SSW','SW','WSW','W','WNW','NW','NNW','N'] %}

{% set degree = states('sensor.village_outside_wind_direction')|float %}

{{ direction[((degree+11.25)/22.5)|int] }}

ws2032_ws_kmh:

unique_id: ws2032_ws_kmh

friendly_name: "Wind: Speed (km/h)"

icon_template: mdi:windsock

device_class: wind_speed

unit_of_measurement: "km/h"

value_template: "{{ states('sensor.village_outside_wind_avg_spd')}}"

ws2032_gs_kmh:

unique_id: ws2032_gs_kmh

friendly_name: "Wind: Gust Speed (km/h)"

icon_template: mdi:pinwheel-outline

device_class: wind_speed

unit_of_measurement: "km/h"

value_template: "{{ states('sensor.village_outside_wind_max_spd') }}"

это позволит получить более человекочитаемые данные в дашборде, моем случае выглядит результат вот так

Все, осталось только накинуть системд юнит в /etc/systemd/system/rtl_433.service примерно такой

[Unit]

Description=RTL_433 service script

StartLimitIntervalSec=5

Documentation=https://github.com/merbanan/rtl_433/README.md

After=syslog.target network.target

[Service]

Type=exec

ExecStart=/usr/bin/rtl_433 -F 'mqtt://127.0.0.1:1883,retain=1,events=rtl_433/rtlsdr/event/21770,states=rtl_433/rtlsdr/state/21770' -c /etc/rtl_433/rtl_433.conf

# Restart script if stopped

Restart=always

# Wait 30s before restart

RestartSec=30s

# Tag things in the log

# View with: sudo journalctl -f -u rtl_433 -o cat

SyslogIdentifier=rtl_433

StandardOutput=syslog

StandardError=syslog

[Install]

WantedBy=multi-user.target

не забываем сделать релоад системд и сказать нашему юниту enable ну и ребутнуть разок что бы проверить что все это хозяйство переживает рестарт

ВСЕ, ПОБЕДА!

Данный способ ни на что не претендует, но возможно, этот путь кому-либо пригодится, поскольку позволяет дальше домашнюю автоматизацию развивать - например, многие почвенные датчики для садоводов точно так же общаются на 433 и их точно также можно загнать в HA и настроить автоматический полив ну и прочее такое. Этот гайд подойдет далеко не всем, но поскольку у меня очень давно поставлен HA (помните эту проблему про разные регионы для устройств от Xiaomi?) то хотелось использовать именно его. Всем спасибо и удачных данных из радиоэфира!

Друзья, в какой-то момент посетила идея сделать универсального телеграмм бота для Home Assist, чтобы не прописывать и не хардкодить все внутри .yaml конфига, и чтобы все было написано на python. Поэтому хочу показать первую (вроде рабочую :) ) версию своего бота.

Чо бот использует:
1) Python версии 3.10 и выше (это важно, поэтому если будете устанавливать на Debian, будьте внимательны, обычно там 3.9)
2) Асинхронную библиотеку aiogram версии 3.0.7b
3) PostgreSQL + SQLalcemy + asyncpg драйвер (т.е. все запросы в БД так же идут асинхронно)
4) Homeassistant-api (В первой версии пока на синхронных запросах, в планах, конечно это переделать, знаю, что там не много нужно переделывать, и, изначально все было в асинхроне, но пока я отлавливал один баг, переделал все на синхронное взаимодействие, а обратно возвращать уже не было времени).

Что бот умеет:
1) В этой версии умеет работать не со всеми сущностями, а только 'binary_sensor', 'sensor', 'button', 'light', 'switch'.
2) Для вывода в сообщениях и на кнопках использует "friendly name" сущностей, которые настраиваются на самом сервере Home Assista.
3) По команде /edit входит в режим создания и редактирования комнат, где из имеющихся сущностей можно собрать некий дашборд. (Команда доступна только тем, кто вписан в .env файл как админ, user этой командой пользоваться не может). В планах добавить БД, чтобы можно было управлять пользователями прямо из бота.
4) По команде /start выводит созданные комнаты. В тексте сообщения выводит информацию с сенсоров, а инлайн-кнопки управляют переключающимися сущностями. Пока что, кнопки умеют только нажиматься, а выключатели переключаться, т.е. диммеры регулировать не удастся.

Ссылка на репозиторий:
ChronoDi/HomeAssistBot (github.com)
Вся инструкция по установке там имеется. Если будут какие-то вопросы, пишите, постараюсь оперативно ответить.

Инструкция как получить токен для HA:
Как получить токен для API Home Assistant (bessarabov.ru)

Не забудьте включить API своего HA, прописав в configuration.yaml
api:
Home Assistant API - Home Assistant (home-assistant.io)

Как это все выглядит:
1) При старте бота он показывает созданные комнаты (если до этого они не создавались, он предлагает пройти в режим создания комнат)

2) В режиме редактирования, по команде /edit он предлагает добавить, удалить или редактировать существующие комнаты.

3) В режиме редактирования комнат выводит уже добавленные сущности, и предлагает добавить сущности из доступных категорий:

4) При выборе готовой комнаты, после команды /start, комната отображается следующим образом (хочу напомнить, что все имена берутся с HA из поля "friendly name" сущности, это настраивается на самом HA):

Прошу не забывать, что это всего лишь альфа версия бота, идей для реализации еще очень много, но все интересные предложения будут рассмотрены и аккуратно записаны для реализации. Буду рад за тест этого бота, код открытый, пользуйтесь на здоровье, надеюсь вам понравится :) Занимаюсь ботом один в свободное время, поэтому прошу прощение, если будут задержки с развитием проекта.

P.S. Знаю, что было бы хорошо все убрать в докер, так как многие сидят на haOS, это есть в планах, но руки пока не дошли.