empenoso

Во многих современных домах подъездное освещение часто включает в себя два контура: тусклое освещение вечером и яркое днём. Но мой многоквартирный дом не настолько современный и в подъезде для освещения использовались обычные лампы с патроном e27. Они всегда горят настолько ярко, насколько мощная в них установлена лампа, а включаются по датчику движения, установленном на месте обычного выключателя.

Когда несколько лет назад я стал жить по этому адресу, то сделал некоторое благоустройство в подъезде: на своём этаже спрятал кабели в кабель-канал, установил большое зеркало и поменял все лампы на первом и на своём этаже с ламп накаливания на более яркие светодиодные. Из-за особенностей конструкции датчика движения светодиодная лампа не полностью отключалась, а оставалась в режиме слабого свечения даже при отсутствии движения.

Слабое свечение лампы при отсутствии движения привело к огромному скандалу с другим "бдительным" жильцом (к счастью с другого этажа) который привлёк управляющего и был решительно настроен жаловаться во все инстанции, потому что он не хотел платить за нерациональное использование общедомовой электроэнергии из своего кармана ни единой копейки. Никакие логические аргументы с моей стороны не работали и в итоге светодиодные лампы были заменены обратно на лампы накаливания.

Мне же хотелось иметь яркое освещение в подъезде на первом этаже вместо полумрака и в итоге после нескольких покупок смог найти два датчика, которые полностью обесточивают любую светодиодную лампу:

• Датчик движения ДД 030 белый 500Вт 160гр 9м IP20 IEK.

• Датчик движения ДД 031 белый 500Вт 190гр 9м IP20 IEK.

Мне пришлось купить шесть таких датчиков (два первых и четыре вторых) и отдать местному электрику вместе с яркими светодиодными лампами чтобы он их заменил. После этого конфликт был исчерпан - лампы ярко горели и исправно отключались в неактивном режиме как на первом этаже, так и на моём этаже.

По времени это заняло около двух месяцев: от первого вкручивания светодиодной лампы, до их возвращения обратно. Но это не решало проблему двух контуров освещения: тусклого вечером и яркого днём.

Два контура освещения: тусклое вечером и яркое днём

В октябре 2024 года захотелось организовать два контура освещения только на своём этаже, без первого этажа. Но и здесь были некоторые проблемы: изначально хотел установить для тусклого вечернего освещения отдельные светильники, но у нас на этаже всего три квартиры и тамбур полностью выложен плиткой. Если устанавливать дополнительные светильники, то надо:

1. Разработать новые проект освещения, наметить места где будут установлены светильники.

2. Демонтировать плитки и потолок, которую жильцы когда-то установили.

3. Штробить стены под новую проводку.

4. Делать новую проводку.

5. Укладывать новую плитку.

6. Делать потолок.

По моим прикидкам это и получается 200 т.р. вынесенные в заголовок. Кроме того, это грязно и довольно шумно (особенно демонтаж), а ещё придётся выбирать цвета, размеры новых плиток.

К тому же не факт, что оставшиеся квартиры тоже хотят переложить плитки и потратить больше 50 тысяч просто на то чтобы 5 секунд пока они идут от лифта до двери квартиры смотреть на новые стены...

Технические решения двух контуров освещения для подъезда - тусклое вечером и яркое днём

Тогда я стал думать как использовать разные светильники для двух контуров освещения для подъезда - тусклого вечером и яркого днём, то особо ничего не смог придумать. Думал заменить светильники на другие, но тогда бы тоже пришлось переделывать как минимум потолок.

В итоге стал смотреть как можно при помощи обычной лампы светить после заката тускло, а после восхода ярко.

ESP8266 с встроенным Wi-Fi модулем

Подумал что можно использовать этот микроконтроллер чтобы прямо на нём реализовать логику: после заката светить тускло, а после восхода до заката - ярко. Никакой централизованный контроллер при этом не нужен. Осталось подобрать только подходящую лампу. И написать прошивку с этими правилами.

ESP8266 - это серия недорогих микроконтроллеров с встроенным Wi-Fi модулем, разработанных компанией Espressif Systems. Эти устройства широко используются для создания IoT-приложений (Интернет вещей), включая проекты в области умного дома. Основная особенность ESP8266 заключается в том, что он позволяет подключать различные датчики, исполнительные механизмы и другие электронные компоненты к сети Интернет через Wi-Fi, обеспечивая удаленное управление и мониторинг устройств.

Раньше я сталкивался с лампами с на ESP8266, например Sonoff B1, у этой лампы можно было получить доступ к контактам, очистить память и загрузить Open source firmware for ESP devices Tasmota или же использовать другую прошивку ESPHome для лёгкой интеграции с Home Assistant.

Проблемой стало то, что модели B1 не было в продаже на сайте SONOFF, а была только новая модель B02-BL/B05-BL, но этой новой модели не было в списке совместимых с Tasmota. Поэтому не стал покупать даже на тест.

Очень многие лампы, которые были в списке совместимости templates.blakadder.com отсутствовали в продаже - ссылка вела в никуда.

Единственной моделью рабочей моделью на ESP8266 оказалась лампа от Tuya, но чтобы заставить её заработать с Tasmota или ESPHome требовалась серьезная перепайка - на что мне не хотелось тратить время.

Zigbee

Изначально я был скептически настроен относительно использования Zigbee. Хотя у меня развернут Zigbee2MQTT на Home Assistant, но я не хотел чтобы подъездная лампа зависела от моей домашней автоматизации. К тому же логику тусклого и яркого света придется реализовывать именно на сервере, а потом отправлять на лампу, которая к тому же будет то в сети, то не в сети - ведь датчик движения разрывает фазу, питающую лампы.

Zigbee и Wi-Fi - это два разных протокола беспроводной связи, каждый из которых имеет свои особенности, преимущества и недостатки.

Я уже много лет использую Home Assistant, а до этого использовал openHAB.

Сначала я стал смотреть совместимые лампы в базе zigbee.blakadder.com, на 5 ноября она содержала 2 669 устройства, но все ссылки которые я находил на алиэкспресс стоили больше тысячи рублей - около 1,2 т.р. и выше, а я думал уложиться до тысячи за лампу. Всё таки лампы для подъезда.

Стал смотреть на озоне. Самые дешевые Zigbee лампы имели не очень хорошие отзывы. Решил купить для теста одну лампу чуть дороже - примерно за 700 рублей - это всё равно в три раза дешевле чем лампа Aqara Light Bulb T1, пару штук которых я использую в бра, но они для подъезда не подходили - во первых дорогие, а во вторых в них был функционал который в подъезде мне не нужен.

Когда Умная светодиодная лампочка Е27 RGB Zigbee, Яндекс Алисой, Google Home, Марусей, Smart Bulb 10W KOJIMA пришла, я сразу подключил её к Zigbee2MQTT и обнаружил что это Tuya TS0505B_1. К тому же я понял список совместимых устройств гораздо шире на самом zigbee2mqtt.io - там заявлено 3 900 устройств. Лампа KOJIMA (Tuya TS0505B_1) имеет вот такие свойства:

{
"brightness": 254,
"color": {
"h": 200,
"hue": 200,
"s": 6,
"saturation": 6,
"x": 0,
"y": 0
},
"color_mode": "color_temp",
"color_power_on_behavior": "previous",
"color_temp": 153,
"do_not_disturb": false,
"linkquality": 98,
"state": "ON"
}

Эти JSON данные содержат ключевые свойства, описывающие текущее состояние и конфигурацию лампы, подключенной по Zigbee, в настройке Zigbee2MQTT и Home Assistant.
Вот описание каждого свойства:

1. brightness

• Значение: 254

• Описание: это свойство представляет уровень яркости лампы, масштабируемый от 0 (выкл.) до 254 (максимальная яркость). В этом случае лампа находится на максимальной яркости.

2. color

Этот объект содержит различные атрибуты, определяющие цвет лампы в нескольких форматах. Однако будут применяться только определенные форматы на основе color_mode.

• hue (h): 200

• Описание: это значение определяет оттенок цвета в цветовой модели HS (Hue-Saturation), где 0-360 представляет градусы на цветовом круге (например, красный на 0, зеленый на 120 и синий на 240). Здесь 200 соответствует синему оттенку.

• saturation (s): 6

• Описание: насыщенность варьируется от 0 (нет цвета, оттенки серого) до 100 (полная интенсивность цвета). Если saturation установлена на 6, цвет выглядит почти ненасыщенным, близким к белому или серому.

• x и y: 0

• Описание: значения x и y определяют цвет в цветовой модели XY, обычно используемой лампами ZigBee для представления цветов в цветовом пространстве CIE 1931. Здесь оба установлены на 0, что необычно, так как типичные значения белого составляют около [0,3127, 0,329]. Это может означать, что xy_color либо не используется, либо установлен по умолчанию из-за активного цветового режима.

3. color_mode

• Значение: "color_temp"

• Описание: Это значение определяет, какую цветовую модель в данный момент использует лампа. В этом случае color_temp указывает, что лампа управляется ее цветовой температурой, а не цветовой моделью (например, xy или hs). Это означает, что значение color_temp имеет приоритет, а настройки в других цветовых форматах (hs или xy) не будут применяться.

4. color_power_on_behavior

• Значение: "previous"

• Описание: Это свойство определяет, как лампа ведет себя после включения. "previous" означает, что она вернется в свое последнее известное состояние перед выключением. Другие потенциальные настройки могут определять, будет ли она запускаться в состоянии по умолчанию или выключена, обеспечивая гибкость в поведении при восстановлении питания.

5. color_temp

• Значение: 153

• Описание: Цветовая температура измеряется в майредах (обратная цветовая температура в градусах Кельвина) и обычно находится в диапазоне от 153 (холодный белый, около 6500 К) до 500 (теплый белый, около 2000 К). Здесь 153 представляет очень холодный, похожий на дневной белый цвет.

6. do_not_disturb

• Значение: false

• Описание: этот параметр можно настроить для предотвращения определенных действий (например, мигания или выключения) на основе взаимодействия лампы с другими устройствами. Если установлено значение true, он ограничивает уведомления или действия, которые могут помешать работе пользователя. Здесь установлено значение false, что позволяет работать в обычном режиме.

7. linkquality

• Значение: 98

• Описание: Качество связи — это показатель, указывающий силу сигнала или качество соединения между лампой и координатором или маршрутизатором ZigBee. Значение обычно находится в диапазоне от 0 до 255, причем более высокие числа указывают на лучший сигнал. Качество связи 98 указывает на умеренно сильное соединение, но не на верхнюю границу диапазона.

8. state

• Значение: "ON"

• Описание: Это указывает на состояние питания лампы. "ON" подтверждает, что лампа активно включена и работает.

Настройки Home Assistant

Home Assistant - решение для локального умного дома. Внутри этой платформы легко совмещать совершенно разные протоколы и производителей и управлять всем парком устройств по единым правилам.

Изначально, раз лампы будут полностью обесточиваться и появляться в сети я хотел использовать параметр доступности availability в Zigbee2MQTT и при каждом их появлении в сети задавать нужные мне параметры освещения. Задал параметры, действовал по инструкции и ... ничего не происходило:

Это немного меня опечалило, но тогда решил принудительно каждые 59 секунд задавать параметры освещение:

В текстовом виде автоматизация выглядит вот так:

Чтобы не забивать историю и журнал событий ненужной информацией полностью исключил эти лампы и автоматизацию из записи:

В текстовом виде:

Итоги

В итоге добился своего - теперь подъездное освещение на этаже включает в себя два контура: тусклое освещение вечером и яркое днём. И для этого не пришлось менять проводку.

Жаль что не удалось найти лампы на ESP8266 - мне кажется такое решение было бы более автономным чем Zigbee лампы. Зато Zigbee лампы обошлись примерно 700 рублей за штуку.

Автор: Михаил Шардин

7 ноября 2024 г.

Перед тем как использовать торгового робота на живых деньгах хочется всё протестировать на демо-счете (или «песочнице»). Это когда программные ошибки не имеет особой стоимости.

Я планирую использовать робота на Московской бирже, через АПИ одного из брокеров. Чтобы частному инвестору начать торговать на бирже нужен брокерский счет. Однако минимальное число российских брокеров имеют свои API (на текущий момент я знаю только ФИНАМ, Алор, Тинькофф Инвестиции). По субъективным причинам я выбрал работать с T‑Bank Invest API (это бывший Тинькофф) через среду выполнения JavaScript Node.JS.

В статье разбираюсь как используя песочницу:

1. Открыть счёт.

2. Пополнить баланс счёта рублями через специальный запрос.

3. Посмотреть все свои открытые счета в песочнице.

4. Купить 1 акцию.

5. Продать 1 акцию.

6. Получить все открытые позиции указанного счёта.

7. Закрыть счёт.

SilverFir-TradingBot\src\sandbox.js

Этот код Node.js взаимодействует с API Tinkoff Invest, позволяя имитировать торговые операции на виртуальном счете, что позволяет протестировать некоторые функции API в ручном режиме. Вот что делает этот код:

1. Импорт модулей

• secrets: импортирует ключи доступа и идентификаторы из внешнего файла конфигурации (secrets), что помогает защитить конфиденциальную информацию.

• logger: импортирует модуль ведения журнала, который записывает журналы в файл или консоль. Это важно для отслеживания активности бота и отладки.

• logFunctionName: импортирует утилиту для получения имен функций, что упрощает ведение журнала текущего контекста функции.

• TinkoffClient: импортирует клиентский модуль для взаимодействия с API Tinkoff Invest. Этот клиент обрабатывает запросы к API.

2. Настройка клиента

• API_TOKEN: получает токен API (в режиме песочницы) из внешнего файла конфигурации (secrets) для аутентификации.

• tinkoffClient: создает экземпляр TinkoffClient с токеном песочницы, настраивая связь API для среды песочницы.

3. Функции песочницы

• sandboxAccount(): это основная функция, демонстрирующая различные операции с учетной записью песочницы, с несколькими действиями, которые в настоящее время закомментированы.

• logFunctionName(): регистрирует имя функции в консоли, что полезно для отслеживания в сложных приложениях.

• GetSandboxAccounts: получает все открытые позиции указанного счёта.

Закомментированные операции:

• OpenSandboxAccount: регистрирует новый счет в песочнице, что позволит начать тестирование заново.

• SandboxPayIn: зачисляет средства на счет в песочнице в российских рублях (RUB). Здесь указанная сумма составляет 30 000 руб.

• CloseSandboxAccount: закрывает указанный счет в песочнице, используя его accountId, что позволяет выполнить сброс после тестирования.

• GetSandboxPositions: извлекает и регистрирует все открытые позиции для указанного идентификатора счета.

• placeMarketOrder: отправляет рыночные ордера на покупку и продажу указанного инструмента (здесь BBG004730N88). Это позволит протестировать функциональность размещения ордеров в песочнице.

Ошибки

• sandboxAccount().catch(logger.error): запускает sandboxAccount асинхронно и регистрирует любые обнаруженные ошибки.

Эта структура кода демонстрирует, как взаимодействовать с виртуальным торговым счетом в API Тинькофф. Закомментированные блоки кода указывают на дополнительные функции, которые можно активировать при необходимости, такие как открытие, пополнение и закрытие счетов песочницы, а также размещение ордеров на покупку/продажу.

Быстройдействие

Я не ждал какого-то особо быстродействия. Для человека это очень быстро, но вот для робота это медленно. Это придётся учесть при разработке торговой стратегии.

Для торгового робота 1,146 секунды от отправки ордера до его исполнения можно считать довольно медленным временем.

В высокочастотной торговле (HFT), где компании конкурируют за время исполнения менее миллисекунды, время обработки ордера более одной секунды будет непозволительно долгим. Стратегии HFT основаны на выполнении тысяч сделок за доли секунды, поэтому 1,146 секунды сделают этого робота неконкурентоспособным.

Напротив, для долгосрочной стратегии, такой как дневной торговый бот или свинг-трейдинг, это время может быть приемлемым. Скорость исполнения остается важной, но не такой критической, как в HFT. В этих случаях компромисс часто склоняется в сторону надежности и экономической эффективности, а не чистой скорости. Задержка в 1 секунду, как правило, не подорвет прибыльность в стратегии, где сделки исполняются с интервалом в несколько минут или даже часов.

Я планирую использовать свинг-трейдинг — это торговая стратегия, ориентированная на захват краткосрочных и среднесрочных ценовых движений, обычно удерживая активы в течение нескольких дней или нескольких недель. Цель — извлечь прибыль из «колебаний» цены, используя рыночный импульс, когда цены колеблются в рамках тренда или между уровнями поддержки и сопротивления.

Итоги

Проект полностью представлен на Гитхабе: https://github.com/empenoso/SilverFir-TradingBot.
Новые модули будут загружаться по мере написания и тестирования.

Автор: Михаил Шардин

5 ноября 2024 г.

Бывает, что частные инвесторы не доверяют сервисам для ведения портфеля ценных бумаг и ведут учет своих инвестиций в «Экселе» или «Гугл Таблицах».

Если количество ценных бумаг не так велико, то подобное использование таблиц оправдано:

• не требуется платить кому-либо за хранение данных;

• никто не удалит ваш файл, например, за неактивность;

• отчеты можно сделать такие, как вам нравится.

Но у такого метода учета есть и свои минусы, главным образом связанные с необходимостью ручного обновления котировок. Если раз в квартал сделать это несложно и вручную, но чтобы поддерживать актуальность чаще, потребуется много времени: нужно зайти на сайт, где опубликованы текущие котировки, найти нужную цену, скопировать ее и вставить в ячейку таблицу. И так для каждой ценной бумаги в портфеле. Печально и долго.

Зачем вообще нужны актуальные цены в таблицах:

• Инвесторам - для эффективного управления портфелями и рисками.

• Трейдерам - для оптимизации решений о покупке и продаже с максимальной прибыльностью.

• Аналитикам - чтобы лучше понимать рыночные тенденции и повышать точность своих прогнозов и отчетов.

В статье расскажу, как автоматизировать процесс скачивания котировок. Ниже будут представлены готовые файлы с примерами получения цен, которые можно скопировать и с небольшими изменениями вставить в вашу таблицу.

Проблемы получения котировок в любые таблицы

Хотя возможность автоматического получения котировок в «Эксель» или «Гугл Таблицы» упрощает ведение портфелей, существует несколько технических препятствий, с которыми можно столкнуться при парсинге или скрапинге (в общем виде это автоматический сбор данных из интернета, в таблицах работает через формулы или скрипты):

• Динамическая загрузка контента: современные веб-сайты часто используют JavaScript для загрузки текущий цен уже после первоначальной загрузки страницы. Это создает проблему для базовых методов парсинга.

• Ограничения API: некоторые веб-сайты и финансовые учреждения предлагают общедоступные API (например, Московская биржа или Банк России), но и они имеют свои ограничения.
  А бывает, что можно найти АПИ, например для investing.com, но чтобы воспользоваться им потребует поиск альтернативных методов - имитация человека для того чтобы получить данные - использование автоматизации браузера.

Скачиваем котировки в в Microsoft Excel

Еще недавно автозагрузка котировок для некоторых иностранных акций была доступна прямо в «Экселе» - с подпиской Microsoft 365, но с марта 2024 это не работает.

Легко масштабируемый способ это VBA - это внутренний язык программирования Microsoft Office. С его помощью придется написать макрос, мини-программу, которая выполняет сразу несколько действий. Я уже написал код — достаточно будет заменить в нем пару строк под ваши потребности и вставить в таблицу.

Хотя такие инструменты, как Power Query, также могут достигать аналогичных результатов, VBA обеспечивает большую гибкость и масштабируемость.

Для извлечения российских котировок можно использовать API, предоставляемый Московской биржей. Интегрировав этот API с Excel можно извлекать цены на облигации или другие классы активов с 15и минутной задержкой непосредственно в свои электронные таблицы без ручных обновлений:

Для популярных иностранных бумаг написал VBA:

Для получения курсов от Центрального банка Российской Федерации тоже пришлось написать VBA скрипт, потому что формула недавно перестала работать:

⚠️Файл-пример скачивания котировок в Excel: Котировки любой бумаги в Excel (скачайте файл на компьютер, иначе он откроется в Гугл таблицах и будут одни ошибки).

Скачиваем котировки в Google Таблицы

Что касается Google Таблиц, для очень многих иностранных активов подойдёт встроенная функцию =GoogleFinance(), которая позволяет извлекать исторические и текущие цены на различные иностранные активы. Однако ограничением является полное отсутствие данных по российским акциям и облигациям, что является критическим пробелом:

Для российских бумаг:

Курсы валют Банка России:

⚠️Файл-пример скачивания котировок в Google Таблицы: Котировки в Гугл Таблицы

Если вы продвинутый пользователь, то сможете найти АПИ для любого популярного сайта, например для investing.com, и с помощью автоматизации браузера, например, библиотеки Puppeteer в Node.js можно обойти защиту Cloudflare, и автоматизировать извлечение котировок. Этот метод требует более глубокого понимания, но он открывает возможности для доступа к защищенным данным, с которыми простой скрапинг уже не справляется.

Ключевые выводы

Автоматизированная интеграция котировок - будь то международные или российские акции, автоматизация извлечения котировок экономит время и уменьшает количество ошибок в финансовом анализе.

Для преодоление проблем веб-скрапинга: динамический веб-контент и защиту от ботов можно преодолеть с помощью API или инструментов автоматизации браузера, что делает их незаменимыми для серьезных инвесторов.

Excel против Google Sheets: хотя обе платформы предлагают решения для извлечения рыночных данных, у каждой из них есть свои сильные стороны. VBA в Excel предоставляет мощные возможности настройки, тогда как простота Google Sheets усиливается за счет подключения к облаку.

Практические методы сбора данных могут помочь как новичкам, так и опытным пользователям лучше ориентироваться на финансовых рынках, быть в курсе событий и принимать своевременные решения. Независимо от того, создаете ли вы портфель, совершаете сделки или проводите углубленный анализ рынка, есть решение для парсинга, которое удовлетворит ваши потребности.

Автор: Михаил Шардин

21 октября 2024 г.

Самое главное, что никакого отношения к слову алко это не имеет.
В течении нескольких лет я торговал в связке программы технического анализа AmiBroker + торговый терминал QUIK через .tri и .trr файлы в основном на фьючерсах на срочном рынке.
Не могу сказать что это было неудачным опытом, но со временем я узнал про распределение активов (Asset allocation) и понял что очень сложно соревноваться с бенчмарком в виде фондового индекса.

В теории это означает что можно купить индекс и забыть об этом, заниматься своими делами, бизнесом, семьёй - а индекс растёт (ну или падает, смотря какое время) и для этого не нужно прикладывать никаких действий.
А за связкой AmiBroker + QUIK постоянно нужно было присматривать, следить не отвалился ли адаптер импорта через .tri файл. А ещё иметь несколько виртуальных машин с установленными копиями Windows на каждой виртуалке на одном физическом компьютере для разных брокеров. Возможна была установка только одной пары AmiBroker + QUIK на одну винду. Всё это мне не особо нравилось.

В 2024 году захотелось что-то лёгкое - без Windows и современное - через API интерфейс. Желательно бесплатное для пользователя. Несколько лет назад я уже пытался узнать появились ли у российских брокеров API для работы с ними, но так и не собрался. Этой осенью я стал активно искать информацию - какой брокер имеет АПИ для работы с физлицами. Не смог найти никакой сводной таблицы и нашёл только три варианта:

• ФИНАМ

• Алор

• Тинькофф Инвестиции

• (на полноту сведений не претендую и буду рад узнать ещё варианты брокеров с АПИ)

По субъективным причинам я выбрать работать с T‑Bank Invest API (это бывший Тинькофф) через среду выполнения JavaScript Node.JS.

Немного моей истории, 2008-2012 годы: AmiBroker + QUIK

AmiBroker – это платформа для технического анализа, которая позволяет пользователям создавать свои собственные индикаторы и скрипты. Она также может интегрироваться с другими программами, такими как MetaTrader, NinjaTrader и даже с торговыми терминалами, включая QUIK.

В AmiBroker'е мне очень нравилась его функция 3D Optimization Chart. На мой взгляд она позволяла избежать переподгонки показателей под кривую истории. Оптимизация в бэк-тестере поддерживалась функцией optimize. Синтаксис этой функции был следующий:

переменная - это обычная переменная их языка AFL, которой присваивается значение, возвращаемое функцией оптимизации.
В режиме оптимизации функция optimize возвращает последовательные значения от минимума до максимума (включительно) с пошагово.
"Описание" - это строка, которая используется для идентификации переменной оптимизации и отображается как имя столбца в списке результатов оптимизации.
default — это значение по умолчанию, которое оптимизирует возврат функции в режимах исследования, индикатора, комментария, сканирования и обычного бэктеста.
min — минимальное значение оптимизируемой переменной
max — максимальное значение оптимизируемой переменной
шаг — это интервал, используемый для увеличения значения от минимума до максимума.

QUIK – это торгово-информационная система, предназначенная для предоставления участникам фондового рынка доступа к биржевым данным в реальном времени. Она используется многими брокерами и трейдерами для совершения операций на фондовых рынках.

Когда AmiBroker подключался к QUIK, он получал данные в реальном времени от торговой системы QUIK и использовал их для построения графиков, создания индикаторов и выполнения других аналитических задач. Пользователь мог также настроить систему так, чтобы она автоматически исполняла сделки через QUIK на основе определенных условий.

Для подключения AmiBroker к QUIK необходимо было установить соответствующий плагин или модуль. Это позволяло платформе AmiBroker получать данные от QUIK и обрабатывать их для дальнейшей работы.

Пример логов работы:

09.10.2009 11:00:31: [2208:2212] Получено уведомление о выполнении транзакции , TRANS_ID=807263520;CLASSCODE=SPBFUT;ACTION=NEW_ORDER;SECCODE=GMZ9;ACCOUNT=SPBFUT0087W;PRICE=37692;QUANTITY=2;OPERATION=S;CLIENT_CODE=48560/48560;TYPE=L;EXECUTION_CONDITION=;CHECK_LIMITS=;MARKET_MAKER_ORDER=;STATUS=3;TRANS_NAME="Ввод заявки"; DESCRIPTION="[FORTS] Заявка N 761722396 успешно зарегистрирована"; ORDER_NUMBER=761722396; 09.10.2009 14:04:30: [2208:1172] Получено уведомление об отправке транзакции , TRANS_ID=2087816784;CLASSCODE=SPBFUT;ACTION=NEW_ORDER;SECCODE=VBZ9;ACCOUNT=SPBFUT0087W;PRICE=6333;QUANTITY=12;OPERATION=S;CLIENT_CODE=48560/48560;TYPE=L;EXECUTION_CONDITION=;CHECK_LIMITS=;MARKET_MAKER_ORDER=;STATUS=0;TRANS_NAME="Ввод заявки"; DESCRIPTION="Отправлена транзакция"; 09.10.2009 14:04:30: [2208:2212] Получено уведомление о выполнении транзакции , TRANS_ID=2087816784;CLASSCODE=SPBFUT;ACTION=NEW_ORDER;SECCODE=VBZ9;ACCOUNT=SPBFUT0087W;PRICE=6333;QUANTITY=12;OPERATION=S;CLIENT_CODE=48560/48560;TYPE=L;EXECUTION_CONDITION=;CHECK_LIMITS=;MARKET_MAKER_ORDER=;STATUS=3;TRANS_NAME="Ввод заявки"; DESCRIPTION="[FORTS] Заявка N 763167846 успешно зарегистрирована"; ORDER_NUMBER=763167846; 09.10.2009 15:10:10: [2208:1172] Завершен процесс отправления транзакций из файла , Входной файл-"C:\Program Files\Quik5\MTS\input.tri", Выходной файл-"C:\Program Files\Quik5\MTS\output.tro", Файл с журналом-"C:\Program Files\Quik5\MTS\log.trr", отправлено транзакций-3, выполнено транзакций-3

Насколько я понимаю AmiBroker (создан в Польше) уже несколько лет не обновляется: последний выпуск в 2015 году, а обновления в 2017 году.

QUIKом я уже очень давно не пользовался, но по скриншотам на сайте я понял что программа внешне за последние годы не особенно изменилась.

Ещё немного моей истории, 2008-2012 годы: КБ ПАУК и Technical Analysis of STOCKS & COMMODITIES

Раньше я был активным пользователем форума КБ ПАУК. Вот даже нашёл файл HTML файл с интересующей меня темой, который пролежал 20 лет:

Я много изучал тему посвященную AmiBroker'у. И спрашивал там. Выкладывал примеры из бумажного журнала Technical Analysis of STOCKS & COMMODITIES.

Сейчас, в 2024 году форум недоступен, но если кто-то хочет ностальгии, то нашёл его архивную копию.

Правда архивная копия немного бесполезна, потому что самые интересные разделы открывались только после входа по логину и паролю.

2024 год, сейчас: T‑Bank Invest API + неофициальный SDK Node.JS. Описание функций торгового робота

Осенью 2024 года решил написать торгового бота, создать структуру программы которая будет работать через API брокера.

Торговый робот должен содержать:

1. Список бумаг - с которым он будет работать.

2. Условие покупки.

3. Условие продажи.

4. CSV файл учёта

5. Управление деньгами - процент входа.

6. Логирование всех действий.

7. Отображение информации, скорее всего через веб-сервер.

8. Иметь модуль бектестинга.

T‑Bank Invest API + Node.JS:

Решил пока не лезть в срочный рынок и попробовать поработать с самими оборотистыми акциями на Московской бирже. Остаётся только их найти.

В этой статья я распишу как создал два модуля на Node.js:

1. Взаимодействие с T‑Bank Invest API tinkoffClient.js

2. Модуль, который ищет акции с самым большим оборотом за три последних месяца searchTradingVolumes.js

Проект представлен на Гитхабе: https://github.com/empenoso/SilverFir-TradingBot.

SilverFir-TradingBot\src\grpc\tinkoffClient.js

Модуль tinkoffClient.js — это специализированный клиент, разработанный для взаимодействия с T‑Bank Invest API, российской брокерской платформой. Основная цель этого модуля — предоставить боту на основе Node.js, доступ к финансовым данным для алгоритмической торговли или анализа рынка.

Вот его функциональность:

Основные функции:

1. Авторизация и настройка:

• Модуль использует API-токены для аутентификации.

• Он поддерживает как тестовую (песочницу), так и продовую среду, хотя по умолчанию он использует среду песочницы.

• Заголовки API включают необходимый токен авторизации и тип контента для JSON-коммуникации.

2. Универсальный механизм вызова API:

• Метод callApi() служит гибкой утилитой для отправки POST-запросов на конечные точки API Tinkoff.

• Он обрабатывает отправку полезной нагрузки и отчеты об ошибках, предоставляя подробную обратную связь по сбоям (через журналы).

3. Извлечение данных "японских свечей":

• Метод getCandles() извлекает данные свечей для заданного финансового инструмента (тикера) за указанные интервалы.

• Он вычисляет временной диапазон на основе предоставленного интервала и извлекает серию свечей из сервиса рыночных данных. Это необходимо для анализа рынка, технических индикаторов и торговых стратегий.

• Обрабатывает до 1000 свечей за запрос и обеспечивает регистрацию ошибок, если запрос не выполняется или возвращает пустые данные.

Зависимости и утилиты:

• Moment.js: Используется для форматирования дат и расчета временных диапазонов, что имеет решающее значение при работе с финансовыми данными за различные периоды времени.

• Axios: Обрабатывает HTTP-запросы к конечным точкам API.

• Службы ведения журналов: реализует настраиваемую систему журналов для вывода файлов и консоли, помогая в отладке и отслеживании операций.

SilverFir-TradingBot\src\searchTradingVolumes.js

Модуль searchTradingVolumes.js является частью SilverFir-TradingBot, разработан для определения акций на Московской бирже (MOEX) с наибольшими объемами торгов за последние три месяца. Нужен чтобы отбросить неликвид.

Вот подробный обзор функций модуля:

Основные функции:

1. Фильтрация акций с MOEX (Московской биржи):

• Модуль использует T‑Bank Invest API для получения полного списка доступных акций.

• Фильтрует результаты, чтобы сосредоточиться конкретно на акциях, торгуемых на REAL_EXCHANGE_MOEX, гарантируя, что будут рассмотрены только акции Мосбиржи.

• Отфильтрованный список включает в себя важную информацию, такую как FIGI (глобальный идентификатор финансового инструмента), тикер, ISIN и название, которые затем регистрируются для отслеживания и анализа.

2. Извлечение исторических данных по объему торгов:

• Для каждой акции, идентифицированной на этапе фильтрации, модуль извлекает ежедневные данные свечей (OHLCV - открытие, максимум, минимум, закрытие, объем) с помощью T‑Bank Invest API.

• Он извлекает данные за последние три месяца, рассчитывая общий объем торгов за этот период.

• Этот шаг имеет решающее значение для измерения рыночной активности и определения наиболее активно торгуемых акций.

1. Определение 15 лучших акций по объему:

• После сбора данных по объему торгов модуль ранжирует все акции на основе их общего объема торгов за трехмесячный период.

• Затем он выбирает 15 лучших акций, которые считаются имеющими самый высокий оборот, что делает их наиболее активными на рынке.

3. Ведение журнала и подготовка конфигурации:

• 15 лучших акций регистрируются с соответствующими тикерами и идентификаторами FIGI для дальнейшего использования.

• Эти данные также подготавливаются для включения в конфигурацию бота, что позволяет легко интегрировать их в другие части торговой стратегии.

Зависимости и утилиты:

• Moment.js: используется для манипулирования датами, в частности для генерации временных диапазонов (три месяца) для запросов исторических данных.

• TinkoffClient: это выделенный клиент бота для взаимодействия с API Tinkoff Invest, облегчающий коммуникацию, необходимую для получения данных по акциям и свечам.

• Служба пользовательского ведения журнала: модуль использует систему ведения журнала, которая регистрирует информацию как в консоли, так и во внешних файлах, помогая отслеживать фильтрацию акций, расчеты объема и любые ошибки, возникающие во время взаимодействия с API.

Результат выполнения скрипта searchTradingVolumes.js

2024-10-06 07:25:48 [INFO]: Отфильтрованных акций 170 штук.

2024-10-06 07:25:50 [INFO]: Топ 15 акций по объему за последние три месяца: [

{

"ticker": "GRNT",

"figi": "TCS10A0JV532",

"totalVolume": 7092179306

},

{

"ticker": "VTBR",

"figi": "BBG004730ZJ9",

"totalVolume": 5906896857

},

{

"ticker": "MTLR",

"figi": "BBG004S68598",

"totalVolume": 5047115732

},

{

"ticker": "UWGN",

"figi": "BBG008HD3V85",

"totalVolume": 4423660125

},

{

"ticker": "RNFT",

"figi": "BBG00F9XX7H4",

"totalVolume": 1775061013

},

{

"ticker": "EUTR",

"figi": "TCS00A1002V2",

"totalVolume": 1270913208

},

{

"ticker": "SNGSP",

"figi": "BBG004S681M2",

"totalVolume": 1092911599

},

{

"ticker": "GAZP",

"figi": "BBG004730RP0",

"totalVolume": 1027429605

},

{

"ticker": "ROSN",

"figi": "BBG004731354",

"totalVolume": 983187493

},

{

"ticker": "SBER",

"figi": "BBG004730N88",

"totalVolume": 940111321

},

{

"ticker": "SGZH",

"figi": "BBG0100R9963",

"totalVolume": 929574444

},

{

"ticker": "AFLT",

"figi": "BBG004S683W7",

"totalVolume": 632806638

},

{

"ticker": "VKCO",

"figi": "TCS00A106YF0",

"totalVolume": 595704137

},

{

"ticker": "RUAL",

"figi": "BBG008F2T3T2",

"totalVolume": 542242519

},

{

"ticker": "TATN",

"figi": "BBG004RVFFC0",

"totalVolume": 538004844

}

]

2024-10-06 07:25:50 [INFO]:

Вставка в config.js:

2024-10-06 07:25:50 [INFO]:

securitiesToMonitorTikerArray: ["GRNT","VTBR","MTLR","UWGN","RNFT","EUTR","SNGSP","GAZP","ROSN","SBER","SGZH","AFLT","VKCO","RUAL","TATN"]

2024-10-06 07:25:50 [INFO]:

securitiesToMonitorFigiArray: ["TCS10A0JV532","BBG004730ZJ9","BBG004S68598","BBG008HD3V85","BBG00F9XX7H4","TCS00A1002V2","BBG004S681M2","BBG004730RP0","BBG004731354","BBG004730N88","BBG0100R9963","BBG004S683W7","TCS00A106YF0","BBG008F2T3T2","BBG004RVFFC0"]

2024-10-06 07:25:50 [INFO]:

Для использования в скрипте download_md.sh в одну колонку:

TCS10A0JV532

BBG004730ZJ9

BBG004S68598

BBG008HD3V85

BBG00F9XX7H4

TCS00A1002V2

BBG004S681M2

BBG004730RP0

BBG004731354

BBG004730N88

BBG0100R9963

BBG004S683W7

TCS00A106YF0

BBG008F2T3T2

BBG004RVFFC0

Итоги

Проект представлен на Гитхабе: https://github.com/empenoso/SilverFir-TradingBot. Новые модули будут загружаться по мере написания и тестирования.

Модуль tinkoffClient.js для T‑Bank Invest API представлен пока только частично.

Автор: Михаил Шардин

7 октября 2024 г.

В статье разбираю конкретный пример - как при помощи Google Apps Script на основании шаблона, созданного в Гугл Документах массово создавать договора дарения из строк Гугл Таблицы.

Массово создавать типовые договора можно когда есть документ-шаблон с готовым форматированием и в нём промаркированы ключевые поля, которые идут под замену для каждой новой строчки таблицы. После автозамены копия заполненного шаблона сохраняется с установленным именем в виде Гугл Документа и может сразу автоматически преобразована в PDF или файл Microsoft Word.

Автозаполнение договоров дарения

Во многих организациях бухгалтеры отвечают за составление договоров дарения от организации. Эта задача может быть однотипной, трудоемкой и подверженной ошибкам при выполнении вручную. Все данные скорее всего хранятся в 1С, но из неё можно сделать экспорт в Эксель и дальше скопировать в Гугл Таблицы:

Используя скрипт Google Apps, этот процесс можно полностью автоматизировать. Скрипт извлекает данные из таблицы Google, содержащей сведения о сотрудниках:

• Дата заключения договора

• ФИО

• Должность

• Сумма

• Подарок

• Паспорт

• ИНН

Затем составляется однотипный шаблон документа Google для всех сотрудников:

После этого время работы гугл скрипта.

Скрипт автозаполнения договоров

Ниже приведён скрипт автозаполнения договоров дарения, написанный на Google Apps Script. Это скриптовый язык программирования, который используется для автоматизации работы с сервисами Google, такими как Gmail, Google Docs, Sheets, Slides, Forms и другими. Он позволяет создавать пользовательские функции, макросы и приложения, которые могут взаимодействовать с данными внутри этих сервисов. Это мощный инструмент для повышения производительности труда и улучшения взаимодействия между различными компонентами экосистемы Google:

Процесс выполнения:

Скорость заполнения: 3-4 секунды на 1 договор.

Результат

После выполнения скрипта создаётся необходимое количество договоров дарения в папке расположения таблицы:

Как воспользоваться этим кодом?

Чтобы вставить и запустить скрипт Google Apps в таблицу Google, выполните следующие действия:

1. Откройте Google Таблицы: начните с открытия своей таблицы Google.

2. Откройте редактор скриптов: нажмите «Расширения» в меню, затем выберите «Скрипт приложений». Это откроет редактор скриптов приложений на новой вкладке.

3. Вставьте скрипт: в редакторе скриптов удалите код-заполнитель. Затем вставьте скрипт Google Apps выше в редактор.

4. Сохраните скрипт: нажмите значок дискеты или нажмите «Ctrl+S», чтобы сохранить скрипт. Дайте ему осмысленное имя, если будет предложено.

5. Авторизуйте скрипт: если ваш скрипт взаимодействует со службами Google (например, Таблицами, Календарем), вам необходимо предоставить ему разрешение. Нажмите кнопку «Запустить» (значок воспроизведения) и следуйте инструкциям по авторизации.

6. Запустите скрипт: После авторизации снова нажмите «Запустить». Скрипт будет запущен и выполнит действия по автозаполнению договоров дарения.

С этого момента вы можете легко запустить скрипт из редактора скриптов или создать пользовательское меню или кнопку в своей таблице для его запуска.

Где ещё можно использовать?

Подобные скрипты могут использоваться и для других целей:

• Автоматизированные ведомости по заработной плате для отделов кадров
  Бухгалтерия микроприятий (большие пользуются уже чем-то другим) могут создавать ведомости по заработной плате для каждого работника. Используя подобный скрипт, они смогут автоматически вносить такие сведения, как фамилия, должность, зарплата из главной таблицы, формируя документы по оплате труда.

• Создание юридических документов
  Юридические отделы часто обрабатывают большой объем стандартизированных договоров и соглашений, в которых от клиента к клиенту меняется лишь несколько деталей. Извлекая данные из электронной таблицы (имя клиента, сумма контракта, даты), этот скрипт может автоматически генерировать соответствующие документы за считанные секунды.

• Табели успеваемости или сертификаты школьников
  Школы и университеты могут использовать подобный скрипт для создания табелей успеваемости или сертификатов для учащихся. Сохраняя имена, оценки и достижения учащихся в электронной таблице, скрипт может генерировать персонализированный отчет или сертификат для каждого учащегося.

• Персонализированные приглашения и таблички для мероприятий
  Организаторам мероприятий часто требуется отправлять персонализированные приглашения или создавать именные значки для участников. Используя подобный скрипт можно извлекать данные участников из электронной таблицы и генерировать пригласительные письма или таблички в формате PDF, готовые к печати.

Итоги

Бухгалтерам больше не нужно вручную создавать каждое соглашение, что экономит время и устраняет потенциальные ошибки при вводе данных. Вместо этого они могут положиться на скрипт для создания и хранения всех соглашений в организованной структуре папок на Google Диске, готовых к просмотру и распространению. Такая автоматизация не только оптимизирует административные рабочие процессы, но и обеспечивает согласованность и легкий доступ к записям.

Автор: Михаил Шардин

30 сентября 2024 г.