А знаете, я считаю голосовое управление умным домом эффектным, но не эффективным. Это когда молод, и делать нечего - можно поиграться - поуправлять светом голосом.
В свое время были простые решения типа управления светом хлопаньем рук, и где это все? Это не практично. В семье из нескольких человек, особенно если есть маленькие дети, всегда стоит шум, голосове управление при шуме - это еще тот геморрой.
Более того, если приходится часто включать/выключать свет, то ничего нет удобнее и практичнее простого выключателя на стене, просто поверьте. Проще пройти миммо нажав кнопку, чем произнести фразу. Да и фраза будет не краткой, если у вас больше одного светильника кооторым Вы управляете.
Я вообще не представляю дествительно умный дом с голосовым управлением, потому что в действительно умном доме огромное количество устройств управления и датчиков.
И если это действительно умный дом, значит его прозрачность должна быть максимальная.
Т.е. Вы не должны ощущать его присутствие. И тем более не должны больтать безумолку.
Просто должны выполняться сценарии без вашего участия. Все что вне сценариев должно управляться привычными, простыми органами управления типа выключателя. В том числе, удаление 'умного дома' не должно никак сказаться на основных функциях дома - свет как могли включить выключателем, так и включаем.
Умный дом - это прозрачное дополнение, которое информирует в случае проблем и выполняет элементарные действия, которые не могут быть негативны, типа выклчения всех не основных приборов после ухода всех из дома.
А иначе - весь этот рынок просто пиар бесполезных решений, с которыми интересно поиграться и не более того.
Я еще не говорю о вопросах безопасности, надежности и прочего устройств на базе WIFI и других безпроводных решений, особенно которые завязаны на заруюежные сервисы(в том числе на сервисы не дружественных стран).
В свете широкого внедрения систем домашней автоматизации возникает потребность в более естественном взаимодействии с «умным домом». Как средство натурального взаимодействия между человеком и машиной, голосовой интерфейс заслуженно занимает высокую популярность. В данной статье я поделюсь своим опытом создания бюджетного автономного голосового ассистента для систем умного дома.
❯ Небольшая предыстория
Больше года назад я нашел в своих закромах одноплатный компьютер Raspberry Pi 4 Model B 8 ГБ. Устройство было куплено за небольшую цену в то время, когда человечество ещё не сошло с ума. Без долгих размышлений, я принял решение создать голосового ассистента на базе этого одноплатного компьютера, чтобы управлять своей системой домашней автоматизации. Бонусом к этой идее шли приватность и автономность. В итоге у меня «родилось» устройство под кодовым именем «Мария».
Но в этой статье не пойдет речь об использовании Raspberry Pi 4 Model B, так как в современных реалиях использование данного одноплатного компьютера стоимостью более $190, трудно назвать бюджетным решением.
❯ Давайте изобретать
Недавно компания Xunlong Software, которая занимается выпуском одноплатных компьютеров под маркой Orange Pi, представила интересное решение — плату Orange Pi Zero 2W с 4 ГБ оперативной памяти, стоимостью $27.
Данное решение вполне подходит для нашего проекта, как в техническом, так и в экономическом плане.
Итак, определимся с конструкцией устройства. Изучив спецификацию Orange Pi Zero 2W, у нас формируется следующий список дополнительных компонентов:
Динамик 52мм (просто он у меня уже был $1,3)
Усилитель низкой частоты (буду использовать PAM8403 $0,9 за 10 шт)
USB микрофон (xingzhaotong $1,5)
Шлейф FFC FPC 24pin тип B ($1)
RGB светодиод
❯ Разработка звуковой платы
Согласно документации, аудиовыходы реализованы на боковом разъеме FPC, а интерфейс I2S отсутствует. По крайней мере, мне не удалось его реализовать на этой плате. Таким образом, в качестве аудиовхода мы будем использовать USB-микрофон. В версии «Мария» я использовал I2S-микрофон, который продемонстрировал отличные результаты. Ниже предоставлена распиновка бокового разъёма.
Исходя из вышесказанного, в процессе разработки у нас получается следующая схема «звуковой платы»:
Так могла бы выглядеть плата при производстве на китайской фабрике:
❯ Изготовление звуковой платы
На тот момент, я разрабатывал прототип, и не было известно, как поведет себя схема звуковой платы. Поэтому пришлось выполнять изготовление прототипа платы в домашних условиях, для меня это дело привычное. Плата изготавливалась с помощью фоторезиста и вытравливалась в растворе перекиси водорода, лимонной кислоты и соли.
Немного были переживания относительно качества вытравливания мелких дорожек, но фоторезист не подвёл, всё получилось хорошо.
Ниже показано тестовое подключение звуковой платы к одноплатному компьютеру с помощью шлейфа FFC FPC:
❯ Настало время творчества! Проектируем корпус
Обычно в своих разработках я использую естественный интеллект. Поэтому пришлось придумывать дизайн корпуса самостоятельно, учитывая особенности печати 3D принтера. Разработку модели корпуса выполнял с помощью FreeCAD, результат моделирования вы можете видеть ниже.
Корпус в собранном виде
Вид снизу
Элементы корпуса были спроектированы с учетом оптимизации процесса печати, при этом качество не пострадало. В процессе печати не используются структуры поддержки. Ножки корпуса выполнены из TPU-пластика, использование флекс пластика предотвращает скольжение умной колонки по поверхности стола.
❯ Сборка умной колонки
Подключение элементов устройства выполняется по следующей схеме:
Как видно из схемы, для управления усилителем используется выход 28 (wPi 18) RPI разъёма, данный выход подключается к контакту звуковой платы с обозначением «SOUND EN». К выходам 26, 24, 22 подключается управление RGB светодиода, который выполняет функцию индикатора при выполнения запросов.
Как я упоминал ранее, в качестве микрофона используется USB микрофон марки xingzhaotong, который выглядит так:
Для установки в корпус колонки, нам необходимо его полностью разобрать и оставить только плату. Данная плата подключается согласно распиновки к соответствующим контактам на звуковой плате GND, DP, DM, VCC.
Давайте приступим к сборке устройства. Предварительная примерка платы Orange Pi Zero 2W:
Примерка динамика
Установка динамика и резонатора. Резонатор одновременно выполняет функцию фиксатора
Вид снизу
Вид сверху без верхней крышки, на верхней поверхности резонатора виден прикрепленный USB микрофон в центре будет размещен RGB светодиод.
Распечатанная на 3D принтере часть корпуса
Вид снизу собранной умной колонки. Также снизу располагаются вентиляционные отверстия для охлаждения платы
Для питания устройства используется модуль с разъёмом USB Type C, который фиксируется в специальном адаптере
❯ Немного программной части
В этой статье я не планировал описывать программную часть устройства, так как это занимает большой объем информации, лучше это сделать в отдельной статье. Но ниже будут предоставлены некоторые моменты по программной настройки устройства.
Операционная система:
В качестве операционной системы я использовал Debian Bullseye c версией ядра 6.1.31, скачать можно на официальном сайте Orange Pi.
Управление GPIO:
Для управления GPIO используется официальная библиотека Orange Pi wiringPi.
После успешной установки Orange Pi wiringPi, мы можем вывести таблицу GPIO:
gpio readall
В итоге мы увидим следующее:
Обратите внимание, что в колонке «V» указано текущее состояние пина RPI. Чтобы изменить состояние, мы можем воспользоваться следующими командами:
gpio mode 18 out # Изменение типа пина вход/выход (in/out) gpio write 18 0 # Изменение уровня пина низкий/высокий (0/1) gpio read 18 # Чтение состояние пина
Пример одного из вариантов управления GPIO из Python скрипта:
import os os.system("gpio mode 18 out") # Изменение типа пина вход/выход (in/out) os.system("gpio write 18 0") # Изменение уровня пина низкий уровень os.system("gpio write 18 1") # Изменение уровня пина высокий уровень os.system("gpio read 18") # Чтение состояние пина
Проверка наличия микрофона в системе:
Чтобы убедиться в правильности подключения микрофона, в консоли необходимо выполнить следующую команду:
Как видим из вывода, устройство USB PnP Sound Device успешно определилось в системе, если устройство отсутствует, то необходимо убедиться в его корректном подключении.
Настройка аудиовыхода:
Чтобы сконфигурировать аудиовыход под наши задачи, в терминале необходимо выполнить следующую команду:
alsamixer
В консоли появится окно с аудио устройствами, нажав F6 необходимо выбрать наше устройство с именем audiocodec и выполнить настройку как отображено ниже на картинке:
После этого можно выполнить алгоритм теста аудиосистемы.
Мы используем линейный выход, поэтому наше устройство имеет имя CDC PCM Codec-0 [CDC PCM Codec-0]. Давайте протестируем вывод звука через наше устройство.
Первое что нужно сделать — это включить наш усилитель с помощью команд:
gpio mode 18 out gpio write 18 1
Далее нам необходимо запустить тест с помощью генератора шума, командой в терминале:
speaker-test -c2 -Dplughw:0,0 # plughw:0,0 - это адрес нашего звукового устройства
Вывод команды:
speaker-test 1.2.4
Playback device is plughw:0,0 Stream parameters are 48000Hz, S16_LE, 2 channels Using 16 octaves of pink noise Rate set to 48000Hz (requested 48000Hz) Buffer size range from 32 to 131072 Period size range from 16 to 16384 Using max buffer size 131072 Periods = 4 was set period_size = 16384 was set buffer_size = 131072 0 - Front Left 1 - Front Right Time per period = 2.742858 0 - Front Left 1 - Front Right Time per period = 5.461073 0 - Front Left 1 - Front Right Time per period = 0.580064
Во время теста должен наблюдаться «белый» шум из динамика, если это произошло, то подключение и настройка аудиосистемы была выполнена корректно.
❯ Итог
В этой статье я попытался описать реализацию аппаратной части своего DIY проекта голосового ассистента для умного дома. Написание статьи отнимает большое количество времени, поэтому программную часть проекта постараюсь описать в следующем материале, если вам будет интересно.
Предугадывая ваш вопрос — «Почему бы не использовать Yandex Алису и подобные коммерческие решения?», сразу же изложу свою мысль:
Я сторонник автономных решений в плане их использования в критической инфраструктуре. А системы умного дома я отношу к этим категориям, поэтому, с моей точки зрения, использование устройств, зависящих от внешних систем, недопустимо. Описанное в статье решение не использует внешних сервисов для распознавания речи, векторизации запросов, синтеза речи и управления устройствами. И, конечно, я имею полный контроль над алгоритмами моего устройства, включая приватность.
Спасибо за ваше внимание! Ниже под спойлером несколько видео работы собранного устройства.
Случилось со мной вчера. Я люблю ходить пешком и чтоб было интереснее слушаю аудиокниги. Последние 2 дня начались какие то глюки, треки стали сами собой переключаться, просто воспроизведение останавливалось и иногда звуковой сигнал и пауза секунд на пять. Пользуюсь проводной гарнитурой. Поэтому стал грешить на разъём сотового, у моего прошло тоже были с ним проблемы. И вот вчера иду и в очередной раз звуковой сигнал и пауза. Я в раздражении сквозь зубы: "Да сука, ёб твою мать!" (Тяжёлый день был, да) И мне сразу в ответ роботизированным женским голосом, точно слова не запомнил, но смысл такой: Правильно, выплесните негативные эмоции лучше на меня, чем на окружающих людей.
Аж столбом замер от неожиданности. Мда, видимо не в сотовом дело, а новая гарнитура придёт только завтра. Чёт прямо извиниться захотелось перед ней :-)
...Контакты Онлайн издал звенящий звук из колонок.
— Воспоминание дня! — Звонко зазвучал приятный женский голос. — Покупка ноль целых ноль-ноль сотых “деняк”. Фискальный номер 2024.12.01.7… — Дальше было и не запомнить.
— Хе! — Дед Виталик улыбнулся. Он очень любил эту рубрику. — Ты… Это... — Указующий перст метнулся к манипулятору, прикреплённому к потолку.
Робо-рука плавно переместила и зафиксировала в воздухе над головой старика шлем с яркими разноцветными индикаторами. Зелёный индикатор плавно мерцал. Калибровка закончилась буквально за пару секунд, и тот же приятный голос продолжил:
— Меня зовут Марина, я искусственный интеллект БАО Контакты Онлайн, сканирующий шлем версии 13.7, все обновления установлены, модуль поддерживающего лечения.
Дед припомнил историю с переименованием Контактов и погрустнел. ИИ Марина с лёгкостью считала смену настроения и попробовала со своей стороны исправить ситуацию:
— Давайте не будем откладывать! В ленте появилась новость: Славик тзинькнул и получил коины!
— А-а! — Дед хитро прищурился и покачал пальцем, указывая на проекционную стену.
— Памятная покупка номер… — цифры смешивались в кучу, — …оформление в собственность в результате исполнения договора дарения в рамках рекламной акции ООО “Пикабу”. Находится в шкафу за коробкой от робота-пылесоса.
Дед достал коробку и распечатал. На него глазом Саурона глядел маструбатор в виде филейной части тела женщины. Возможно, мужчины. Дед не стал разбираться, предпочтя спросить у голосового помощника:
— А-а-а… я такое??? — Дед снова показывал пальцем.
— Вы были выбраны в качестве победителя в ходе проведения рекламной акции на портале Пикабу на конкурсе “Коричневая шутка”. Аппарат имеет функцию самоочистки, автосмазки и генератор запаха… Продолжить?
— Нет! Кринжовник блять!.. — Дед вдруг вспомнил новое слово.
— Новое в ленте! — Бодро продолжила ассистентка. — Славик тзинькнул на 3,6 на 10 в минус семнадцатой иннова-коина. Текущая позиция в рейтинге — девять миллиа… — Это опять были цифры.
На экране появился кудрявый молодой человек в модном пиджаке, танцуя под заранее записанный кем-то трек:
— Э-ром-бом-бом, ноги ходуном!..
Дед каким-то образом понял, что голос не принадлежит Славику.
— Бесплатный коктейль от внука и компании Тзиньк, теперь банановы-ый! — Реклама звучала громче, да и голос был другим. Робо-рука несла коктейль в пластиковой бутылке.
* * *
— Марк Витальевич, триптофан, вроде, помогает? Заменим Славика на Марика и внука на сына? — спросила Оля.
Марк сошёл с лица и холодно заметил:
— Судя по расчётам, Оленька, он и должен помогать.
Оля испуганно замолчала.
— Вам домой, наверное, пора, — Марк постепенно оттаивал, — Десять дней амнестин ещё пока нельзя колоть, как Вы помните, конечно же. Потом повысим витаминки, как Вы правильно и сказали. И нанотаджиков тоже прибавим, да. Я записал в журнал.
— Да, спасибо Вам большое! До свидания, Марк Витальевич!
Олю дома ждал молодой человек и приготовление котлет.
“Каклеток,” — подумал Марк Витальевич, нащупывая взглядом ассистента, который должен был остаться на ночное дежурство.
Тот пил кофе и рисовал голограмму какой-то молекулы на голографическом проекторе наручных часов. Ему было весело, судя по всему.
По расчётам Марка, лечение можно было вести интенсивней. Но можно было также показать Оленьке, как заботиться о других. Хотя бы попытаться это сделать.
Марк Витальевич тихо выругался на ноябрьскую погоду, и повертел в руках ключи от лаборатории. На сегодня пора было “закругляться”.
