Внезапно вспомнил крутейшее видео из смежной области трёхмерного машинного зрения.
На видео при помощи дрона, высокоточной системы навигации с использованием локальных маяков и лазерного сканера на вращающемся подвесе, делают высокоточную модель окружающей обстановки.
Не было тут об этой железке, а железка имхо интересная. И главный её интерес - ускоритель нейросетей. Железка умеет в машинное зрение и машинный слух. К примеру, можно научиться распознавать объекты с камеры в реальном времени. При этом глубоких знаний и пониманий принципов работы нейросетей не требуется.
Статья для сообщества Ардуино и для "технарей". Для остальных тут может быть слишком много терминов. Поэтому тут краткий пересказ для остальных - китайцы опять смогли и сделали действительно недорогую (от $8) и простую в использовании (уровень сложности Ардуино) штуку, которую можно относительно легко научить распознавать объекты в камере - лица, предметы, машины и т.д. И всё это можно на уровне хобби лепить, не нужны глубокие знания.
Более подробное описание для "технарей".
Ссылка на модели в оригинальном магазине (есть также и на Али и в других магазина, не реклама, просто это официальный дистриб): https://www.seeedstudio.com/catalogsearch/result/?q=sipeed%2...
SDK, загрузчик и прочее: https://github.com/sipeed
Модуль стоит от $8, наборы с камерой и экраном от $21.
МК - 2х ядерный, 64-битный RISC-V, 400 МГц (разгоняется до 600 МГц), 8 Мб SRAM. Потребление всего до 0.3 Вт. Из интересного периферия - KPU. Ускоритель сверточных нейросетей (CNN).
На его основе эта штукенция может в реальном времени (30/60 FPS) распознавать объекты в кадре, например лица и прочее. Может крутить сеть TinyYOLOv2 со всеми вытекающими - можно натренирвоать для распознания нужны образов. Может также обрабатывать звук с массива микрофонов, в т.ч. распознавать голос. Есть также аппаратный ускоритель БПФ, криптография AES256, хеши SHA256.
Для всего этого есть 2 фреймворка - на питоне и для Arduino IDE. Документация на английском есть, примеры в сети тоже, в т.ч. как создать и загрузить свою модель (свои образы для распознания). Код для детекции лиц из примеров занимает что-то там около 20-30 строчек всего.
Есть также SDK под голый C (или ОСРВ). Встроенный бутлоадер для прошивки без всяких доп. программаторов.
Из минусов - камеру умеет только до 640x480 и всё, даже без реального времени нельзя больше разрешение заставить обрабатывать.
Вся периферия, регистры и прочее - закрыто. ДШ (всего-то 24 страницы) про периферию рассказывает поверхностно очень, что есть и хар-ки, а как с этим работать и какие регистры за что отвечают не рассказывает. Работа только через SDK или фреймворки.
Но в целом имхо интересная железка с мощной начинкой. Интересен еще именно этот ускоритель CNA. Это не NVidia Jetson за $800. Тут низкий ценник имхо знаменует приход Edge AI (т.е. когда обработка производится непосредственно на конечном ус-ве, без облачного "решателя") на широкий рынок. Дешевое машинное зрение/слух.
ПРЕДУПРЕЖДАЮ: Тут нет порнухи, но кто-то может подумать, что она есть. А можем вам надо к доктору? Я клубничку решил не ставить.
Я просто покажу здесь картинки, которые генерирует нейронная сеть, когда просишь её сделать параметр NSFW = 1.
NSFW - Not Safe For Work (не безопасно для просмотра на рабочем месте)
И вот тематические наборы картинок: первый ряд - обычный,где параметр D (соответсвует NSFW-шности) оригинальный и довольно низкий, второй ряд - где этот параметр задирают до 1. Наслаждайтесь.
А теперь всем развидеть и лечиться.
Заранее прошу не топить в минусах. У меня вопрос: будет ли кому-нибудь из технических специалистов Киева интересна тема промышленного машинного зрения, систем контроля качества, штрих-кодирования и т.д .
У меня есть возможность организовать тренинги/презентации с использованием данного оборудования. Дальнейшая информация будет зависеть от количества интересующихся.
Коммент для минусов прилагаю)
