Роботу больше не нужны две камеры? Один объектив видит объём
Испанский технологический центр IKERLAN разработал прототип нейроморфной системы машинного зрения BEGI, которая способна одновременно отслеживать движение и оценивать глубину пространства с помощью одного объектива и одного сенсора.
Система вдохновлена сложными глазами насекомых и предназначена прежде всего для Physical AI — мобильных роботов, промышленных манипуляторов, беспилотников, автономных машин и космических аппаратов. В отличие от лидара, BEGI работает пассивно и не отправляет в окружающее пространство лазерные или инфракрасные импульсы.
В основе нынешнего прототипа находится Sony–Prophesee IMX636 — event-based сенсор разрешением 1280×720 пикселей. В обычной камере весь кадр считывается через определённые интервалы времени. Здесь каждый пиксель работает независимо и передаёт событие только тогда, когда замечает изменение яркости.
IMX636 обеспечивает задержку менее 100 микросекунд при освещённости 1000 люкс, динамический диапазон свыше 120 дБ и очень низкое энергопотребление. Такая архитектура особенно полезна там, где необходимо реагировать на движение практически мгновенно.
Главная особенность BEGI — расположенная над сенсором матрица микролинз. Она позволяет регистрировать не только интенсивность света, но и направление, из которого пришёл луч.
Используя эти данные, алгоритм feedforward stereopsis восстанавливает трёхмерную форму сцены, глубину и движение без второй камеры. По сути, разработчики переносят часть принципов пленоптической камеры и зрения насекомых в нейроморфный event-сенсор.
Но у нынешнего прототипа есть серьёзное ограничение — разрешение.
Для вычисления глубины одну и ту же точку должны увидеть сразу несколько пикселей под разными углами. Из-за этого практическая дальность нынешней версии составляет менее одного метра, а поле зрения — примерно 20–40 градусов.
Поэтому первые потенциальные применения находятся там, где объекты располагаются близко: промышленные манипуляторы, контроль механизмов и финальный этап стыковки космических аппаратов.
Для спутников такой сенсор особенно интересен из-за сочетания высокой скорости реакции, пассивной работы и низкого энергопотребления.
Следующим большим этапом IKERLAN хочет сделать собственный высокоразрешающий полноформатный сенсор и специализированную электронику.
По оценке разработчиков, такая архитектура потенциально сможет увеличить дальность восприятия примерно до 16 метров, поле зрения — до 120 градусов, сохранив микросекундную реакцию. Тогда BEGI сможет перейти уже в мобильную робототехнику, навигацию, дроны и автономный транспорт. Это пока расчётная цель, а не характеристика готового устройства.
Если проект удастся масштабировать, компьютерное зрение будущего может стать значительно проще: вместо нескольких камер, активных датчиков и сложной синхронизации — один объектив, один сенсор и нейроморфная обработка событий.