Низкое освещение больше не будет ограничивать ваши фото и видео⁠⁠

Стартап с искусственным интеллектом Visionary.ai сотрудничает с Qualcomm, чтобы получать более качественные снимки и видео при слабом освещении на Android-смартфоне.

Вы стоите со своей семьей перед тускло освещенной набережной после наступления темноты. Вы хотите запечатлеть их лица, песок и волны на фото или видео, но солнце в этот час не помогает.

Благодаря новому партнерству между израильским стартапом Visionary.ai и ведущим производителем чипов Qualcomm, съемка потрясающих изображений в условиях низкой освещенности станет возможной на следующем поколении Android-смартфонов – возможно, уже в этом году – благодаря сопряжению процессора Qualcomm Snapdragon 8 Gen 3. с технологией ночного видения Visionary.ai.

Visionary.ai, как следует из двухбуквенного суффикса к его названию, использует искусственный интеллект ( ИИ ) для улучшения качества сенсоров и объективов камер.

Компания позволила посетителям своего стенда на выставке Consumer Electronics Show ( CES ) в Лас-Вегасе в январе 2024 -го года принять участие в «конкурсе при слабом освещении, чтобы проверить качество видео своих собственных камер по сравнению с камерами, работающими на программном обеспечении Visionary.ai», — сообщает компания. вице-президент по маркетингу Алтея Мирвис рассказала ISRAEL21c.

Visionary.ai впервые продемонстрировал технологию, работающую в потребительском приложении.

Мирвис вспоминает, как на CES пришел топ-менеджер одного из крупнейших мировых производителей фотоаппаратов и сказал: «Я думал, что Visionary.ai — небольшая компания, но теперь я вижу, что вы повсюду».

«Совершенно случайно он только что посетил несколько компаний, с которыми мы сотрудничаем, и все говорили о нас. Мы вместе посмеялись и сказали ему, что мы действительно небольшая компания, но да, мы присутствуем повсюду в экосистеме».

Время решает все

Раньше единственным способом получить более качественные фотографии и видео на устройстве бытовой электроники, таком как смартфон или цифровая камера, было аппаратное обеспечение — объектив большего размера или больше датчиков, которые увеличивают вес и выделяют тепло, а также интенсивно разряжают батарею.

Подробнее об инновациях

Visionary.ai Наш подход полностью основан на программном обеспечении.

С момента основания компании в 2020 году требования к программному обеспечению настолько ужесточились, что теперь алгоритмы, основанные на искусственном интеллекте, могут поместиться на камере такого же размера, как та, что установлена на кончике эндоскопа, медицинского устройства, используемого для исследования кишечника человека, что указывает на то, что Visionary.ai его диапазон мог бы когда-нибудь выходите за рамки обычных потребительских устройств.

Время решает все.

«Если бы мы разрабатывали это несколько лет назад, нам было бы негде запускать это программное обеспечение», — объясняет Йоав Тайеб, технический директор, один из соучредителей компании вместе с Ореном Дебби, генеральным директором Visionary.ai.

«Для этого потребуется очень мощный компьютер с большой мощностью. Но за последние несколько лет чипы-ускорители искусственного интеллекта в телефонах стали намного мощнее и могут обрабатывать гораздо больше информации. Мы используем эти мощные чипы для запуска нашего программного обеспечения».

Это часть общей тенденции. «Если раньше улучшение фотографии на смартфоне включало модернизацию физического сенсора и объектива», — говорит Тайеб, — «теперь акцент сместился на улучшение программного обеспечения и внутренних алгоритмов».

Таким образом, программное обеспечение Visionary.ai «живет» либо на сенсоре камеры, либо, как в случае с Qualcomm, на кремниевом чипе, примыкающем к сенсору.

Дебби сравнивает возможности Visionary.ai для фото и видео в программном обеспечении с автомобилем. «Представьте, если бы вы могли взять дешевую машину, обновить ее программное обеспечение, и тогда она смогла бы превзойти гоночный автомобиль. Это то, что мы делаем с камерами».

В настоящее время

Привлекательность Visionary.ai отчасти заключается в том, что вся обработка выполняется локально, а это означает, что вы сможете улучшать изображения и видео в режиме реального времени.

Сравните это с функцией «увеличения видео» в Google Pixel 8 Pro, которая захватывает необработанные файлы из записи, загружает их в облако для обработки, а затем загружает отредактированную версию в лучшем качестве. Его необходимо включать вручную для каждой записи, и существует ограничение в 10 минут.

Такое расположение, скажем, камеры наблюдения «не будет полезным, если она не будет работать в режиме реального времени», — рассказывает Дебби ISRAEL21c.

Еще одно отличие: когда такие компании, как Apple или Google, создают программное обеспечение для своих собственных устройств, они обычно не лицензируют его извне.

«Мы демократизируем качество видео премиум-класса и делаем его доступным для более широкого рынка», — отмечает Дебби.

Другой конкурент, Restormer, представляет собой проект с открытым исходным кодом, который, вероятно, может выйти за рамки крупных технологических компаний. Restormer имеет такое же шумоподавление, как и Visionary.ai, но требует большей мощности компьютера и занимает в 212 раз больше времени для выполнения. Никакой реальной выгоды здесь тоже нет.

Уменьшение шума

Технология Visionary.ai охватывает широкий спектр потребностей в области фотографии и видео.

• «Шумоподавитель» на основе искусственного интеллекта уменьшает шум изображения с помощью программного обеспечения, что означает снижение затрат и меньших потерь энергии.

• Программный процессор обработки изображений (ISP) обеспечивает более четкое изображение и более точную цветопередачу, в том числе при съемке дневного видео и захвате изображений.

• Улучшение видео в реальном времени может размыть фон или исправить направление взгляда во время видеоконференции или во время съемки селфи.

• Для смартфонов, которые используют распознавание лиц для разблокировки, Visionary.ai может значительно упростить распознавание пользователей даже в кромешной темноте.

Как Visionary.ai творит чудеса? Дебби не хотела раскрывать слишком много секретов компании, но технический директор Тайеб рассказал веб-сайту PetaPixel , что ее подход на основе искусственного интеллекта применяет сложный алгоритм к необработанным данным изображения, чтобы отделить шум от сигнала изображения.

Видео ниже демонстрирует, насколько мощным может быть программное улучшение визуального изображения. Он сравнивает технологию Visionary.ai с Samsung S23 Ultra и iPhone 15 Pro Max. Видео было снято при освещенности 0,2 люкс, что сравнимо с лунным светом в пустыне без светового загрязнения.

True Night Vision on Mobile: Surpassing flagship phones (Истинное ночное видение на мобильных устройствах: превосходство над флагманскими телефонами)

Идея пандемии

Идея Visionary.ai пришла Дебби и Тайебу во время карантина Covid, поскольку Zoom стал основным способом общения в первые дни пандемии.

«Covid действительно выдвинул на первый план проблему», — говорит Дебби ISRAEL21c. «Мы внезапно обнаружили, что каждый день тратим часы на звонки в Zoom перед темными и размытыми экранами с плохим качеством видео. Мы задавались вопросом, сможем ли мы улучшить качество видео, улучшив программное обеспечение. Мы обнаружили, что слабое освещение является огромной проблемой – не только для Zoom, но и во многих других случаях».

У 29-летнего Дебби двое маленьких детей, поэтому повышение качества изображения на детских радионянях также послужило для него источником вдохновения.

С момента основания компания привлекла около 10 миллионов долларов. В 2023 году CB Insights выбрала Visionary.ai из примерно 9000 компаний в число 100 самых многообещающих частных компаний в области искусственного интеллекта в мире.

Когда ISRAEL21c впервые начал отслеживать Visionary.ai несколько лет назад, после первого появления компании на выставке CES, Дебби и его команда перечислили несколько потенциальных целевых рынков: видеоконференции, видеонаблюдение (замкнутое телевидение), дроны, медицинские приложения, автомобилестроение (внутри автомобиля), для контроля бдительности водителя, на улице для предотвращения несчастных случаев в условиях низкой освещенности) и умных городов.

Но на выставке CES все внимание было сосредоточено на телефонах и потребительских устройствах, и именно на этом сейчас концентрируется команда Visionary.ai из 15 человек, базирующаяся в Иерусалиме. Модель ориентирована на бизнес с производителями устройств и чипов, хотя Дебби не исключает будущих прямых продаж частным лицам в качестве обновления или дополнения.

«На данный момент мы хотим продолжать расти и внедрить нашу технологию в каждую камеру в мире», — подчеркивает Дебби.

Управление компанией

Сталкивались ли Дебби, Тайеб и Мирвис с какими-либо антиизраильскими настроениями в выставочном зале?

«Ничего», — говорит Дебби. «Люди говорили, что у Израиля самые удивительные технологии».

Мы хотим построить лучшее будущее для наших детей,тот мир, в котором ночные выходки детей запечатлены в красивом, улучшенном и бесшумном видео.».

«Нет другой технологии, которая могла бы работать при слабом освещении так, как эта».

Джадд Хип, вице-президент по управлению продуктами, Qualcomm

Перевод с английского

ИСТОЧНИК

ИСТОЧНИК