Ответ на пост «Люди собрали деньги на квартиру незрячему Сергею из российского города слепых»⁠⁠

Если это прочитает кто-то кто в теме, подскажите, есть ли приложения для смартфона, которые умеют относительно быстро вслух рассказывать что видит камера, и чтобы можно было задавать вопросы в этом контексте?

Идея какая. Изображение с камеры отсылаем на сервер, где нейросеткой токенизируем его, добавляем контекст из настроек приложения: адрес, геолокация, имена членов семьи, подробности в виде метаданных о локации (квартира, магазин, транспорт), информация о календаре и текущих задачах (добраться до дома, приготовить еды, купить продуктов...).

В данном контексте настраиваем промты для Чата ЖПТ и просим его описать ситуацию с учетом дополнительных вопросов, которые можно задавать голосом, например:
- ищем сосиски

- справа и слева ряды с овощами, - камера поворачивается - следующий ряд справа холодильники, нужно пройти 4 метра до конца ряда... Прямо холодильник молочные продукты... йогурты... майонез...

- Джарвис, давай возьмём провансаль

- вторая полка... чуть выше... правее... Это он, цена 430р.

- есть дешевле? Оливковый рядом 320р 400г, оптимальный 300г за 130р по скидке - "Воробьиный".

Ну и так далее. Часть контекста шарится между кадрами, локальный трекер изображения следит куда поворачивается камера и строит простую карту интерьера или местности, отдельные запросы детектят предметы и тегируют окружающее пространство. Всегда можно спросить: "где тут выход", и джарвис скажет сразу если видел его, или попросит повертеть камерой. Всегда предупредит о препятствиях и ступеньках, скажет о луже, о цвете светофора увидев его издали.

Получается оперативный онлайн-голосовой помощник для слепых.

Есть такое? Нужно оно вообще? Вроде ж технологии доросли, пора использовать для того, чтобы, как завещал Кларк, продвинутые технологии были похожи на магию, а не на говно как сейчас.

Лучшей идеи для популяризации продукции какой-нибудь конторы вроде Яндекса не придумать.

Понятно. что это не про экономику, зато это про громкое имя, а технологии, которые тут будут откатываться и тестироваться пригодятся везде.

Давайте, закидывайте помидорами. Что с идеей не так? Ну кроме дороговизны в реализации и целевой аудитории которая не сможет заплатить. Иногда некоторые вещи можно потихонечку делать просто потому что это пипец как круто. Это круто как курсовая, даже если удастся реализовать сыренький прототип, это круто как диплом, даже если удастся сделать только глючную тормозную поделку, это круто как внутренний стартап крупной кампании в качестве перспективных инновационных площадок... Это просто круто.