Алиса в Яндекс Браузере научилась описывать картинки для незрячих и слабовидящих пользователей
Нейросеть Алиса в Яндекс Браузере теперь понимает, что изображено на картинках на сайтах, и умеет создавать их описания. Это полезно для незрячих и слабовидящих пользователей: с новой функцией им будет проще воспринимать визуальный контент — будь то иллюстрации в статьях, фотографии товаров или картинки в соцсетях.
Если на устройстве включена программа экранного доступа, описание картинки может создаваться автоматически, когда на неё попадает фокус. А ещё можно попросить нейросеть озвучить описание. Настройки этой функции — в разделе «Специальные возможности».
В основе возможности лежит нейросетевая мультимодальная модель, которая умеет работать не только с текстом, но и с изображениями. Она не просто распознаёт отдельные объекты или надписи, а понимает, что происходит на картинке в целом: как связаны между собой элементы, какой у них контекст и смысл. Благодаря этому Алиса может создавать короткие, но содержательные описания, которые помогают незрячим пользователям представить, что именно изображено.
Новая опция — ещё один шаг к более доступному интернету, где технологии помогают преодолевать барьеры и делают информацию открытой для всех.

