user4420417

Дефолтный рекомендуемый порог по score 0,85. При таком пороге FAR=0,0000009919 и FRR=0,0075107813

Ошибка второго рода (FAR – False Acceptance Rate) – это вероятность ложного доступа, когда система ошибочно опознает чужого как своего

Ошибка первого рода (FRR – False Rejection Rate) – это вероятность ложного отказа в доступе клиенту, имеющему право доступа

Теперь пойдем по примерам взятых на сайте http://www.francoisbrunelle.com/webn/e-project.html

Пример 1.

Score 17. FAR=0,019458; FRR=0,003017. Вердикт - разные люди.

Пример 2

Score 23. FAR=0,007506; FRR=0,003363. Вердикт - разные люди.

Пример 3

Score 14. FAR=0,053261; FRR=0,002691. Вердикт - разные люди.

Ну и для более четкой визуализации сравнение людей взятых с разных пар

Score 15. FAR=0,034590; FRR=0,002873. Вердикт - разные люди.

Какие выводы?

Вывод 1.

Точность распознавания лиц человеком варьируется в зависимости от множества факторов, таких как условия освещения, угол обзора, возраст и этническая принадлежность человека, которого пытаются распознать, а также индивидуальные способности наблюдателя. В целом, исследования показывают, что люди довольно хорошо распознают лица, особенно знакомые, но с некоторыми ограничениями.

Вот несколько ключевых факторов, влияющих на точность распознавания лиц человеком:

1. Знакомство: Люди гораздо лучше распознают знакомые лица. Согласно исследованиям, точность распознавания знакомых лиц может быть выше 90%, в то время как для незнакомых лиц она снижается до 60-70%.

2. Возраст наблюдателя и объекта: С возрастом способность человека распознавать лица может снижаться. Также распознавание лиц детей или пожилых людей может быть сложнее из-за изменяющихся черт лица.

3. Кросс-расовое распознавание: Исследования показывают, что люди лучше распознают лица своей собственной этнической группы, чем других групп, что называется эффектом "кросс-расовой" ошибки. Это связано с тем, что люди чаще взаимодействуют с представителями своей этнической группы и лучше запоминают их черты лица.

4. Эмоции и мимика: Эмоциональное выражение лица, как правило, улучшает распознавание, так как оно добавляет уникальные черты, которые помогают идентифицировать человека.

5. Качество изображения: В условиях плохого освещения или если лицо частично скрыто (например, маской или очками), точность резко падает. Чем лучше освещение и чем более открытым является лицо, тем выше вероятность точного распознавания.

Исследования

• В одном эксперименте на точность распознавания лиц люди смогли правильно идентифицировать знакомые лица в 80-90% случаев. Однако при работе с незнакомыми лицами эта точность снижалась до 50-60%.

• В другой серии исследований было показано, что наблюдатели часто ошибаются при распознавании незнакомых лиц на видеозаписях или фотографиях, особенно если есть небольшие изменения в внешности (например, новая стрижка или изменения в макияже).

Таким образом, хотя люди демонстрируют высокую точность в распознавании знакомых лиц, при распознавании незнакомых лиц точность снижается, особенно при наличии неблагоприятных условий или в ситуациях кросс-расового распознавания.

Вывод 2.

Точность распознавания лиц с использованием современных алгоритмов значительно улучшилась за последние годы, и во всех сценариях они могут превзойти людей. Алгоритмы распознавания лиц применяются в различных областях, таких как биометрическая идентификация, контроль доступа, системы видеонаблюдения и социальные сети. Однако их точность также зависит от множества факторов, включая качество данных, модели, используемые для обучения, и условия использования.

Факторы, влияющие на точность алгоритмов распознавания лиц:

1. Качество данных для обучения: Чем больше и разнообразнее данные, использованные для обучения алгоритма, тем лучше он распознает различные типы лиц (разных возрастов, рас и половых принадлежностей). Высококачественные и сбалансированные данные значительно увеличивают точность.

2. Технические характеристики алгоритма: Современные алгоритмы распознавания лиц, такие как те, которые используют сверточные нейронные сети (CNN), могут достигать высоких уровней точности благодаря глубокому обучению и способности идентифицировать мельчайшие черты лица. Модели почти всех ведущих игроков используют сложные нейросетевые архитектуры для точного распознавания лиц.

3. Качество изображений: Как и в случае с человеческим распознаванием, качество изображения играет ключевую роль. Четкие изображения с хорошим освещением повышают точность распознавания, в то время как размытые, затемненные или частично скрытые лица могут затруднить работу алгоритмов.

4. Изменения внешности: Алгоритмы, особенно современные, способны распознавать лица, несмотря на незначительные изменения во внешности (например, прическа, макияж или очки). Однако радикальные изменения внешности могут усложнить задачу.

5. Эффект кросс-расового распознавания: Исследования показывают, что алгоритмы, так же как и люди, могут быть предвзяты в зависимости от данных, на которых они были обучены. Если данные обучающей выборки не были сбалансированы по этническим группам, алгоритмы могут хуже распознавать лица, принадлежащие недопредставленным группам. Но такая предвзятость все равно сильно меньше ошибается чем человек.

Показатели точности алгоритмов

1. NIST (Национальный институт стандартов и технологий США): В отчете от 2023 года было отмечено, что лучшие коммерческие алгоритмы распознавания лиц могут достигать точности распознавания свыше 99,9% для изображений высокого качества в условиях контролируемой среды. Это делает их более точными, чем среднестатистический человек, особенно в задачах распознавания незнакомых лиц.

2. Тесты FRVT (Face Recognition Vendor Test): Тестирование алгоритмов на разных датасетах показало, что в задачах с "один-к-одному" (например, сравнение паспорта с лицом человека) лучшие системы могут ошибаться менее чем в 0,01% случаев. В задачах "один-ко-многим" (например, поиск лица в базе данных) точность также высока, но зависит от масштаба базы данных и качества изображений.

3. Распознавание в реальном времени: В сложных условиях (например, на улицах, в системах видеонаблюдения) точность распознавания может снизиться. Однако современные алгоритмы могут все равно демонстрировать точность свыше 95%, особенно если используются системы с улучшенной обработкой изображений и адаптивными методами.

Вызовы и ошибки:

1. False Positives и False Negatives: Даже самые точные алгоритмы могут давать ложные срабатывания (false positives) — когда лицо неверно идентифицируется как другое, и пропуски (false negatives) — когда система не распознает лицо, которое она должна была бы опознать.

2. Этические проблемы и предвзятость: Было много обсуждений о том, что алгоритмы распознавания лиц могут быть предвзятыми, особенно по отношению к этническим и гендерным группам, которые меньше представлены в обучающих данных. Это может привести к тому, что лица представителей меньшинств распознаются менее точно.

Примеры реальных систем и их точность:

• Face ID от Apple: Система распознавания лиц в iPhone имеет точность около 98-99%, когда используется в оптимальных условиях.

• Алгоритмы 3DiVi на тестах NIST показывают результаты на уровне лучших мировых производителей, и работают в диапазоне FMR=0,000001; FNMR=0,003 по дефолтной метрике.

Таким образом, современные алгоритмы распознавания лиц способны достигать очень высокой точности, полностью превосходя человеческие возможности, особенно в стандартизированных условиях. Однако остаются вызовы, связанные с предвзятостью, качеством данных и условиями окружающей среды.

Самостоятельно проверить схожесть можно на сайте где есть демо