Демографические погрешности в лицевой биометрии

Данные обстоятельства привели к необходимости теоретического исследования причин данных погрешностей и методам их компенсации. Об актуальности данной проблематики свидетельствует появление стандарта ISO-19795-10, который посвящен методикам измерения данных погрешностей. Наиболее полное теоретическое исследование погрешностей, возникающих при распознавании лиц разных рас, гендерной принадлежности и возраста, было проведено в Национальном институте стандартов США NIST в 2019 году (отчеты NIST.IR 8220, NIST.IR 8271). При этом надо учитывать, что выявленные погрешности — результат технологического тестирования алгоритмов, и в реальной жизни данные ошибки могут быть больше из-за проблем, возникающих из-за несовершенства сенсоров, условий освещения, расположения камер по отношению к субъекту, качества имеющегося биометрического шаблона.

Отчет NIST (NIST.IR.8220) касается выявленных демографических зависимостей алгоритмов распознавания лиц, тестирование которых проводилось NIST в рамках программы тестирования предложенных вендорами и академическими учреждениями решений. Детали, касающиеся результатов тестирования алгоритмов в плане их точности, приведены в отчетах NIST:

1. Patrick Grother, Mei Ngan, and Kayee Hanaoka. Face recognition vendor test (frvt) part 1: Verification. Interagency Report DRAFT, National Institute of Standards and Technology, October 2019.
2. Patrick Grother, Mei Ngan, and Kayee Hanaoka. Face recognition vendor test (frvt) part 2: Identification. Interagency Report 8271, National Institute of Standards and Technology, September 2019.

Собственно отчет состоит из 9 разделов: вводный (описание задач, которые исследуются в отчете), ссылки на предшествующие работы по данной тематике, методики проведения измерений, ложные положительные и отрицательные опознания в процессе верификации, ложные положительные и отрицательные опознания в процессе идентификации, а также меры для снижения ложных отрицательных и положительных опознаний.

В отчете содержится большое количество результатов измерения основных параметров алгоритмов распознавания лиц в результате воздействия демографических факторов (более 17 приложений, которые содержат более 1200 страниц графиков, полученных в процессе исследования влияния демографических факторов на каждый представленный на тестирование алгоритм).

NIST не проводил какого-либо дополнительного обучения алгоритмов. В процессе изучения зависимостей ошибок алгоритмов распознавания лиц от пола, страны происхождения, возраста можно сделать следующие выводы:

• Вероятность правильного распознавания лиц у наиболее точных алгоритмов предположительно характеризуется меньшей зависимостью от демографических факторов.
• Современные алгоритмы распознавания лиц демонстрируют большой разброс зависимостей от демографических факторов. Основным результатом исследования является вывод, что ложное положительное опознание для большинства (но не для всех) алгоритмов существенно выше, чем для ложных отрицательных опознаний. Так, ложные положительные опознания могут иметь разброс от десяти до ста раз, в то время как для отрицательных опознаний этот показатель не превышает трех.
• Ложные положительные опознания (False positives) при использовании фотографий высокого качества (Application photo) наиболее характерны для восточноафриканских и восточноазиатских лиц, а также для американских индейцев и минимальны для восточноевропейских индивидуумов.
  В то же время для ряда алгоритмов, разработанных в Китае, это явление носит обратный характер: ошибки минимальны как раз для лиц из Восточной Азии.
  Ошибки этого типа более характерны для женщин, чем для мужчин, и это не зависит от типа использованных фотографий (photo, application photo). Высокий уровень ошибок характерен для лиц в возрасте 12–20 лет и лиц пожилого возраста, существенно возрастая, начиная с отметки 65 лет.
• Ложные отрицательные опознания (False negatives) при использовании портретных фото (так называемых полицейских фотографий, или mugshot) также проявляются при предъявлении субъектов из числа американских индейцев и азиатов по сравнению с представителями белой расы и афроамериканцами.
  Однако в случае фотографий более низкого качества (пограничный контроль) это явление наблюдается для представителей из Африки и стран Карибского бассейна.
  Возможно, это связано с пониженным качеством изображения на пограничном контроле.
  В отчете предложены меры, которые призваны снизить вероятности ложных опознаний при использовании лицевой биометрии, хотя частично эти меры выходят за рамки собственно системы распознавания лиц.
  Уровень ошибок, связанных с ложным отрицательным опознанием, может быть уменьшен за счет обеспечения соответствия изображения требованиям стандартов. В связи с этим возможно принятие следующих мер:
  • Следование требованиям стандарта ISO/IEC 19794-5 в части геометрии и освещенности при захвате изображения системой автоматизированного контроля качества изображения.
  • Разработка требований в рамках подкомиссии ISO/IEC 19794-5 к использованию камер, применяющих автоматизированные системы контроля качества, аналогичных тем, которые применяются в системах для снятия отпечатков пальцев и радужной оболочки.

  

  Ложные положительные опознания. Как снизить вероятность ошибок?

  В качестве мер по снижению вероятности ошибок при опознании, обусловленных демографическим фактором, экспертами NIST рассматриваются следующие направления:

  • Тренировка алгоритмов: тот факт, что разработанные в КНР алгоритмы более адекватно распознают лица из Восточной Азии, чем алгоритмы, разработанные в других странах, дает основание предположить, что база фотоснимков, использованных при обучении нейронной сети, может уменьшить ошибки ложного положительного опознания. Таким образом, использование базы с наличием фотографий лиц из различных регионов мира может уменьшить влияние демографического фактора.
  • Алгоритмы распознавания лиц во всех случаях тестирования в лабораториях NIST демонстрировали ошибки при предъявлении фотографий близнецов. Лицо человека в большой степени зависит от генетических факторов — так, цвет кожи и контуры лица у однояйцевых близнецов практически неразличимы. В 2004 году был запатентован алгоритм [US Patent: US7369685B2], который позволяет различать близнецов, используя различия в текстуре кожи лица, прилегающей к носу и выше надбровных дуг. К сожалению, для использования этого метода требуется разрешение, существенно превышающее то, которое используется в системах распознавания в настоящее время.
  • Сочетание систем распознавания лиц совместно с распознаванием по сетчатке глаза. Текстура радужной оболочки глаза при сканировании и обработке изображения позволяет различать близнецов. Это связано с тем, что радужная оболочка не полностью определяется генотипом, хотя и генетическая зависимость все-таки присутствует. В ближайшем будущем NIST планирует провести более полное исследование влияния генетического фактора на радужную оболочку для однояйцевых близнецов.
  • С учетом того, что оборудование для сканирования радужной оболочки имеется на рынке и предоставляет возможность практически одновременно получить изображение как лица, так и радужной оболочки, появляется возможность использовать совмещенное решение для защиты от близнецов. Развернутая инфраструктура базируется на стандартах (ANSI/NIST Type 17, ISO/IEC 39794-6, ICAO 9303 Data Group 4) и позволяет достичь очень низкого уровня ложных положительных опознаний. Наиболее интересным подходом может явиться решение «лицо плюс радужная оболочка», хотя для некоторых приложений, связанных с большим расстоянием до объекта, появляются сложности с получением качественного изображения радужной оболочки.
  • Корректировка порога срабатывания c учетом демографического фактора. Это решение, хотя и может понизить число ложных положительных опознаний, не может быть рекомендовано из-за потенциальных рисков, связанных с автоматизированным получением информации о принадлежности субъекта к той или иной демографической группе.

  Одним из методов коррекции демографических погрешностей, по мнению экспертов NIST, может являться обучение алгоритмов на «сбалансированных датасетах», где должны быть равномерно представлены все имеющиеся группы населения по гендерному и расовому признаку. Примером такого подхода может являться предложенный компанией IBM датасет «Diversity in faces», который содержит около одного миллиона публично доступных изображений с разметкой. По словам исследователя из Массачусетского технологического университета (MIT), существенное уменьшение ошибок биометрического алгоритма IBM при работе с различными группами населения свидетельствует об эффективности данного подхода.

  

  Еще одним методом уменьшения демографических погрешностей может стать применение нейронных сетей, спроектированных с задачей некоторого уменьшения точности распознавания для широко распространенных когорт при одновременном повышении точности для узких демографических групп. Исследователи предложили новую конкурирующую сеть (DebFace), которая «обучается извлекать не связанные между собой ошибки как в процессе распознавания лиц, так и в процессе оценки демографических признаков»

  Описанная в работе сеть состоит из одного классификатора идентичности и трех демографических идентификаторов для пола, возраста и расы. Корреляция между факторами минимизируется через конкурирующее обучение, направленное на снижение влияния факторов, которые ассоциируются с систематическими ошибками. Исследователи также разработали схему для комбинирования демографических и идентифицирующих признаков для улучшения демографического баланса представленных лиц.

  По сравнению со стандартными методами DebFace-ID смог снизить вероятность ошибки как в части точности распознавания, так и в области определения пола, расы и возраста. Хотя общая точность была снижена, на наборе изображений RFW (Racial Faces in-the-Wild) точность верификации оставалась в диапазоне 93,67–95,5%.

  Исследователи отмечают, что даже сбалансированные наборы изображений продемонстрировали систематические ошибки, что свидетельствует о том, что другие факторы — качество камеры, условия захвата изображения, ошибочные демографические ярлыки — тоже создают систематические ошибки.

  Поскольку DebFace создает компромисс между точностью и систематической ошибкой путем создания лишенных ошибок представлений для идентичности и демографии, слепое комбинирование демографических и идентификационных признаков может воссоздать систематическую ошибку. В будущем исследователи планируют создать метод агрегирования этих признаков без представления ошибок посредством базы данных или алгоритма. Нельзя не отметить, что ряд компаний уже начали аналогичные разработки, направленные на уменьшение влияния демографических факторов на точность опознания.

  Читайте также:

  

  «Digital Kyrgyzstan» 2024. Видеоролики с места события, которых вы еще не видели!

  А что в России?

  Поскольку клиенты российских банков имеют определенные расовые различия, наличие демографических погрешностей у применяемых алгоритмов должно учитываться при внедрении лицевой биометрии в процессах идентификации/верификации. Но возможность учета особенностей работы алгоритма с различными группами населения весьма проблематична, поскольку в данном случае финансовая организация может получить подобные данные только от разработчика алгоритма, а это не всегда объективный источник информации. Банки, применяющие биометрию для проведения финансовых операций, сталкивались с ненадлежащей работой алгоритмов при использовании биометрии близкими родственниками, но едва ли данное обстоятельство может быть использовано для широкомасштабных атак на банковские сервисы. Ведь мошенники рассчитывают не на случайную ошибку алгоритма, а на возможность использования атак на биометрическое предъявление. Этот подход, практикующийся среди преступников, атакующих биометрические сервисы банков, был и остается основным, и именно здесь банки должны быть готовы к отражению атак.