Независимое тестирование алгоритмов лицевой биометрии. Что изменилось в программе NIST?

В 2023 году Национальный институт стандартов США (NIST) принял решение о преобразовании программы FRVT (Face Recognition Vendor Test). Данная программа тестирования была начата в 2003 году и обеспечивала разработчикам одну из возможностей независимого тестирования алгоритмов лицевой биометрии. Теперь для тестирования лицевой биометрии в NIST предусмотрены две независимые ветки тестирования:

• FRTE (Face Recognition Technology Evaluation)
• FATE (Face Analysis Technology Evaluation)

В каждую ветку входит набор программ тестирования, список которых приведен на схеме (см. рис. 1).

Рис. 1. Две независимые ветки тестирования лицевой биометрии в NIST. Рисунок автора

Направление тестирования FRTE помимо стандартных тестов по верификации (FRTE 1:1) и идентификации (FRTE 1:N) теперь включает две дополнительные ветки тестов:

1. Мультимодальную идентификацию по лицу и радужной оболочке (FRTE 1:N Multimodal)
2. Тесты по лицевой биометрии близнецов (FRTE Twin Demonstration)

Ветка FATE помимо программ тестирования лицевой биометрии для морфированных изображений (FATE Morph) и тестирования алгоритмов оценки качества биометрических образцов (FATE Quality) дополнительно получила три новых направления тестирования:

1. Обнаружение специальных дефектов (FATE Quality Special Image Defect Detection)
2. Обнаружение атак на биометрическое предъявление (FATE PAD)
3. Системы определения возраста с использованием лицевой биометрии (FATE Age Estimation)

Основной причиной проведения тестов систем обнаружения атак на биометрическое предъявление является тот факт, что такая система является неотъемлемым компонентом систем биометрии, особенно в ситуациях, где отсутствует доверенный контроль за предъявлением биометрии со стороны субъекта. Ненадежная система обнаружения атак на биометрическое предъявление сводит на нет даже совершенную систему распознавании. Причина проста — биометрические данные в определенных ситуациях могут быть получены без ведома субъекта. Изготовленные на основе биометрических данных субъекта артефакты (инструменты атаки) могут восприниматься системами верификации/идентификации как подлинные биометрические данные, что и позволяет получить доступ к защищаемым ресурсам без присутствия субъекта — носителя этих биометрических данных.

С учетом вышесказанного NIST в феврале 2023 года опубликовал сообщение о проведении тестирования систем обнаружения атак на биометрическое предъявление и в августе 2023 года представил отчет о результатах тестирования (NIST Internal Report NIST IR 8491). Данный документ состоит из 142 страниц и содержит как табличные, так и графические данные о результатах тестирования представленных в NIST 82 алгоритмов обнаружения атак на биометрическое предъявление, предоставленных для тестирования 45 вендорами.

Тестирование проводилось по методике, установленной стандартом ISO 30107 (в РФ –ГОСТ 58624), и в ходе тестирования определялись базовые показатели системы обнаружения атак на биометрическое предъявление:

• Attack Presentation Classification Error Rate (APCER) — вероятность ошибки классификации предъявления при атаке (ВОКПА);
• Bona Fide Presentation Classification Error Rate (BPCER) — вероятность ошибки классификации подлинных биометрических предъявлений (ВОКПБП);
• Attack Presentation Non-Response Rate (APNRR) — вероятность отсутствия ответа на предъявление артефакта (ВООПА);
• Bona Fide Presentation Non-Response Rate (BPNRR) — вероятность отсутствия ответа на подлинное биометрическое предъявление (ВООПБП).

Ограничения при проведении тестирования

Проводимое тестирование является по определению технологическим, а не сценарным тестированием, которое проводится биометрическими лабораториями (iBeta, BixiLab — лаборатории, аккредитованные NVLAP под эгидой NIST, или лабораториями, аккредитованными в рамках консорциума FIDO). Последнее обстоятельство позволяет увеличить количество проводимых атак и существенно улучшить значение доверительного интервала для полученных значений APCER, BPCER, APNRR и BPNRR.

Тестирование проводилось только для случаев предъявления физических артефактов биометрическому сенсору, при этом так называемые инжекционные атаки (виртуальная камера и т. д.) не входили в программу тестирования.

Тестирование не проводилось и для аппаратных реализаций системы обнаружения атак на биометрическое предъявление, включая использование многодиапазонных биометрических сенсоров, систем с подсветкой управляемым источником света и подобных. В процессе тестирования сенсором выступала обычная 2D-камера, а в основе системы лежит алгоритм, который и является предметом тестирования.

Тестирование проводилось для решений «пассивной» системы обнаружения атак на биометрическое предъявление; решения, требующие взаимодействия субъекта с системой, в тестирование не включались.

Особенности проведения тестирования

Тестирование проводилось для двух треков:

• имперсонификация — инструмент атаки должен представить атакующего другим конкретным субъектом;
• уклонение — инструмент атаки предназначен исключительно с целью избежать опознания.

Результаты тестирования в отчете представлены в следующем виде:

Поскольку характеристики APCER/BPCER взаимозависимы, то табличные результаты содержат следующие метрики

• APCER @ BPCER = 0.01 — эта метрика основана на обеспечении удобства использования и характеризует количество необнаруженных атак при ложных срабатываниях 1%.
• BPCER @ APCER = 0.01 — эта метрика основана на безопасности и характеризует количество ложных срабатываний на субъект при установленном уровне необнаруженных атак 1%.

Выводы по результатам тестирования

Инструменты атаки: Некоторые инструменты атак (фотография/запись, лицевые маски из картона или папье-маше, маски из силикона) хорошо распознаются алгоритмами многих разработчиков, со сравнительно низким уровнем ошибок (APCER ≤ 0.01 @ BPCER=0.01 и BPCER ≤ 0.01 @ APCER=0.01). Для некоторых инструментов атаки (например, ИА 7 [общеизвестные инструменты атаки в таблицах отчета NIST описаны, но те инструменты, которые создают существенные риски для систем обнаружения, пользователям сайта NIST не раскрываются – эта информация доступна компаниям, предоставившим алгоритмы для тестирования]) обнаружение атаки возможно только для нескольких алгоритмов, а для инструмента атаки 5 [см. выше] такое возможно только для одного вендора. Очевидно, что определенные инструменты атаки представляют существенную угрозу для исследованных алгоритмов.

Фотография/Запись видео: В тех случаях, где в поле зрения сенсора попадает рамка фотографии/планшета или видны руки атакующего, атаки легко обнаруживаются алгоритмами большинства разработчиков. Тем не менее, если изображение увеличено таким образом, что рамки фотографии/устройства демонстрации и руки атакующего оператора не видны, уровень ошибок обнаружения растет для всех алгоритмов, а для некоторых весьма существенно.

Фото или видео: Ряд алгоритмов продемонстрировал сниженный уровень ошибок при демонстрации видеофрагмента по сравнению со снятой в этом же сюжете фотографией.

Ассемблирование: Была проверена возможность улучшения обнаружения при использовании нескольких алгоритмов. Простейшее суммирование четырех наиболее точных алгоритмов по отношению к одному и тому же изображению позволяет получить более точный результат, чем для наиболее точного алгоритма для всех инструментов атаки.

Читайте также:

Технологический рейтинг продолжается! Анализируем банки Узбекистана

Демографические эффекты: Хотя демографические эффекты не являлись основной целью тестирования, было решено провести первичный анализ зависимости уровня ошибок от расы и пола представленных на тестирование образцов. Проведенный анализ не позволяет выявить каких-либо заметных трендов в уровне ошибок в зависимости от демографических характеристик.