Доказательство живости изображений liveness detection при распознавании лиц и глаз

Привет, Вы узнаете о том , что такое доказательство живости, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое доказательство живости, liveness detection , настоятельно рекомендую прочитать все из категории Распознавание образов.

Обнаружение живости для распознавания лиц в биометрии - это способность компьютерной системы определять, жив ли человек перед камерой.

Он определяет, является ли человек перед камерой тем, кем он или она себя называет, действует ли этот человек по своей собственной воле или кто-то другой пытается совершить мошенничество, показывая изображение или видео этого человека, или даже используя поддельную маску для лица.

Можно разделить методы определения живости на:

• • аппаратные;
• • программные;
• • комбинированные

ЧТО ТАКОЕ liveness detection?

Биометрия определения живости лица относится к использованию технологии компьютерного зрения для обнаружения безобидного присутствия живого пользователя, а не к изображению, фальшивому видео или маске.

Технологии Presentation Attack Detection (PAD) могут использовать как активные, так и пассивные методы определения живого лица . Хотя это часто связано с распознаванием лиц , оно также может применяться к распознаванию голоса, чтобы различать людей, находящихся перед сканером, к динамикам, записывающим звук, или во всех ситуациях сканирования.

Он также может идентифицировать и обнаруживать отпечатки пальцев и биометрические данные отпечатка ладони, например, путем обнаружения основных показателей жизнедеятельности, кровотока и даже подделки лица с обнаружением живости с помощью отслеживания зрачков и распознавания радужной оболочки глаза, что является одним из наиболее эффективных методов биометрического обнаружения для обнаружения и предотвращения кража цифровых данных и мошенничество, как наше решение SmileID .

КАК РАБОТАЕТ РАСПОЗНАВАНИЕ liveness detection РАСПОЗНАВАНИЯ ЛИЦ?

Функция определения живучести для распознавания лиц с помощью биометрии использует уникальные биологические идентификаторы каждого человека для проверки его личности с максимальной точностью и минимальной ошибкой.

Эта аутентификация основана на биометрическом наследии каждого человека и является лучшим достижением в аутентификации, заключающейся в обладании уникальными и незаменимыми данными от каждого человека.

Эту информацию, несомненно, очень сложно изменить, и в настоящее время проводятся исследования по созданию систем для определения живости лиц , которые могут обнаруживать подделку лиц без ошибок или ошибок.

По всем этим причинам биометрическая аутентификация восприимчива к угрозам спуфинга, которые пытаются нарушить реальный процесс биометрической аутентификации по обнаружению жизнеспособности для распознавания лиц .

Такие атаки необычны, и прилагаются усилия, чтобы предотвратить их любой ценой с помощью решений для определения глубины лица . Эти системные сбои могут быть связаны с различными формами биометрии. Например, по отпечаткам пальцев, распознаванию лица человека, анализу радужной оболочки глаза, голоса или сердцебиения и ритма человека. Хотя биометрические системы не были такими надежными, благодаря ИИ удалось разработать полностью безопасные системы.

ПРИМЕРЫ ИСПОЛЬЗОВАНИЯ РАСПОЗНАВАНИЯ ЛИЦ АНТИ-СПУФИНГОМ С ОПРЕДЕЛЕНИЕМ ЖИВОСТИ С ПОМОЩЬЮ ОТСЛЕЖИВАНИЯ ЗРАЧКОВ

Во-первых, существует несколько сенсорных решений для методов обнаружения живого лица для предотвращения угроз биометрического спуфинга, от «активных» методов анти-спуфинга до «пассивных» методов анти-спуфинга .

Наиболее популярные решения для общего зондирования для определения живости лица и использования в коммерческих приложениях - это те, которые требуют только компьютерного зрения. Эти методы, в которых используются датчики глубины, могут быть применены к простой потоковой передаче видео, выполняемой клиентом, использующим только камеру телефона.

Для электростанций, пограничного контроля доступа и других объектов с высоким уровнем безопасности применяются передовые методы обнаружения живого лица и даже их сочетание.

Методы активного анти-спуфинга распознавания живости распознавания лиц требуют от пользователя выполнения некоторого движения перед камерой, такого как моргание или перемещение части своего тела, например анти-спуфинг при распознавании лиц с обнаружением живости с использованием отслеживания зрачков, которое мы видели в фильмах.

Среди методов активного анти-спуфинга живучести для методов распознавания лиц наиболее часто используются моргание глаз и обнаружение улыбки, например SmileID с помощью электронной идентификации , используемой для аутентификации с обнаружением и распознаванием живости лица .

SmileID проверяет личность удаленно за несколько секунд, проверяя жизнеспособность человека, заставляя его улыбаться с поддержкой правил AML5 и eIDAS для использования этой технологии.

Преимущества использования SmileID

• Это наиболее надежное решение для наших клиентов, поскольку оно обеспечивает проверку личности пользователя с помощью видеоидентификации.

• Это решение применимо во всех каналах, что позволяет использовать его во всех каналах, увеличивая регистрацию клиентов за секунды.

• Процесс KYC с SmileID полностью безопасен, а пользовательский интерфейс приятен, прост и гибок для клиента.

• SmileID - это решение, которое аутентифицирует и проверяет пользователя за считанные секунды, в котором доказательство жизни записывается с использованием лица и записывается видео, в то время как искусственный интеллект проверяет биометрический образец человека, чтобы избежать кражи личных данных, в 1 минута.

РЕШЕНИЯ ДЛЯ ОПРЕДЕЛЕНИЯ ГЛУБИНЫ ЛИЦА

Пассивные методы анти-спуфинга, такие как анти-спуфинг при распознавании лиц с обнаружением живости с использованием отслеживания зрачка, запрашивают комплексное исследование движений лица, выражений лица и команд порядка для определения живости для распознавания лиц в видео, которое также может определять глубину лица.

Однако дело в том, что эти упомянутые методы подвержены ложным отклонениям и способны обмануть системы определения жизнеспособности лиц, поэтому важно использовать точные и безопасные системы, такие как SmileID .

Методы определения живости глаза

• Изучение спектра отражения глаза. Спектр отражения живой влажной
роговицы отличается от такового у мертвой пересохшей, стекла или пластика модели. Однако, такой метод защиты возможно обойти, смачивая
мертвый глаз или покрыв модель слоем влажной белковой эмульсии (раствором желатины).
• Исследование гиппуса/нистагма. Непроизвольные движения зрачка и глаза — хорошее доказательство его живости, но есть люди, у которых эти
движения выражены очень слабо или происходят редко (раз в несколько
минут).
• Мигание случайно выбранных светодиодов осветителя в случайно выбранные моменты времени и проверка отражения осветителя на соответствующих кадрах видеопоследовательности.

• Изучение реакции зрачка на световой стимул (поданный в случайный момент времени).
Последний метод наиболее интересен, поскольку, кроме установления подлинности и живости предъявленного глаза, он позволяет получить запись реакции
зрачка, пупилограмму. По пупилограмме можно определить состояние человека, его активность, уровень истощения, уровень стресса. Эти дополнительные
данные могут оказаться нужны в системах, установленных на проходных важных производственных и военных объектов, работники которых могут быть
допущены к труду лишь в хорошем физическом и психическом состоянии. Недостаток этого метода в том, что для регистрации пупилограммы требуется около
0.5 секунды непрерывной съемки глаза для подтверждения живости и не менее
2 секунд для определения состояния человека.

Спектр отраженного света

Этот аппаратный метод основан на определении отношений яркости изображений и их элементов, полученных при освещении глаза светом с различными
длинами волн. Спектр отражения тканей живого глаза и возможных подделок
отличается. Погложение и отражение видимого света и ближнего ИК излучения
различными тканями организма и их компонентами (кровь, жир, вода, меланин
и др.) изучено во многих работах, например .Используются мультиспектральные изображения полученные при ближнем инфракрасном
(860нм) и синем (480нм) освещении. Об этом говорит сайт https://intellect.icu . Однако, данный метод имеет два существенных недостатка. Во-первых, этот метод защиты может быть легко преодолен

путем смачивания макета радужки водой или наклеивания на него прозрачной влажной желатиновой пленки, имеющей спектр в ИК области, идентичный тканям организма. Во-вторых, спектр отражения существенно отличается
для представителей разных рас (европеоидов, монголоидов, негроидов). Представляется, что межрасовая вариабельность спектра даже превышает отличие
между живым глазом и подделкой. Кроме того, исследование спектра требует
дополнительных осветителей и сенсоров, что усложняет оборудование и существенно ограничивает область применения. В целом, данный подход является
пока слабо разработанным.

Эффект «красных глаз»

Этот аппаратный метод основан на отражении света от сетчатки глаза.

На Рис.4.14 даны примеры частичного и полного эффекта. В [376], а также в
Рис. 4.14. Примеры эффекта «красных глаз», а также точек Пуркинье. (а) — частичный односторонний эффект; точка Пуркинье видна слева-снизу от блика. (б) — весь зрачок светлее
радужки; точка Пуркинье не в фокусе, видна размытым пятном слева от блика в центре
зрачка
ряде патентов предлагается использовать т.н. активную подсветку, состоящую
из нескольких осветителей, включающихся попеременно, для создания эффекта «красных глаз», на основании чего достаточно просто детектируется зрачок
а также проверяется живость глаза. Однако, эффект проявляется устойчиво лишь в при достаточно большом зрачке, когда оптический путь осветитель-сетчатка-камера не перекрывается радужкой. В случае малых размеров зрачка добиться эффекта затруднительно. В целом, данный подход является пока слабо разработанным.

Изображения Пуркинье

Изображения Пуркинье — отражения осветителя от передней и задней поверхностей хрусталика, также к ним причисляют и отражение от роговицы.
Выпуклая передняя поверхность хрусталика дает относительно слабое видимое отражение, вогнутая задняя — более сильное. Оба эти отражения существенно
слабее отражения от роговицы. На Рис.4.14 даны примеры глаз с одним видимым изображением Пуркинье. На Рис.4.15 приведен пример обоих изображений. Использование этого метода [334] для защиты от подделок также предполагает наличие нескольких осветителей, включаемых попеременно, с целью
получить изменения в геометрии изображений Пуркинье, что свидетельствует
о подлинности. Однако, добиться устойчивого, доступного для регистрации и
определения проявления данного эффекта также затруднительно.

Зернистость искусственного изображения

Простейшим способом подделки глаза является печать его цифровой фотографии на принтере с высоким разрешением. Если глаз напечатан в натуральную величину, то его изображение достаточно похоже на изображение непосредственно регистрируемого «живого» глаза.
Современные струйные принтеры имеют высокое разрешение, доступные
в продаже принтеры способны дать разрешение 2400 dpi. Размер радужки составляет 12mm ≈ 0.5inch, соответственно, напечатанное изображение имеет
линейный размер 1200 точек печати. Изображение высокого качества должно
содержать не менее 200 пикселей [394].

Рис. 4.15. Пример изображений Пуркинье

Таким образом, на один пиксель регистрируемого изображения может приходиться до шести точек печати (линейный размер), то есть пиксель изображения получается усреднением порядка
тридцати точек печати. В этом случае вариации яркости, вызываемые дискретностью печати, малы и не могут быть обнаружены. Однако, тонер, используемый в современных струйных принтерах, практически невидим в ближнем ИК,
и напечатанное на таком принтере изображение не может быть введено, так как
имеет низкое качество. Поэтому распространенные сейчас струйные принтеры
не могут использоваться для подделок радужки.
Тонер лазерных принтеров видет в ИК диапазоне, и изображения, полученные с их помощью, воспринимаются системами регистрации РОГ. Проблемой
современной технологии лазерной печати является слипание зерен тонера. Для
ликвидации случайного слипания используется зернение изображения. Пример
изображения, полученного с реального глаза и полученного регистрацией напечатанного изображения этого же глаза, дан на Рис. 4.16.

Рис. 4.16. Изображения глаза: (а) — полученное непосредственной регистрацией; (б) — полученное из напечатанного

Это зернение может быть обнаружено различными методами. Разработаны три таких метода.

Спектр Фурье-пребразования

Коэффициенты Фурье составляют пространство первичных признаков. Используя эти признаки, предлагается классифицировать два выше описанных
типа изображений. Так как размерность пространства первичных признаков
велика, предлагается построить новые признаки которые уже будут непосредственно использоваться для классификации.
Для построения новых (вторичных) признаков используется зависимость
спектральной энергии от частоты, называемая здесь также радиальной компонентой фурье-образа. Во-первых, такой подход может сократить размерность
задачи классификации. Во-вторых, в силу того, что предполагаемая выделяющаяся гармоника имеет приблизительно равные пространственные частоты,
то при переходе к радиальной компоненте, эти гармоники должны наложиться

друг на друга. В итоге задача сводится к задаче классификации.
Рассмотрим изображение как сеточную функцию f(x, y), где x = 0, 1, . . . M− 1, y = 0, 1, . . . N − 1.

Дискретное преобразование Фурье можно записать в следующем виде

Элементы матрицы — суть пространство первичных признаков. Под вторичным признаком понимается, некоторая функция g(Φ). Задача состоит в том, чтобы подобрать достаточно небольшой набор вторичных
признаков , которые бы отражали распределение плотности спектра Φ (при этом предполагается, что I значительно меньше, чем MN). В частности, интересно наличие максимумов в области высоких частот, что говорит
о присутствии периодического шума высокой частоты, который наблюдается в
поддельных напечатанных изображениях.
Для классификации изображений используется метрический классификатор следующего вида

где u — классифицируемые изображение, X+ и X− — обучающие выборки настоящих и поддельных изображений соответственно, функция W(u, X) определяет
принадлежность объекта u к классу X.
Пусть изображение f(x, y) преобразовано согласно (4.29) в ϕ(u, v) с помощью быстрого преобразования Фурье.
Первым шагом введем понятие радиальной компоненты фурье-образа Φ.
Отметим, что нулевая гармоника спектра в нашем представлении есть ϕ(0, 0)
(малые частоты обычно самые интенсивные). Поэтому точку (0, 0) примем за
полюс. Далее сгруппируем все точки (u, v) по евклидовому расстояния до (0, 0)
с учетом тороидального замыкания сетки. Обозначим

и рассмотрим множество

.
Учтем, что значения r целые, тогда можно ввести радиальную компоненту фурье-образа как

. С физической точки зрения, функция R(r)
показывает энергию спектра в кольце, единичной толщины внутреннего радиуса r.
Теперь опишем процедуру получения вторичных признаков

. Для этого введем понятие интегрального признака для радиальной компоненты фурье-образа.

Интегральным признаком θ(α), 0 < α < 1 для R(r) назовем следующую величину

Физически, интегральный признак показывает радиус круга r, внутри которого
содержится доля α от общей энергии спектра. Основная идея состоит в том, что
данные интегральные признаки отображают распределение плотности спектра.
Поэтому для спектров настоящих изображений, которые почти монотонно убывают, и спектров поддельных изображений, которые имеют четко выделенные
пики высокой частоты, эти характеристики должны значительно отличаться.
Однако априори не понятно, какие значения α нужно выбирать. Также нужно учесть, что значительная часть плотности сосредоточена вблизи нулевых
частот.
Предлагается построить последовательность αk такую, чтобы последовательность δk = αk−αk−1 достаточно быстро убывала. Положим δk = 2−k
, α0 = 0
и соответственно
(вообще говоря, можно брать δk как
любую бесконечно убывающую геометрическую прогрессию). В силу дискретности задачи существует такой номер I, что θ(αI ) = rmax и на этом последо194
вательность обрывается. Тогда определим gk = θk − θk−1, k = 1, . . . I. Таким
образом, вторичные признаки gk есть скачки интегральных признаков. А именно: при изменении аргумента с θk на величину gk значение площади подграфика
увеличивается на долю δk от общей площади. Большое значение gk указывает
на наличие пика в спектре.
Выбор бесконечно убывающих геометрических прогрессий отражает неявное предположение о том, что для реального изображения плотность энергии
спектра убывает экспоненциально по радиусу. В этом случае последовательность θk будет арифметической прогрессией, а последовательность gk постоянной.
Отметим, что, вообще говоря, I зависит от исследуемого изображения,
но последовательность θk можно продолжить стационарным образом, поэтому
достаточно для всех изображений установить единый порог I∗. Например, его
можно выбрать как максимальное значение I на обучающей выборке.
Также отметим, что можно каждый раз не пересчитывать сумму ∑θ
r=0 R(r),
а определять θk = θ(αk) следующим образом

В качестве метрики на наборах g выбирается евклидова метрика в RI

Для классификации используется метод Парзеновского окна с экспоненциальным ядром
. Ширина окна h выбирается равной максимальному
расстоянию между классифицируемым объектом u и элементом обучающей выборки

где ρˆ(u, x) = ρ(g(u), g(x)) определяется из (4.34). Отсюда получаем следующую
функцию принадлежности объекта u классу X

и классификатор принимает следующий вид

Покажем, что время работы работы как классификатора, так и обучающего алгоритма определяется временем работы спектрального преобразования.
Сложность быстрого преобразования Фурье есть O(L log L), где L = NM — количество пикселов в изображении. Сложность остальной части алгоритма
является линейной по L. Действительно, вычисление радиальной компоненты
согласно формуле (4.31) выполняется за не более чем за 3MN арифметических
операций (с учетом разбиения всех точек на классы S(r)). Построение каждого
интегрального признака θk и вместе с ним gk не более чем за 2rmax =√M2 + N2
арифметических операций (радиальная компонента R(r) = 0, при r > rmax).
При этом количество признаков I фиксировано и мало по сравнению с L. Сложность самой классификации определяется только размером обучающей выборки l и количеством признаков I (также l значительно меньше L). Таким образом, общую сложность алгоритма можно оценить как O(Llog L).
В вычислительном эксперименте использовались изображения с разрешением 640×480, то есть в формуле (4.29) нужно положить N = 640, M = 480.
Изображения были разделены на 4 группы: две группы использовались как
обучающая выборка, две другие — контрольная выборка. В обучающей выборке было использовано 1000 реальных и 1000 поддельных изображений, в
двух контрольных выборках было соответственно по 3000 изображений. Также классификация была проведена на меньших размерах выборок (порядка 100
изображений) Как и ожидалось, наличие периодического шума приводит к сильному различию спектров полученных после дискретного преобразования Фурье согласно
формуле (4.29). На рис. 4.17 изображен результат преобразования Фурье для изображения глаз на рис. 4.16.

Рис. 4.17. Двумерный фурье-образ изображения

Как видно из последнего рисунка, в спектре напечатанного изображения есть 8 побочных максимумов; причем есть две группы по 4 максимума, находящиеся на приблизительно одинаковом расстоянии от нулевой частоты. При построении радиальной компоненты фурье-образа по формуле (4.31) получаются
два пика у спектра напечатанного изображения. Для приведенных выше спектров радиальные компоненты даны в логарифмическом масштабе на рис. 4.18.
Как показал эксперимент, для выявления различий достаточно выбирать
очень небольшое количество признаков. Во-первых, почти для всех изображений значение I (номер интегрального признака, после которого последовательность θk стабилизируется) не превышал 10. Во-вторых, значительные различия
во вторичных признаках gk возникают уже при k < 5. Поэтому в эксперименте
полагалось I = 10.

Рис. 4.18. Радиальная компонента фурье-образа (а) реального и (б) поддельного изображений
Для рассматриваемых выше двух изображений графики значений gk приведены на Рис. 4.19 и Рис. 4.20.

Рис. 4.19. Значения признаков gk для изображений с рис. 4.16

В случае напечатанного изображения виден резкий пик при k = 3, который указывает на побочный максимум в спектре. График значений gk для тестовой
обучающей выборки из 20 изображений показан на рис. 4.21. Каждая ломаная
соответствует набору признаков одного изображения. Исходя из Рис. 4.19, 4.20,
также можно отметить, что предположение об экспоненциальном виде R(r) не выполняется. Как следствие последовательность gk не является постоянной.

Рис. 4.20. Значения признаков gk для изображений с рис. 4.16

Однако это формально никак не сказывается на дальнейшем анализе.

Эквивалентная ошибка определения живости этим методом составляет 8%.
Основной причиной возникновения ошибок при работе классификатора
являлось отсутствие фокусировки у значительного числа изображений. Это
связано с тем, что изображения получались сериями (съемка камерой), среди которых лишь одно или два изображения попадают в фокус. На хорошо
сфокусированных фотографиях и при большой обучающей выборке (более 100
изображений) доля ошибок не превосходила 4 − 6% (это относится к ошибочным классификациям как поддельных так и настоящих изображений). В общем
случае при длине обучающей выборки более 100 изображений и наличии в ней
плохо сфокусированных изображений доля ошибок не превосходила 10 − 15%.
Однако на малых выборках (менее 50 изображений) доля ошибок второго рода
(поддельное изображение распознается как настоящее) доходила до 25 − 30%.
Возможными решениями данной проблемы является предварительная фильтрация изображений, а также обработка изображений одного глаза сериями. В
последнем случае серия определяется как напечатанная, если хотя бы на одно
из изображений в серии определено как напечатанное.

Рис. 4.21. Значения признаков gk на тестовой обучающей выборке

Гистограмма градиентов

Более простым, быстрым и точным является метод анализа гистограммы
градиентов яркости. Градиенты вычисляются оператором Собеля. Распределение величины градиента различно для реальных и поддельных изображений.
На поддельных изображениях присутствует большое количество границ (пикселей с высоким градиентом яркости) из-за сетки печати. Поэтому гистограмма
поддельного изображения смещена в сторону высоких значений. На Рис.4.22
представлены типичные гистограммы яркости реального и поддельного изображений. Экспериментально подобрана оптимальная оценка разброса гистограммы градиента как 80% квантиль. Эквивалентная ошибка определения живости этим методом составляет 0,44%.

Рис. 4.22. Гистограммы величины градиента яркости.

Морфологическая разность

Можно заметить, что сетка печати представляет собой множество отдельных малых темных областей в светлых областях и множество малых темных
точек в темных областях. Поэтому морфологические операции открытия и закрытия достаточно сильно изменяют поддельные изображения. В то же всемя
реальные изображения содержащие лишь большие обдласти, мало изменяются
при этих преобразованиях. Разность изображений-результатов операции закрытия (суперпозиция операций дилатации и эрозии) и открытия (суперпозиция
эрозии и дилатации) будет значительной для поддельных изображений и малой для реальных:

где B — ядро морфологической операции.

На Рис. 4.23 представлена гистограмма изображения |Delta в типичном случае. Эквивалентная ошибка определения

Рис. 4.23. Гистограммы величины разности яркостей после операций открытия и закрытия.
живости этим методом составляет 0,15%.

Движения глаза

Очевидным признаком живости глаза является его движение. Известными
собственными движениями глаза являются гиппус (апериодические изменения
радиуса зрачка), нистагм (непроизвольные колебательные движения глаза), саккады (согласованные движения глаз, необходимые для рассматривания объекта
внимания), мигание. Использование гиппуса, нистагма и мигания для определения живости глаза предложено в [459] и ряде патентов. Однако, гиппус и нистагм являются непроизвольными и апериодическими движениями, более того,
у некоторых людей они отсутствуют или происходят редко. Добиться возникновения саккад можно предъявлением движущегося или имеющего сложную
структуру стимула, что представляет собой достаточно сложную техническую
проблему. Мигать человек может по запросу системы, однако достоверное определение мигания и отличие мигания живого глаза от мигания макета — сложная и неоднозначная задача. По этой причине данные методы, предложенные
достаточно давно, не получили развития.

Пупилограмма

Характерным движением глаза является реакция зрачка на внешний раздражитель. Как правило при наличии резкого внешнего стимула (вспышка света, резкий звук, боль) зрачок быстро сокращается, фаза сокращения занимает
меньше одной секунды, после чего следует относительно медленное восстановление до начального размера. Особенности этой реакции зависят от состояния
человека на момент измерения, кроме того, существуют индивидуальные различия между людьми. Изучением взаимосвязи особенностей реакции с функциональным состоянием человека занимается область медицины пупиллография
[38, 175]. На Рис.4.24 представлена типичная пупилограмма — график зависимости радиуса зрачка от времени. Пупилограмма имеет характерный вид,
причем за счет индивидуальных отличий может служить дополнительной модальностью для идентификации.

Рис. 4.24. Вид пупилограммы. Цифрами обозначены 1 – амплитуда; 2 – латентный период; 3 – фаза сокращения; 4 – фаза восстановления.

Исследование, описанное в статье про доказательство живости, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое доказательство живости, liveness detection и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Распознавание образов