Каким способом работает идентификация лиц в смартфонах

Для чего мы останавливаемся на разлочивание по лицу

В прошлые времена распознавание лиц стало одной из наиболее востребованных опций для открытия умных телефонов. Еще некоторые годов ранее большинство юзеров удовлетворялись PIN-кодами, паролями или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам достаточно просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту конкретную особенность очень нужной? Для начала, это удобно: не нужно помнить замысловатые пароли или отыскивать правильный палец в темноте. Также, это мгновенно: современные системы идентифицируют лицо практически за мгновение. В-третьих, это ощущение будущего — как будто в кинолентах про адмирал х казино агентов.

Впрочем за данной кажущейся простотой прячется целый универсум трудных технологий и инженерных решений. Давайте разобраться, как именно работает фейсканирование в актуальных мобильных телефонах, какие существуют технологии, насколько они защищены и что нас ждёт впереди.

Сжатая история эволюции технологии

Идентификация лиц как методика присутствует уже более 50 лет. Первые пробы машинного анализа лица были предприняты еще в 1960-х годы в лабораториях США. Тогда компьютеры могли лишь выделять силуэты лица и определять расстояния между глазами и губами на ахроматических фотографиях.

Начальные бизнес платформы появились в 90-х, но они были несовершенны: действовали неспешно и часто давали сбои. Только с эволюцией синтетических сетей и таких площадок, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать собственные решения.

Основные этапы функционирования системы определения

Процесс распознавания лица можно примерно разделить на несколько основных этапов:

1. Обнаружение лиц — камера распознает существование людского образа в кадре.
2. Выделение признаков — алгоритм изучает особенности облика: очертания глаз, носа, губ, позицию надбровных дуг.
3. Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — сформированный шаблон сопоставляется со записанной при внесении биометрической информацией владельца.
5. Принятие выбора — если соответствие достаточно существенное, смартфон открывается.

Всякий из этих стадий требует специальных методов и оптимизаций для быстрой работы прямо на устройстве.

Железные составляющие: что прячется внутри

Стандартная передняя камера.

Самый простой легкий метод распознавания физиономии использует лишь лицевую видеокамеру мобильного устройства. Подобный подход осуществлён во различных недорогих вариантах Android-девайсов.

Положительные стороны:

• Не нуждается в требует дополнительных датчиков.
• Шустро действует при хорошем освещении.

Минусы:

• Легко одурачить изображением или видеозаписью.
• Неправильно функционирует при низком освещении или нестандартных точках зрения.

Инфракрасная фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Каким образом это действует:

• Точечный устройство проекции показывает на лицо использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID применяет около 30 000 меток).
• ИК камера регистрирует изменение формы этой сетки по поверхности физиономии.
• Формируется трёхмерная глубинная карта глубинности, что почти что невозможна для подделки типичной снимком или маской.

Плюсы

• Надёжная деятельность даже в полной темноте.
• Высокая сопротивляемость к подделкам.
• Точность идентификации более 99%.

Дополнительные сенсорные устройства

В определённых устройствах используются также экстра датчики: ToF (Time-of-Flight), которые фиксируют период прохождения луча до объекта и обратно; Трехцветные-датчики глубины; специальные оптические дальномеры для создания более точной 3D-модели физиономии.

Эти инновации применяются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искусственный интеллект в работе

Текущие механизмы идентификации физиономий немыслимы при отсутствии применения ИИ и machine learning. Именно вследствие таким разработкам, как адмирал х, аппарат в состоянии распознавать пользователя даже при изменениях внешнего вида: новая причёска, борода, линзы или косметика не становятся препятствием для деблокировки.

Детектирование лиц

В первом этапе программа необходимо мгновенно обнаружить ликовое изображение в пределах всего снимка с камеры. Для данной цели используются последовательные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен находить физиономию даже с частичном перекрытии (например, платком или рукой).

Выделение ключевых моментов

После обнаружения лица устройство, такая как адмирал х, определяет местоположение ключевых точек: кончики глаз, верхушка носа, контуры губ и так далее. Часто используется от 68 до 128 главных маркеров на лицевой области.

Это действие необходимо для нормализации изображения: если юзер держит мобильник под наклоненным, или наклонил голову, программа корректирует картинку до обычного угла для дальнейшего анализа.

Формирование биометрии модели

Далее нейросеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Данный формат весьма трудно подделать: он не хранит непосредственно картинку юзера, а лишь исключительные особенности его вида, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и вынесение решения

В случае, когда юзер хочет разблокировать мобильник взглядом, программа воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый уровень (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Приспособление к изменениям внешности

Интересная черта нынешних системы — способность самостоятельного обучения. Если вы регулярно открываете мобильное устройство с свежей стрижкой или оптикой, алгоритм постепенно освежает базовый шаблон вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических данных данных.

Многие клиенты опасаются хранить свои биометрические идентификационные данные на мобильном устройстве из-за вероятности утечки данных или хакерской атаки. Иные фирмы, например admiral-x, предлагают решения для увеличения сохранности сведений клиентов.

• Локальное сохранение: Основная часть девайсов сохраняет биометричные образцы только внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не покидают гаджет и закрыты в том числе производителю.

• Шифрование: Все сведения сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения внешних разработчиков не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать подтверждение верификации идентичности через системный API.

Следует отметить существенную деталь: в случае, если кто-либо сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют меры безопасности от “слепого” разблокирования — например, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды определения лиц?

В настоящее время можно выделить 3 главных метода к реализации этой операции:

Софтверное двухмерное идентификация

Эксплуатируется только фронтальная видеокамера без дополнительных детекторов дистанции. Подобный метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; умеренная затраты; скоростная функционирование при достаточном освещении.
Минусы: легко одурачить снимком; неустойчивая деятельность ночью; низкая защищенность.

Оборудование для 3D сканирование

Применяет инфракрасную камеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая достоверность; нельзя исказить фото/видео; постоянная функционирование при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с интеграцией ИИ

Применяют комбинацию программных методов + техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Образцы применения различных техник

• iPhone линейки X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10/S20 имеют как программное обеспечение двухмерное идентификацию по снимку селфи-камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-датчик

Проблемы защиты и неверные срабатывания

Несмотря на замечательный прогресс инноваций за недавние годы, идеальных систем пока не наблюдается:

1. Вероятность мошенничества: Недорогие мобильники легко открываются четкой фотографией пользователя либо видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные устройства могут спутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Изменения внешнего вида: Внезапное похудение/набор веса, пластические операции или повреждения в некоторых случаях необходимы для повторной регистрации биометрических данных.
4. Условия записи: Яркая засветка солнцем или глубокая тень могут уменьшить аккуратность определения признаков.

Здесь пара подсказок по надёжному применению:

• Для критически важных операций всегда используйте дополнительную аутентификацию;
• Не включайте опцию “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
• Систематически обновляйте прошивку мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте настройку “Требовать раскрытых глаз” там, где она доступна.

В каких местах ещё применяется технологии кроме смартфонов?

Несмотря на то, что тема нашей публикации посвящена конкретно смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

• Мониторинг прохода в офисах и многоквартирных зданиях;
• Платёжные аппараты банков (“Face Pay”);
• Электронные паспорта последнего поколения;
• Комплексы видеонаблюдения городских сервисов;
• Механизация регистрации явки учебных заведений/университетов;
• Аутентификация юзеров ПК/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Схожие программы реализуются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как меняется технология в наше время?

Любой год возникают современные идеи для усовершенствования стандарта функционирования систем лицевого распознавания:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше риск погрешности;
2. Улучшаются нейросети — передовые архитектуры вида MobileNetV3 позволяют быстро осваивать новым особенностям внешности владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь телефоны могут распознавать реальные движущиеся облики от статичных фотографий/масок по микроскопическим микродвижениям.
4. Синхронизация со смарт-гаджетами — смарт-часы могут автоматически блокировать смартфон, если владелец удалился на значительное расстояние.
5. Возникают гибридные устройства — к примеру объединяющие речевую опознание + облик + дактилоскопический след.

Вот, какие тренды в особенности популярны в данный момент:

1) Миниатюризация деталей

Изготовители стараются минимизировать габариты отверстия (“чёлки”) под датчики на экране за счёт интеграции компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения конфиденциальности всё больше обработки данных выполняется внутри устройства без отправки данных во внешний облачный услугу.

3) Упорядочивание норм

Гугл интенсивно продвигает стандарт BiometricPrompt API, для того чтобы подобные системы, как admiral x, и каждые Android-программы могли взаимодействовать с любыми видами биометрии единообразно.

Какое выбрать сегодня?

Когда вам всем важна максимальная безопасность данных, выбирайте передовые аппараты с интегрированным ИК-проектором или ToF-сенсором глубины.

• iPhone всех существующих последних версий
• Huawei Mate/Series P ряда
• Xiaomi Expert
• Vivo X модели
• Oppo Find Икс серии.

Если бюджет невелик – лучше выбирать традиционным средствам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как дополнительную возможность удобства.

Как улучшить комфорт работы опции?

Есть пара хитростей для тех, кто уже применяет разблокировку через лицо:

1. Периодически меняйте свою фотографию-шаблон, если кардинально меняется внешность.
2. Не упускайте из виду чистить линзу фронтальной камеры – пятна могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает фотоаппарат как только вы поднимаете его.
4. В процессе записи пытайтесь держать лицевую часть неподвижно впереди камеры не допуская значительного наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвели взгляд от экрана.

Перспективы эволюции инноваций

В ближайшие периоды можно ожидать возникновения полностью бесконтактных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: лицо + речь + походка + жесты рук!

Также возможно появление новых методов обеспечения конфиденциальности – к примеру, переменное изменение цифрового шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих инноваций нашего времени! Она предоставляет общение со смартфоном проще чем когда-либо прежде, и такие аппы, как admiral-x, могут существенно оптимизировать ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как устроена эта технология в деталях, – будете в состоянии осознаннее выбирать свой очередной устройство!