Каким способом работает идентификация лицевых образов в мобильных устройствах

Зачем мы выбираем разблокировку по лицевому распознаванию

В последние годы идентификация лиц стало одной из самых распространённых функций для деблокировки умных телефонов. Лишь несколько годов тому назад основная часть использующих обходились пин-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект превращает эту конкретную функцию очень нужной? Для начала, это удобно: не нужно помнить трудные пароли или находить верный палец в тьме. Во-вторых, это мгновенно: современные программы узнают лицо фактически за мгновение. В-третью очередь, это ощущение футуристичности — будто в кинофильмах про admiral x разведчиков.

Однако за этой на первый взгляд несложностью скрывается полный мир сложных методов и инженерных концепций. Позвольте нам понять, как конкретно функционирует идентификация по лицу в новейших смартфонах, какие бывают методы, насколько они надёжны и что нас ждёт впереди.

Краткая повествование развития технологии

Распознавание лиц как методика существует уже более пятидесяти годов. Первые эксперименты автоматического изучения лиц были предприняты еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины могли лишь определять очертания черепа и вычислять расстояния между зрачками и устами на ахроматических изображениях.

Начальные бизнес системы появились в девяностых годах, но они были несовершенны: функционировали медленно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять свои решения.

Ключевые этапы действия механизма распознавания

Процесс определения лица можно ориентировочно поделить на несколько важных этапов:

Идентификация лиц — устройство определяет присутствие гуманного лица в кадре.
Определение особенностей — система анализирует контуры лица: очертания глаз, обонятельного органа, уст, положение бровей.
Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе определённых признаков.
Сравнение с стандартом — созданный шаблон сверяется с сохранённой при учёте биометрической данными владельца.
Принятие определения — если совпадение достаточно существенное, смартфон деблокируется.

Каждый из указанных этапов нуждается в специальных процедур и оптимизаций для скорой работы прямо на устройстве.

Технические компоненты: что скрыто внутри

Типичная передняя камера.

Самый простой несложный способ идентификации физиономии применяет исключительно лицевую камеру мобильного устройства. Такой метод осуществлён во многочисленных бюджетных версиях Android-устройств.

Плюсы:

Не требует дополнительных датчиков.
Быстро функционирует при достаточном свете.

Отрицательные стороны:

Просто ввести в заблуждение снимком или видеозаписью.
Плохо функционирует при низком свете или нестандартных углах обзора.

ИК камера и точечный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Как это действует:

Точечный проекционный прибор показывает на физиономию использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
Инфракрасная камера записывает искривление данной решетки по поверхности физиономии.
Создаётся трехмерная карта глубины, что почти неосуществима для имитации обычной снимком или маскировкой.

Плюсы

Надёжная деятельность даже в полной тьме.
Большая сопротивляемость к подделкам.
Точность определения выше 99%.

Добавочные сенсоры

В определённых устройствах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют период прохождения луча до цели и обратно; RGB-датчики глубины; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти инновации используются чаще всего во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный интеллект на действии

Нынешние механизмы идентификации лиц немыслимы в отсутствие применения ИИ и машинного обучения. Именно вследствие таким разработкам, как адмирал х, устройство способно идентифицировать пользователя даже при метаморфозах внешности: новая причёска, растительность на лице, очки или косметика не становятся помехой для деблокировки.

Распознавание физиономии

В начальном стадии система необходимо быстро распознать образ лица среди полного снимка с камеры. Для этого задействуются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать физиономию даже с частичном закрытии (например, шалью или рукой).

Выделение ключевых моментов

После идентификации лица система, такая как адмирал х, вычисляет местоположение основных точек: кончики глаз, кончик носа, контуры губ и так далее. Часто задействуется от 68 до 128 главных маркеров на лицевой области.

Данное требуется для выравнивания картинки: если человек удерживает телефон под наклоненным, или склонил головку, программа исправляет изображение до обычного угла для последующего изучения.

Формирование биометрического идентификатора образца

Далее нейронная сеть строит уплотненное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Данный шаблон очень сложно подделать: он не хранит само картинку юзера, а лишь уникальные характеристики его облика, что делает его оптимальным для таких площадок, как admiral-x.

Сравнительный анализ и осуществление выбора

Когда юзер намеревается открыть телефон глазами, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Привыкание к трансформациям внешности

Занимательная особенность актуальных системы — возможность самообучения. Если вы регулярно доступаете к телефон с свежей укладкой или очками, алгоритм постепенно модернизирует эталонный шаблон вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных.

Множество юзеры беспокоятся сохранять свои биометрические данные на смартфоне из-за риска утечки информации или взлома устройства. Иные компании, например admiral-x, предоставляют варианты для увеличения защиты информации клиентов.

Локальное сбережение: Основная часть устройств сохраняет биометрические модели исключительно внутри защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и не доступны даже производителю.
Шифрование: Все данные сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы внешних девелоперов не обладают непосредственного доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Стоит отметить существенную особенность: если какой-то человек сможет получить доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители осуществляют защиту от “слепого” разблокирования — к примеру, требуют открыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают типы распознавания лиц на изображениях?

На сегодняшний день можно определить выделить 3 главных способа к реализации этой задачи:

Программное 2D идентификация

Применяется только фронтальная видеокамера без дополнительных датчиков глубины. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота воплощения; низкая затраты; скоростная деятельность при достаточном освещении.
Минусы: несложно ввести в заблуждение фотографией; неустойчивая функционирование ночью; слабая защищенность.

Техническое объёмное сканирование

Задействует ИК видеокамеру + проектор точек + датчики дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Преимущества: большая надежность; нельзя исказить фото/видео; стабильная деятельность при любом освещении.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронтальную камеру c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Иллюстрации применения разных способов

iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID в ряду Android.
Samsung Galaxy S10/S20 поддерживают как софтверное 2D определение по снимку селфи-камерой, так и сканер ириса глаза.
Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Проблемы охраны и ошибочные срабатывания

Несмотря на замечательный успехи инноваций за прошедшие лет, идеальных механизмов пока не существует:

Шанс мошенничества: Бюджетные телефоны без труда открываются качественной изображением пользователя или же роликом с экрана другого устройства.
Идентичные близняшки: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
Трансформации внешности: Резкое похудение/увеличение массы тела, пластические операции или травмы в некоторых случаях необходимы для повторной регистрации биометрии.
Условия записи: Яркая освещённость солнечным светом или интенсивная тень могут уменьшить верность определения признаков.

Вот пара советов для безопасному применению:

Для значимых операций всегда внедряйте двухэтапную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку ПО мобильного устройства для предотвращения угроз от современных угроз;
Включайте опцию “Требовать распахнутых глаз” в тех местах, где она есть.

В каких местах ещё применяется технология помимо смартфонов?

Несмотря на то, что основная мысль данной работы сосредоточена на конкретно портативным гаджетам, необходимо сказать о прочих направлениях внедрения технологии:

Управление доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные терминалы банков (“Face Pay”);
Виртуальные идентификационные документы последнего поколения;
Установки видеоконтроля муниципальных сервисов;
Автоматизация отслеживания посещаемости школ/институтов;
Авторизация юзеров компьютеров/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Аналогичные проекты реализуются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом меняется техпроцесс в нынешнее время?

Всякий год появляются современные концепции для повышения стандарта функционирования систем идентификации лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется видеокамерой/глубинными сенсорами, тем меньше риск погрешности;
Совершенствуются нейронные сети — передовые структуры вида MobileNetV3 дают возможность скоростно обучаться дополнительным особенностям вида пользователя напрямую на гаджете без отправки данных в облако.
Совершенствуются способы антиспуфинга — теперь мобильные устройства способны отличать реальные живые облики от фиксированных снимков/масок по микроскопическим движениям кожи.
Взаимодействие со интеллектуальными приборами — смарт-часы могут авто блокировать мобильный телефон, если пользователь удалился на значительное расстояние.
Возникают смешанные системы — к примеру комбинирующие речевую аутентификацию + облик + дактилоскопический след.

Здесь, какие тенденции особенно востребованы в данный момент:

1) Сокращение компонентов

Компании стараются минимизировать размер выреза (“чёлки”) для сенсоры на дисплее за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для повышения приватности всё более расчётов выполняется на месте без передачи информации во дополнительный облачный услугу.

3) Упорядочивание норм

Google энергично продвигает стандарт BiometricPrompt API, для того чтобы такие площадки, вроде admiral x, и каждые Android-приложения могли работать с различными типами биометрии единообразно.

Что решить на сегодня?

Когда вам всем нужна наивысшая защита информации, остановите выбор на топовые аппараты со встроенным ИК-проектором либо ToF-датчиком глубины.

iPhone всех существующих последних версий
Huawei Companion/Series P линейки
Mi Pro
Vivo X модели
Оппо Find X серий.

Если средства невелик – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как дополнительную опцию удобства.

Каким способом повысить практичность использования функции?

Есть пара советов для тех, кто уже использует разблокировку через лицо:

Регулярно обновляйте свою фотографию-шаблон, если сильно трансформируется внешность.
Не забывайте чистить объектив передней камеры – загрязнения могут снизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам включает камеру как только вы поднимаете его.
Во время регистрации пытайтесь сохранять лицевую часть прямо впереди объектива не допуская сильного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Будущее прогресса технологии

В ближайшие времена можно предполагать развития полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + манера ходьбы + манипуляции руками!

Также вероятно развитие современных методов обеспечения конфиденциальности – например, динамическое модификация цифрового паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из самых увлекательных технологий нашего периода! Она обеспечивает общение со смартфоном комфортнее чем когда-либо прежде, и такие программы, как admiral-x, могут в разы улучшить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы знаете, как устроена эта методика в деталях, – сумеете осознаннее выбирать свой следующий устройство!