Как работает распознавание лицевых образов в смартфонах

Зачем мы выбираем разблокирование по лицевому распознаванию

В последние годы определение лиц превратилось в одной из самых популярных возможностей для деблокировки мобильных телефонов. Еще некоторые годов ранее основная часть юзеров удовлетворялись PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает эту конкретную возможность такой востребованной? Прежде всего, это практично: не нужно удерживать в памяти трудные пароли или находить правильный палец в тьме. Во-вторых, это оперативно: современные программы распознают лицо фактически за доли секунды. В-третью очередь, это чувство будущего — словно в фильмах про вулкан казино разведчиков.

Тем не менее за такой видимой простотой скрывается весь вселенная сложных методов и инженерных решений. Попробуем понять, как именно работает фейсканирование в новейших смартфонах, какие существуют способы, насколько они безопасны и что нас ждёт впереди.

Сжатая хроника эволюции инноваций

Идентификация лиц как методика имеется уже более пятидесяти годов. Начальные попытки автоматического исследования облика были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда компьютеры способны были лишь выделять силуэты головы и определять промежутки между глазами и устами на ахроматических фотографиях.

Первые бизнес платформы стали доступны в девяностых годах, но они были неидеальны: работали медленно и часто давали сбои. Только с эволюцией синтетических сетей и таких площадок, как вулкан россии, сильных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные решения.

Основные стадии работы системы определения

Процесс распознавания лица можно примерно сегментировать на несколько основных этапов:

Обнаружение лица — устройство определяет присутствие человеческого образа в снимке.
Извлечение особенностей — система анализирует особенности облика: конфигурацию глаз, обонятельного органа, губ, позицию бровей.
Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — полученный образец сопоставляется с зафиксированной при внесении биометрической информацией владельца.
Принятие выбора — если совпадение достаточно значительное, смартфон разблокируется.

Каждый из указанных стадий требует индивидуальных алгоритмов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные компоненты: что находится в их недрах

Стандартная фронтальная камера.

Наиболее несложный вариант определения физиономии использует лишь фронтальную видеокамеру смартфона. Данный способ осуществлён во многочисленных бюджетных вариантах Android-устройств.

Преимущества:

Необходимо требует дополнительные сенсоров.
Быстро функционирует при качественном освещении.

Слабые стороны:

Просто одурачить фотографией или видео.
Плохо работает при слабом освещении или нестандартных точках зрения.

ИК фотокамера и точечный проектор

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология составляет базу Face ID от Apple.

Каким образом это действует:

Точечный проектор отображает на физиономию пользователя невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 меток).
Инфракрасная устройство регистрирует искривление этой решетки по поверхности лица.
Формируется 3D карта глубины, которая почти что неподвластна для имитации стандартной фотографией или маской.

Плюсы

Надёжная работа даже в полной неосвещённости.
Сильная устойчивость к подделкам.
Точность распознавания свыше 99%.

Дополнительные сенсоры

В определённых девайсах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период прохождения света до объекта и обратно; RGB-датчики глубины; специальные световые измерители расстояния для формирования более аккуратной 3D-модели лица.

Эти технологии используются чаще всего во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный интеллект в действии

Нынешние механизмы опознания физиономий немыслимы при отсутствии эксплуатации ИИ и машинного обучения. Именно вследствие таким разработкам, как вулкан россии, гаджет может узнавать пользователя даже при метаморфозах внешности: новая укладка, растительность на лице, очки или макияж не становятся помехой для деблокировки.

Детектирование лица

На первом этапе алгоритм обязана оперативно найти ликовое изображение внутри целого изображения с камеры. Для данной цели используются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может обнаруживать физиономию даже с частичном закрытии (например, шалью или ладонью).

Идентификация основных моментов

После обнаружения лица система, такая как вулкан россии, определяет расположение главных точек: края глаз, верхушка носа, края губ и так далее. Часто задействуется от 68 до 128 основных маркеров на лицевой области.

Данное требуется для стабилизации визуала: если человек держит мобильник под углом, или наклонил головку, программа “выпрямляет” изображение до обычного угла для дальнейшего анализа.

Создание биометрии шаблона

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Этот образец очень затруднительно имитировать: он не хранит само изображение пользователя, а лишь особенные характеристики его вида, что делает его совершенным для таких платформ, как vulkan russia.

Сравнительный анализ и осуществление заключения

В случае, когда юзер намеревается открыть смартфон взором, система воспроизводит все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый границу (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям внешнего вида

Занимательная черта актуальных системы — возможность самостоятельного обучения. Если ты регулярно доступаете к смартфон с свежей укладкой или оптикой, алгоритм постепенно модернизирует базовый образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Охрана биометрических данных данных.

Множество клиенты опасаются сохранять свои биометрические данные на мобильном устройстве из-за риска потери данных или взлома гаджета. Некоторые компании, такие как vulkan russia, предоставляют варианты для увеличения сохранности информации клиентов.

Локальное сбережение: Основная часть девайсов хранит био-идентификационные модели лишь внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и не доступны включая создателю.
Шифрование: Все данные сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих разработчиков не имеют прямого возможности доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо подчеркнуть значимую особенность: если кто-то получит физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие компании реализуют меры безопасности от автоматического разблокирования — к примеру, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды распознавания лиц?

В настоящее время можно различить 3 основных способа к выполнению этой функции:

Программное плоское определение

Применяется только лицевая видеокамера без экстра сенсоров дистанции. Такой способ встречается обычно в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность воплощения; умеренная стоимость; быстрая работа при достаточном свете.
Минусы: легко ввести в заблуждение фотографией; неустойчивая функционирование ночью; низкая безопасность.

Аппаратное 3D оцифровка

Применяет ИК камеру + проекционный модуль пикселей + датчики дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Достоинства: большая надежность; невозможно обмануть фото/видео; устойчивая деятельность при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Применяют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Иллюстрации использования различных способов

iPhone модели X/11/12/13/14 задействуют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID среди Android.
Samsung Galaxy S10/S20 имеют как софтверное плоское определение по фото фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности безопасности и ложные срабатывания

Несмотря на впечатляющий развитие технологий за недавние лет, идеальных механизмов пока не имеется:

Вероятность мошенничества: Бюджетные мобильники просто открываются четкой изображением пользователя или роликом с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные системы могут перепутать между монозиготными близнецами либо семьями с очень аналогичной внешностью.
Метаморфозы внешности: Резкое снижение веса/набор веса, косметические процедуры или травмы порой требуют перерегистрации биометрических данных.
Условия фотографирования: Яркая засветка солнцем или интенсивная темнота могут понизить аккуратность распознавания признаков.

Здесь некоторые подсказок для надёжному использованию:

Для важных операций всегда используйте двухэтапную аутентификацию;
Не активируйте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
Регулярно обновляйте ПО мобильного устройства для обеспечения безопасности от новых видов атак;
Включайте опцию “Требовать распахнутых глаз” везде, где она имеется.

Где дополнительно используется технология кроме мобильных телефонов?

Несмотря на то, что тема этой работы сосредоточена на конкретно мобильным устройствам, следует отметить других сферах применения технологии:

Управление доступа в офисах и жилых домах;
Платёжные устройства финансовых учреждений (“Face Pay”);
Цифровые удостоверения личности последнего поколения;
Системы видеомониторинга городских подразделений;
Механизация отслеживания присутствия учебных заведений/вузов;
Аутентификация юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Аналогичные программы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется техпроцесс в наше время?

Всякий год появляются свежие концепции для улучшения уровня функционирования систем идентификации лиц:

Увеличивается разрешение сенсоров — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
Развиваются искусственные интеллекты — передовые конструкции типа MobileNetV3 дают возможность быстро обучаться дополнительным чертам внешности обладателя прямо на устройстве без отправки данных в облако.
Развиваются методы антиспуфинга — теперь смартфоны могут отличать реальные движущиеся лица от неподвижных фотографий/маскировок по незаметным движениям кожи.
Взаимодействие со смарт-гаджетами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если пользователь отошёл далеко.
Появляются смешанные устройства — к примеру объединяющие аудио опознание + облик + дактилоскопический след.

Итак, которые направления особенно востребованы на сегодняшний день:

1) Уменьшение деталей

Производители пытаются минимизировать величину отверстия (“чёлки”) под сенсоры на экране за счёт внедрения миниатюрных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на устройстве

Для повышения приватности всё более обработки данных выполняется локально без пересылки данных во сторонний облачный сервис.

3) Унификация стандартов

Гугл интенсивно продвигает эталон BiometricPrompt API, чтобы аналогичные системы, как вулкан россия, и все Android-приложения могли работать с различными типами биометрии унифицированно.

Какое выбрать на сегодня?

Если вам необходима наивысшая сохранность информации, остановите выбор на флагманские устройства с вмонтированным ИК-излучателем или ToF-датчиком глубины.

iPhone каждого новейших версий
Huawei Mate/P ряда
Xiaomi Expert
Vivo X линейки
Oppo Find Икс серий.

Если финансы ограничен – лучше отдавать предпочтение традиционным способам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как опциональную возможность удобства.

Как улучшить практичность использования возможности?

Есть несколько советов для людей, кто уже использует разблокировку по лицу:

Часто обновляйте свою фотографию-шаблон, если сильно меняется внешность.
Не пренебрегайте очищать объектив передней камеры – пятна могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам запускает камеру когда вы берёте его в руки.
При записи постарайтесь держать лицо неподвижно впереди объектива исключая сильного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отвернулись от экрана.

Будущее эволюции техники

В предстоящие годы можно предвкушать появления полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + походка + движения рук!

Также возможно появление свежих подходов защиты личной информации – к примеру, динамическое изменение цифрового шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных техник нашего эпохи! Она обеспечивает интеракцию со смартфоном комфортнее чем когда-либо прежде, и такие приложения, как vulkan russia, могут значительно повысить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как работает эта система изнутри, – сумеете более осмысленно определять свой очередной устройство!