Каким образом действует распознавание лиц в мобильных устройствах

Почему мы выбираем разлочивание по лицу

В недавние времена идентификация лиц является одной из самых распространённых возможностей для открытия умных телефонов. Еще некоторые лет ранее основная масса использующих довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам достаточно просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что обуславливает данную возможность такой востребованной? Для начала, это удобно: не нужно удерживать в памяти сложные пароли или находить верный палец в темноте. Кроме того, это быстро: современные системы распознают лицо практически за мгновение. В-третью очередь, это впечатление футуризма — словно в фильмах про казино вулкан шпионов.

Впрочем за данной на первый взгляд легкостью таится весь вселенная комплексных техник и инженерных решений. Давайте понять, как конкретно действует распознавание лиц в актуальных мобильных телефонах, какие существуют технологии, насколько они защищены и что нас ждёт впереди.

Сжатая хроника развития техники

Распознавание лиц как техника присутствует уже более 50 годов. Первые попытки автоматического исследования облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ умели лишь определять очертания головы и измерять промежутки между очами и губами на черно-белых изображениях.

Первые торговые установки появились в 1990-х годах, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких систем, как вулкан россии, сильных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять личные разработки.

Главные этапы действия механизма определения

Процесс распознавания лица можно ориентировочно разделить на несколько основных этапов:

1. Распознавание лица — устройство определяет присутствие людского образа в снимке.
2. Выделение характеристик — система исследует контуры лица: очертания глаз, носа, губ, расположение надбровных дуг.
3. Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — полученный образец сравнивается со записанной при учёте биометрической данными владельца.
5. Принятие выбора — если сходство достаточно существенное, смартфон разблокируется.

Каждый из этих этапов нуждается в особых алгоритмов и оптимизаций для оперативной работы прямо на устройстве.

Аппаратные составляющие: что прячется внутри них

Типичная передняя камера.

Наиболее простой вариант идентификации физиономии использует лишь переднюю видеокамеру мобильного устройства. Такой метод реализован во многих бюджетных моделях Android-девайсов.

Положительные стороны:

• Не нуждается в требует дополнительных сенсоров.
• Шустро функционирует при хорошем освещении.

Слабые стороны:

• Легко одурачить снимком или видеозаписью.
• Плохо функционирует при плохом освещённости или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс является основой Face ID от Apple.

Как это действует:

• Точечный проекционный прибор отображает на облик юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID задействует около 30 000 меток).
• ИК устройство регистрирует искривление данной решетки по плоскости физиономии.
• Создаётся трехмерная карта глубины, которая практически неосуществима для имитации обычной фото или маской.

Достоинства

• Надёжная работа даже в полной неосвещённости.
• Большая устойчивость к подделкам.
• Точность определения свыше 99%.

Добавочные датчики

В отдельных аппаратах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые определяют время движения света до объекта и обратно; Трехцветные-датчики глубины; специальные лазерные дальномеры для построения более аккуратной 3D-модели лица.

Эти разработки встречаются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный ум на работе

Нынешние системы идентификации лиц неосуществимы в отсутствие применения artificial intelligence и machine learning. Именно благодаря таким инновациям, как вулкан россии, устройство в состоянии идентифицировать юзера даже при метаморфозах внешности: новая укладка, растительность на лице, очки или грим не становятся помехой для деблокировки.

Детектирование лица

В стартовом шаге алгоритм необходимо оперативно обнаружить ликовое изображение в пределах целого изображения камеры. Для этой задачи задействуются многоуровневые классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: метод MTCNN может находить физиономию даже с частичном перекрытии (например, платком или ладонью).

Идентификация важных моментов

После идентификации лица механизм, такая как вулкан россии, устанавливает местоположение основных точек: уголки глаз, кончик носа, границы губ и так далее. Часто используется от 68 до 128 ключевых маркеров на лице.

Это действие требуется для нормализации картинки: если юзер удерживает мобильник под наклоненным, или наклонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Построение биометрического идентификатора шаблона

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Такой формат крайне сложно имитировать: он не сохраняет само картинку юзера, а лишь уникальные черты его облика, что делает его оптимальным для таких площадок, как vulkan russia.

Сравнительный анализ и вынесение решения

Когда юзер желает разлочить мобильник взглядом, система повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Привыкание к метаморфозам внешнего вида

Интересная особенность современных системы — возможность самообучения. Если ты постоянно открываете смартфон с свежей прической или оптикой, программа постепенно освежает эталонный образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство клиенты беспокоятся сохранять свои биометрические данные на телефоне из-за угрозы утечки данных или взлома устройства. Некоторые фирмы, такие как vulkan russia, предоставляют методы для увеличения защиты данных юзеров.

• Локальное хранение: Большинство устройств записывает био-идентификационные образцы только внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают устройство и закрыты в том числе создателю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы сторонних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь требовать факт верификации личности через системный API.

Необходимо подчеркнуть существенную деталь: в случае, если кто-то достанет доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании осуществляют меры безопасности от неосознанного разблокирования — в частности, требуют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды распознавания лиц?

В настоящее время можно определить три главных подхода к осуществлению этой операции:

Программное двухмерное определение

Эксплуатируется только фронтальная камера без дополнительных детекторов дистанции. Такой способ используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; низкая стоимость; скоростная работа при качественном освещении.
Минусы: несложно обмануть снимком; нестабильная работа ночью; слабая безопасность.

Техническое 3D сканирование

Задействует инфракрасную камеру + проектор точек + сенсоры дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: большая достоверность; не получится подделать изображение/видеозапись; постоянная деятельность в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например вулкан россии и Google Pixel Face Unlock новейших поколений, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Образцы использования разнообразных техник

• iPhone серии X/11/12/13/14 задействуют только техническое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение двухмерное идентификацию по снимку фронтальной камерой, так и сканер ириса глаза.
• Huawei Mate20 Pro использует комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные сигналы

Несмотря на замечательный прогресс инноваций за недавние годы, совершенных системы пока не наблюдается:

1. Вероятность мошенничества: Бюджетные телефоны без труда открываются высококачественной фотографией пользователя либо видео с экрана другого устройства.
2. Идентичные близнецы: Даже самые совершенные механизмы могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы внешности: Внезапное утрата веса/набор веса, косметические процедуры или повреждения в некоторых случаях требуют повторной регистрации биометрических данных.
4. Условия записи: Интенсивная засветка солнечным светом или интенсивная затенение могут понизить аккуратность идентификации признаков.

Ниже несколько подсказок для надёжному эксплуатации:

• Для важных операций всегда применяйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически апгрейдите программное обеспечение мобильного устройства для защиты от новых видов атак;
• Включайте опцию “Требовать открытых глаз” там, где она имеется.

В каких областях дополнительно находится применение технология за исключением мобильных телефонов?

Пускай тема нашей работы сосредоточена на конкретно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

• Управление доступа в деловых центрах и многоквартирных зданиях;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые паспорта современного образца;
• Комплексы видеонаблюдения городских подразделений;
• Автоматизирование отслеживания посещаемости учебных заведений/вузов;
• Аутентификация участников компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Аналогичные инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется техпроцесс сегодня?

Любой годик появляются новые концепции для повышения стандарта работы систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
2. Совершенствуются нейросети — современные структуры модели MobileNetV3 позволяют скоростно обучаться новым характеристикам облика пользователя прямо на устройстве без отправки данных в облако.
3. Совершенствуются технологии антиспуфинга — теперь смартфоны могут распознавать реальные живые облики от статичных снимков/маскировок по мельчайшим микродвижениям.
4. Интеграция со интеллектуальными приборами — умные часы могут авто заблокировать смартфон, если владелец удалился на значительное расстояние.
5. Возникают гибридные механизмы — в частности совмещающие голосовую идентификацию + облик + дактилоскопический след.

Здесь, те тенденции в особенности востребованы в данный момент:

1) Уменьшение компонентов

Компании пытаются уменьшить размер отверстия (“чёлки”) под датчики на экране за счёт интеграции маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения личной безопасности всё больше обработки данных выполняется внутри устройства без пересылки информации во дополнительный облачный сервис.

3) Стандартизация стандартов

Гугл интенсивно продвигает стандарт BiometricPrompt API, с целью чтобы такие площадки, например как вулкан россия, и каждые Android-приложения могли взаимодействовать с любыми видами биометрии унифицированно.

Что решить сегодня?

Когда вам всем важна максимальная сохранность информации, остановите выбор на топовые модели с вмонтированным ИК-излучателем или же ToF-сенсором глубины.

• iPhone каждого новейших версий
• Huawei Companion/Series P линейки
• Mi Expert
• Vivo X серии
• Оппо Найти Икс линейки.

Если финансы скромен – лучше выбирать традиционным средствам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную опцию удобства.

Каким образом улучшить практичность использования функции?

Есть пара хитростей для пользователей, кто уже пользуется разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если кардинально меняется внешность.
2. Не пренебрегайте очищать линзу передней камеры – загрязнения могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам включает фотоаппарат если вы берёте его в руки.
4. В процессе записи старайтесь держать лицевую часть прямо впереди камеры без сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от дисплея.

Возможности развития инноваций

В предстоящие годы можно предвкушать развития полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим данным параметрам одновременно: физиономия + голос + шаги + жесты рук!

Также возможно появление новых способов обеспечения конфиденциальности – например, изменяющееся изменение электронного паттерна после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых захватывающих технологий нашего периода! Она делает интеракцию со телефоном проще чем раньше, и такие приложения, как vulkan russia, могут существенно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как устроена эта технология в деталях, – сумеете вдумчиво подбирать свой очередной девайс!