Каким способом работает идентификация лицевых образов в телефонах

Для чего мы предпочитаем разблокировку по фейсу

В последние годы определение физиономий превратилось в одной из самых распространённых возможностей для открытия смартфонов. Еще некоторые лет назад основная масса пользователей удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какая вещь обуславливает эту особенность настолько популярной? Во-первых, это удобно: не нужно помнить замысловатые пароли или искать нужный палец в темноте. Во-вторых, это оперативно: современные системы распознают лицо буквально за мгновения ока. В-третью очередь, это ощущение футуристичности — как будто в фильмах про адмирал х официальный сайт агентов.

Тем не менее за этой на первый взгляд простотой скрывается весь мир комплексных техник и инженерных разработок. Позвольте нам исследовать, как именно функционирует распознавание лиц в современных мобильных телефонах, какие бывают способы, насколько они защищены и что нас предстоит.

Короткая хроника прогресса технологии

Распознавание лиц как техника присутствует уже более 50 лет. Изначальные пробы автоматического анализа облика были сделаны еще в 1960-х годы в лабораториях США. Тогда вычислительные машины способны были лишь определять силуэты головы и определять промежутки между зрачками и ртом на ахроматических фотографиях.

Начальные коммерческие платформы возникли в 90-х, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с развитием синтетических сетей и таких площадок, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с достоверным трёхмерным сканированием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали внедрять свои разработки.

Основные стадии действия устройства идентификации

Процесс определения лица можно ориентировочно поделить на несколько важных этапов:

Распознавание лиц — камера выявляет присутствие гуманного образа в изображении.
Извлечение признаков — алгоритм исследует черты облика: конфигурацию зрительных органов, обонятельного органа, губ, положение надбровных дуг.
Построение структуры — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
Сравнение с стандартом — сформированный модель сравнивается с зафиксированной при учёте биометрической сведениями владельца.
Принятие решения — если сходство достаточно значительное, смартфон деблокируется.

Всякий из данных стадий запрашивает специальных методов и оптимизаций для скорой работы прямо на устройстве.

Железные составляющие: что находится внутри

Стандартная передняя камера.

Наиболее легкий способ распознавания облика использует только переднюю камеру смартфона мобильного устройства. Подобный способ внедрён во многих недорогих вариантах Android-девайсов.

Достоинства:

Не нуждается в дополнительных датчиков.
Шустро функционирует при достаточном освещённости.

Слабые стороны:

Несложно одурачить снимком или видео.
Неудачно действует при слабом освещённости или нестандартных углах обзора.

ИК камера и точечный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Как это действует:

Точечный устройство проекции показывает на физиономию пользователя невидимую решетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
ИК камера регистрирует деформацию данной решетки по плоскости физиономии.
Получается 3D глубинная карта глубины, которая практически неподвластна для фальсификации обычной снимком или маскировкой.

Преимущества

Надёжная деятельность даже в полной неосвещённости.
Сильная устойчивость к фальсификациям.
Точность распознавания выше 99%.

Дополнительные датчики

В некоторых аппаратах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют время движения света до цели и обратно; RGB-датчики глубины; специальные оптические лидары для формирования более детализированной 3D-модели физиономии.

Эти инновации встречаются наиболее часто во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический интеллект в исполнении

Современные системы идентификации лиц невозможны без эксплуатации ИИ и машинного обучения. Именно вследствие таким технологиям, как адмирал х, аппарат способно распознавать пользователя даже при метаморфозах внешности: новая стрижка, щетина, очки или косметика не становятся препятствием для разблокировки.

Детектирование физиономии

На стартовом этапе алгоритм необходимо оперативно распознать ликовое изображение среди целого кадра камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать лицо даже при неполном перекрытии (например, платком или ладонью).

Выделение важных аспектов

После обнаружения лица система, такая как адмирал х, определяет расположение ключевых точек: кончики глаз, кончик носа, границы губ и так далее. Как правило применяется от 68 до 128 ключевых меток на лице.

Данное нужно для нормализации визуала: если пользователь находится с смартфон под наклоном, или наклонил головку, программа исправляет изображение до нормального состояния для последующего изучения.

Создание биометрического шаблона

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Этот шаблон крайне затруднительно имитировать: он не удерживает само фото пользователя, а лишь исключительные характеристики его внешности, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и осуществление заключения

В случае, когда юзер хочет разлочить телефон глазами, механизм осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный уровень (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Приспособление к метаморфозам облика

Интересная характеристика актуальных систем — способность самостоятельного обучения. Если ты часто открываете телефон с обновленной прической или очками, программа постепенно обновляет эталонный модель вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрических информации.

Большинство юзеры боятся хранить свои биометрические идентификационные данные на телефоне из-за угрозы утечки данных или взлома устройства. Некоторые фирмы, например admiral-x, предоставляют решения для увеличения защиты сведений юзеров.

Локальное сохранение: Основная часть устройств сохраняет био-идентификационные образцы исключительно внутри защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не оставляют гаджет и не доступны в том числе изготовителю.
Шифрование: Все сведения сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения сторонних разработчиков не имеют прямого возможности доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Следует подчеркнуть важную особенность: в случае, если кто-то сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие производители осуществляют меры безопасности от “слепого” разблокирования — например, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются типы распознавания лиц?

На сегодняшний день можно определить выделить три основных способа к реализации этой задачи:

Софтверное плоское определение

Используется только фронтальная видеокамера без дополнительных детекторов глубины. Подобный способ используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость реализации; умеренная стоимость; быстрая работа при достаточном освещении.
Минусы: несложно одурачить снимком; неустойчивая работа ночью; недостаточная безопасность.

Аппаратное объёмное сканирование

Применяет ИК видеокамеру + проекционный модуль точек + датчики глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; не получится исказить фото/видео; устойчивая функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с дополнением ИИ

Задействуют комбинацию программных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock современных поколений, комбинируют фронталку c инфракрасным датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями посторонних устройств.

Образцы использования различных методов

iPhone линейки X/11/12/13/14 задействуют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное двухмерное идентификацию по изображению фронталкой, так и датчик глазного ириса.
Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные тревоги

Несмотря на впечатляющий успехи инноваций за недавние лет, безупречных механизмов пока не существует:

Вероятность мошенничества: Бюджетные смартфоны легко “разблокируются” качественной изображением хозяина или же видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные механизмы могут перепутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
Трансформации облика: Внезапное утрата веса/увеличение массы тела, пластические операции либо повреждения порой необходимы для перерегистрации биометрии.
Условия фотографирования: Сильная засветка солнечным светом либо интенсивная темнота могут уменьшить верность идентификации признаков.

Здесь некоторые подсказок по безопасному эксплуатации:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение телефона для защиты от актуальных атак;
Включайте функцию “Требовать раскрытых глаз” там, где она есть.

В каких местах дополнительно применяется технология помимо смартфонов?

Несмотря на то, что предмет нашей работы посвящена именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

Управление входа в деловых центрах и многоквартирных зданиях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Цифровые паспорта последнего образца;
Комплексы видеоконтроля городских служб;
Автоматизирование учёта посещаемости учебных заведений/институтов;
Аутентификация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Похожие программы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом изменяется техпроцесс в наше время?

Любой годик проявляются свежие концепции для повышения качества работы систем распознавания лиц:

Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность ошибки;
Совершенствуются нейросети — новейшие конструкции вида MobileNetV3 дают возможность оперативно обучаться дополнительным особенностям облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются технологии антиспуфинга — теперь мобильные устройства умеют различать настоящие анимированные лица от неподвижных фотографий/маскировок по микроскопическим микродвижениям.
Синхронизация со интеллектуальными приборами — умные часы могут автоматически закрыть доступ к мобильный телефон, если обладатель отошёл далеко.
Возникают комбинированные системы — в частности совмещающие аудио идентификацию + лицо + пальцевой отпечаток.

Вот, которые направления особенно востребованы в данный момент:

1) Сокращение компонентов

Производители намереваются уменьшить размер прорези (“чёлки”) для сенсоры на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения конфиденциальности всё более вычислений выполняется локально без передачи данных во внешний облачный сервис.

3) Унификация стандартов

Google интенсивно продвигает норму BiometricPrompt API, с целью чтобы аналогичные системы, например как admiral x, и каждые Android-приложения могли работать с любыми видами биометрии унифицированно.

Что подобрать на сегодня?

Когда вам всем необходима наивысшая безопасность информации, остановите выбор на топовые устройства со встроенным ИК-излучателем или же ToF-датчиком глубины.

iPhone всех существующих новейших поколений
Huawei Mate/Series P линейки
Xiaomi Pro
Vivo X линейки
Oppo Обнаружить Икс серии.

Если финансы скромен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную опцию комфорта.

Как улучшить практичность использования опции?

Есть несколько хитростей для пользователей, кто уже использует разблокировку через лицо:

Часто обновляйте свою изображение-шаблон, если кардинально трансформируется внешний вид.
Не упускайте из виду протирать линзу фронтальной камеры – разводы могут уменьшить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам активирует фотоаппарат если вы берёте его в руки.
Во время записи постарайтесь сохранять голову ровно впереди объектива без значительного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвернулись от экрана.

Будущее развития инноваций

В ближайшие времена можно предвкушать возникновения полностью безконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + звучание + шаги + жесты рук!

Также вероятно развитие современных методов защиты личной информации – например, изменяющееся изменение диджитал паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных техник нашего периода! Она делает общение со мобильным устройством удобнее чем когда-либо прежде, и такие аппы, как admiral-x, могут в разы оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как работает эта технология изнутри, – сумеете более осмысленно подбирать свой будущий девайс!