Как работает распознавание лиц в мобильных устройствах

Зачем мы предпочитаем разблокировку по фейсу

В прошлые времена распознавание лиц является одной из самых популярных возможностей для открытия смартфонов. Лишь некоторые лет назад основная масса использующих удовлетворялись пин-кодами, паролями или датчиками отпечатков пальцев. Но при появлением подобных технологий, как Вулкан Платинум, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Что обуславливает данную функцию очень нужной? Во-первых, это комфортно: не нужно запоминать трудные пароли или искать нужный палец в тьме. Во-вторых, это быстро: современные алгоритмы распознают лицо буквально за мгновение. В-третью очередь, это ощущение футуристичности — как будто в фильмах про казино Вулкан разведчиков.

Тем не менее за данной на первый взгляд простотой прячется весь универсум комплексных техник и инженерных разработок. Давайте разобраться, как точно работает идентификация по лицу в новейших смартфонах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая история эволюции технологии

Идентификация лиц как техника имеется уже более 50 лет. Начальные попытки машинного изучения лица были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ могли лишь определять силуэты лица и измерять промежутки между очами и ртом на ахроматических фотографиях.

Изначальные коммерческие системы стали доступны в 1990-х годах, но они были неидеальны: действовали неспешно и часто давали сбои. Только с эволюцией искусственных сетей и таких систем, как Vulkan Platinum, сильных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать свои решения.

Ключевые шаги функционирования механизма распознавания

Процесс определения лица можно ориентировочно разделить на несколько основных этапов:

Идентификация лиц — устройство распознает наличие людского образа в кадре.
Выделение характеристик — система изучает особенности физиономии: конфигурацию зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со образцом — сформированный образец сравнивается с сохранённой при учёте биометрической информацией владельца.
Принятие определения — если сходство достаточно значительное, смартфон деблокируется.

Всякий из указанных этапов нуждается в особых методов и улучшений для оперативной работы непосредственно на девайсе.

Железные компоненты: что прячется внутри

Типичная селфи камера.

Самый простой несложный вариант идентификации лица использует исключительно лицевую видеокамеру смартфона. Подобный метод внедрён во многочисленных бюджетных вариантах Android-устройств.

Сильные стороны:

Не нуждается в дополнительные сенсоров.
Оперативно действует при хорошем освещении.

Отрицательные стороны:

Несложно обмануть снимком или видео.
Плохо работает при плохом освещённости или непривычных углах обзора.

ИК фотокамера и точечный проектор

Более совершенные системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Каким способом это действует:

Точечный проекционный прибор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
Инфракрасная устройство фиксирует искривление этой решетки по плоскости лица.
Получается трехмерная карта глубинности, которая практически неосуществима для фальсификации типичной фотографией или маской.

Выигрыши

Надёжная работа даже в полной темноте.
Высокая сопротивляемость к подделкам.
Точность идентификации свыше 99%.

Добавочные сенсоры

В отдельных аппаратах используются также экстра датчики: ToF (Time-of-Flight), которые определяют время распространения луча до цели и обратно; RGB-датчики глубины; специальные оптические измерители расстояния для создания более аккуратной 3D-модели физиономии.

Эти технологии применяются наиболее часто во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искусственный разум на исполнении

Текущие механизмы распознавания физиономий немыслимы без использования ИИ и машинного обучения. Именно благодаря таким разработкам, как Vulkan Platinum, гаджет способно идентифицировать пользователя даже при трансформациях облика: новая причёска, растительность на лице, оптика или макияж не становятся барьером для деблокировки.

Детектирование лиц

При начальном стадии алгоритм обязана быстро найти лицо среди всего снимка камеры. Для этой задачи применяются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии находить лицо даже в случае частичном закрытии (например, шарфом или рукой).

Определение основных точек

После обнаружения лица устройство, такая как Vulkan Platinum, устанавливает местоположение основных точек: края глаз, конец носа, границы губ и так далее. Как правило применяется от 68 до 128 главных меток на лицевой поверхности.

Это действие нужно для выравнивания картинки: если юзер удерживает мобильник под наклоном, или повернул головку, программа корректирует изображение до нормального состояния для последующего изучения.

Формирование биометрического шаблона

Далее искусственная сеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Данный образец очень затруднительно имитировать: он не сохраняет само изображение юзера, а лишь особенные черты его облика, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и принятие выбора

Если человек желает разблокировать телефон взглядом, механизм осуществляет все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный порог (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ не предоставляется.

Приспособление к метаморфозам внешности

Занимательная черта актуальных систем — способность самообучения. Если ты постоянно разблокируете смартфон с обновленной прической или очками, программа постепенно освежает основной модель вашего внешности для повышения точности работы без ухудшения безопасности.

Охрана биометрии данных.

Множество пользователи опасаются держать свои биометрические идентификационные данные на телефоне из-за угрозы утечки информации или взлома устройства. Некоторые фирмы, вроде Вулкан Казино Платинум, предоставляют методы для улучшения защиты информации юзеров.

Локальное сохранение: Основная часть устройств хранит биометрические шаблоны исключительно внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и не доступны даже изготовителю.
Шифрование: Все данные хранятся только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция приложений: Приложения внешних разработчиков не обладают непосредственного доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Стоит отметить значимую подробность: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители реализуют меры безопасности от неосознанного разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют существуют виды распознавания лиц?

В настоящее время можно выделить определить 3 главных подхода к реализации этой операции:

Программное двухмерное определение

Эксплуатируется только фронтальная видеокамера без вспомогательных сенсоров глубины. Этот подход наблюдается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; низкая стоимость; скоростная функционирование при хорошем освещении.
Минусы: легко ввести в заблуждение снимком; ненадежная работа ночью; недостаточная безопасность.

Оборудование для 3D сканирование

Использует ИК камеру + проектор точек + сенсоры дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Плюсы: большая достоверность; нельзя обмануть изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: увеличение цены устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, как Vulkan Platinum и Google Pixel Face Unlock последних версий, сочетают фронталку c инфракрасным сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами чужих устройств.

Образцы применения разных методов

iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в числе Android.
Samsung Galaxy S10 модель/S20 обеспечивают как программное обеспечение плоское идентификацию по снимку селфи-камерой, так и сканер ириса глаза.
Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-датчик

Вопросы охраны и ложные сигналы

Несмотря на впечатляющий развитие инноваций за прошедшие лет, совершенных механизмов пока не существует:

Вероятность мошенничества: Бюджетные телефоны без труда открываются четкой снимком владельца либо видео с экрана другого устройства.
Идентичные двойняшки: Даже самые безупречные механизмы могут ошибиться между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
Трансформации облика: Резкое похудение/увеличение массы тела, пластические операции либо повреждения иногда необходимы для перерегистрации биометрии.
Условия съёмки: Сильная засветка солнечным светом или глубокая затенение могут понизить аккуратность идентификации признаков.

Здесь некоторые подсказок по надёжному использованию:

Для критически важных операций всегда применяйте двухфакторную аутентификацию;
Не активируйте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте ПО смартфона для защиты от современных угроз;
Включайте настройку “Требовать открытых глаз” в тех местах, где она есть.

Где ещё находится применение технология помимо мобильных телефонов?

Хотя предмет этой публикации посвящена именно смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

Мониторинг доступа в деловых центрах и резиденциях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Электронные паспорта последнего типа;
Установки видеонаблюдения муниципальных служб;
Автоматизирование учёта явки образовательных учреждений/институтов;
Авторизация участников ПК/ноутбуков.

Например: В городском метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Аналогичные проекты реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как трансформируется технология в наше время?

Всякий год возникают свежие идеи для усовершенствования качества работы систем лицевого распознавания:

Увеличивается чёткость датчиков — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс погрешности;
Развиваются искусственные интеллекты — передовые конструкции вида MobileNetV3 обеспечивают возможность оперативно адаптироваться к новым особенностям вида пользователя прямо на устройстве без отправки данных в облако.
Развиваются методы антиспуфинга — теперь телефоны могут распознавать подлинные анимированные лица от неподвижных фото/масок по незаметным движениям кожи.
Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно блокировать мобильный телефон, если пользователь отошёл далеко.
Возникают комбинированные устройства — к примеру совмещающие голосовую идентификацию + лицо + дактилоскопический след.

Итак, которые направления в особенности актуальны на сегодняшний день:

1) Уменьшение деталей

Компании пытаются минимизировать величину прорези (“чёлки”) для сенсоры на экране за счёт интеграции маленьких ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для повышения конфиденциальности всё более обработки данных выполняется внутри устройства без передачи информации во сторонний облачный сервис.

3) Стандартизация стандартов

Google интенсивно пропагандирует норму BiometricPrompt API, чтобы аналогичные площадки, как Вулкан Платинум, и любые Android-программы могли взаимодействовать с различными типами биометрии унифицированно.

Что решить сегодня?

Если вам важна максимальная сохранность данных, остановите выбор на топовые модели с интегрированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих последних моделей
Huawei Companion/P ряда
Mix Professional
Vivo X серии
Oppo Найти Х серий.

Если средства невелик – лучше выбирать классическим средствам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как второстепенную возможность комфорта.

Как повысить удобство использования возможности?

Есть пара лайфхаков для людей, кто уже применяет функцию распознавания лица:

Часто обновляйте свою фото-шаблон, если значительно трансформируется внешний вид.
Не забывайте очищать линзу передней камеры – загрязнения могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат как только вы поднимаете его.
При записи старайтесь удерживать голову ровно впереди объектива не допуская резкого наклона головы.
Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Возможности прогресса инноваций

В предстоящие времена можно предполагать развития полностью безконтактных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + походка + движения рук!

Также вероятно развитие современных способов обеспечения конфиденциальности – к примеру, изменяющееся корректировка диджитал образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень увлекательных инноваций нашего времени! Она предоставляет интеракцию со смартфоном проще чем когда-либо прежде, и такие приложения, как Вулкан Казино Платинум, могут существенно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как работает эта система изнутри, – сумеете вдумчиво определять свой очередной девайс!