Каким способом действует определение лиц в смартфонах

Почему мы предпочитаем разлочивание по лицу

В последние времена определение физиономий стало одной из наиболее востребованных функций для разблокировки мобильных телефонов. Еще некоторые годков ранее основная масса юзеров удовлетворялись PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту конкретную возможность очень нужной? Прежде всего, это удобно: не нужно запоминать трудные пароли или находить верный палец в темноте. Во-вторых, это быстро: современные программы распознают лицо буквально за доли секунды. В-третью очередь, это чувство футуристичности — словно в кинолентах про вулкан автомат агентов.

Однако за данной кажущейся легкостью скрывается весь универсум трудных технологий и инженерных решений. Попробуем понять, как точно работает идентификация по лицу в новейших мобильных телефонах, какие бывают методы, насколько они безопасны и что нас предстоит.

Краткая хроника прогресса инноваций

Идентификация лиц как техника присутствует уже более пятидесяти годов. Первые пробы машинного исследования облика были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь выделять силуэты черепа и измерять дистанции между очами и губами на монохромных изображениях.

Начальные коммерческие системы появились в 1990-х годах, но они были неидеальны: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Ключевые шаги функционирования системы распознавания

Процесс идентификации лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лица — устройство распознает присутствие человеческого образа в кадре.
2. Выделение характеристик — система изучает черты облика: очертания зрительных органов, обонятельного органа, губ, положение бровей.
3. Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со стандартом — полученный модель сверяется с зафиксированной при учёте биометрической информацией владельца.
5. Принятие определения — если соответствие достаточно значительное, смартфон разблокируется.

Каждый из данных шагов нуждается в особых алгоритмов и оптимизаций для быстрой работы непосредственно на девайсе.

Железные компоненты: что скрыто внутри них

Стандартная передняя камера.

Самый простой простой способ определения физиономии использует лишь лицевую камеру смартфона смартфона. Данный метод внедрён во многих бюджетных вариантах Android-устройств.

Положительные стороны:

• Не нуждается в внешних датчиков.
• Быстро работает при хорошем свете.

Слабые стороны:

• Просто обмануть фотографией или роликом.
• Неправильно работает при плохом освещении или непривычных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции отображает на облик юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• ИК камера фиксирует деформацию этой решетки по плоскости лица.
• Создаётся 3D карта глубины глубины, которая почти неподвластна для имитации типичной фотографией или маскировкой.

Преимущества

• Надёжная работа даже в полной тьме.
• Большая сопротивляемость к подделкам.
• Точность определения выше 99%.

Дополнительные сенсорные устройства

В определённых девайсах используются также экстра датчики: ToF (Time-of-Flight), которые фиксируют период движения света до предмета и обратно; RGB-датчики дальности; специальные оптические измерители расстояния для построения более точной 3D-модели физиономии.

Эти технологии встречаются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический интеллект в действии

Текущие механизмы опознания лиц невозможны в отсутствие применения ИИ и machine learning. Именно вследствие таким технологиям, как вулкан россии, гаджет может идентифицировать юзера даже при метаморфозах облика: новая стрижка, растительность на лице, линзы или макияж не становятся препятствием для разблокировки.

Обнаружение лица

На первом этапе алгоритм обязана мгновенно обнаружить образ лица среди всего кадра камеры. Для этого задействуются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: метод MTCNN в состоянии находить облик даже при неполном перекрытии (например, шарфом или ладонью).

Идентификация основных точек

После идентификации лица устройство, такая как вулкан россии, вычисляет расположение основных точек: края глаз, конец носа, контуры губ и так далее. Обычно используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это требуется для нормализации визуала: если пользователь находится с смартфон под наклоненным, или наклонил голову, программа исправляет картинку до обычного угла для последующего изучения.

Построение биометрического идентификатора модели

Далее нейронная сеть строит уплотненное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Такой шаблон крайне сложно подделать: он не сохраняет непосредственно картинку юзера, а лишь исключительные особенности его облика, что делает его оптимальным для таких систем, как vulkan russia.

Сравнение и осуществление выбора

Если юзер хочет разблокировать смартфон взором, механизм повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный порог (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Привыкание к трансформациям внешнего вида

Занимательная черта актуальных систем — возможность самостоятельного обучения. Если вы постоянно открываете смартфон с новой укладкой или оптикой, алгоритм постепенно модернизирует базовый шаблон вашего лица для улучшения точности функционирования без ухудшения безопасности.

Защита биометрии данных.

Большинство юзеры боятся хранить свои биометрические данные на телефоне из-за риска утечки данных или взлома гаджета. Некоторые компании, например vulkan russia, предоставляют варианты для увеличения безопасности сведений юзеров.

• Локальное хранение: Преимущественно устройств сохраняет био-идентификационные модели исключительно внутри защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из аппарат и недоступны даже изготовителю.

• Шифрование: Все сведения сохраняются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо подчеркнуть важную деталь: если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании осуществляют меры безопасности от “слепого” разблокирования — например, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды идентификации лиц на изображениях?

В настоящее время можно различить три основных способа к реализации этой операции:

Программное 2D определение

Эксплуатируется только передняя видеокамера без вспомогательных сенсоров дистанции. Такой метод наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность реализации; минимальная стоимость; скоростная работа при хорошем освещении.
Минусы: несложно обмануть снимком; нестабильная работа ночью; слабая охрана.

Аппаратное объёмное сканирование

Использует инфракрасную камеру + проектор точек + сенсоры дистанции (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: значительная надежность; нельзя подделать изображение/видеозапись; устойчивая функционирование при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с дополнением ИИ

Используют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, как вулкан россии и Google Pixel Face Unlock новейших поколений, сочетают фронталку c ИК сенсором движения Soli Radar для защиты от подделок руками/масками/видеоэкранами чужих устройств.

Иллюстрации использования различных способов

• iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил аналог Face ID в числе Android.
• Samsung Galaxy S10/S20 поддерживают как программное обеспечение плоское идентификацию по изображению фронтальной камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы защиты и неверные срабатывания

Несмотря на впечатляющий успехи техники за прошедшие лет, безупречных механизмов пока не существует:

1. Вероятность подвоха: Доступные телефоны просто “разблокируются” высококачественной снимком пользователя или же видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые совершенные системы могут ошибиться между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Изменения внешнего вида: Внезапное похудение/набор веса, косметические процедуры либо травмы иногда требуют повторной регистрации биометрии.
4. Условия съёмки: Сильная засветка солнечным светом или глубокая тень могут снизить точность определения признаков.

Ниже несколько советов по защищённому применению:

• Для важных операций всегда используйте двухэтапную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Постоянно апгрейдите прошивку смартфона для защиты от современных угроз;
• Включайте опцию “Требовать распахнутых глаз” там, где она есть.

В каких областях ещё используется технология за исключением мобильных телефонов?

Хотя предмет нашей работы посвящена в частности портативным гаджетам, стоит упомянуть о других сферах применения технологии:

• Контроль входа в офисах и многоквартирных зданиях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Электронные паспорта нового поколения;
• Комплексы видеоконтроля городских подразделений;
• Механизация регистрации посещаемости школ/университетов;
• Авторизация юзеров компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или мобильника! Аналогичные проекты осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется техпроцесс сегодня?

Любой год проявляются свежие мысли для улучшения качества работы систем распознавания лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше шанс погрешности;
2. Развиваются нейронные сети — передовые архитектуры модели MobileNetV3 обеспечивают возможность быстро обучаться дополнительным особенностям облика обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства способны различать подлинные анимированные лица от неподвижных фото/маскировок по незаметным движениям кожи.
4. Синхронизация со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если владелец ушёл далеко.
5. Возникают смешанные устройства — в частности комбинирующие речевую опознание + физиономию + отпечаток пальца.

Здесь, какие тенденции особенно популярны сейчас:

1) Уменьшение компонентов

Производители пытаются сократить размер прорези (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения личной безопасности всё больше расчётов осуществляется на месте без отправки информации во дополнительный облачный услугу.

3) Упорядочивание регламентов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, для того чтобы аналогичные системы, вроде вулкан россия, и каждые Android-приложения могли взаимодействовать с всеми формами биометрии единообразно.

Какое выбрать на сегодня?

Если тебе необходима предельная сохранность данных, остановите выбор на передовые аппараты с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех последних версий
• Huawei Companion/Series P ряда
• Mix Expert
• Vivo X серии
• Oppo Обнаружить X серии.

Если финансы скромен – лучше выбирать традиционным средствам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в вулкан россия, применять только как опциональную опцию удобства.

Как улучшить комфорт работы опции?

Есть несколько лайфхаков для людей, кто уже пользуется разблокировку по лицу:

1. Регулярно обновляйте свою фото-шаблон, если кардинально трансформируется внешность.
2. Не забывайте протирать объектив фронтальной камеры – разводы могут понизить точность!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам включает фотоаппарат когда вы берёте его в руки.
4. В процессе записи постарайтесь сохранять лицевую часть неподвижно впереди объектива не допуская значительного наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отворачиваетесь от дисплея.

Возможности развития техники

В скоро наступающие времена можно предполагать появления полностью безконтактных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: лицо + речь + шаги + жесты рук!

Также возможно возникновение свежих подходов обеспечения конфиденциальности – к примеру, динамическое модификация диджитал паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень захватывающих инноваций нашего периода! Она обеспечивает интеракцию со мобильным устройством комфортнее чем раньше, и такие программы, как vulkan russia, могут в разы улучшить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как функционирует эта система изнутри, – сможете более осмысленно подбирать свой будущий гаджет!