Как работает определение лиц в смартфонах

Для чего мы выбираем разблокировку по лицевому распознаванию

В недавние времена определение лиц превратилось в одной из самых популярных опций для разблокировки мобильных телефонов. Всего пару годов ранее большинство пользователей обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает эту конкретную особенность очень нужной? Во-первых, это удобно: не нужно помнить замысловатые пароли или отыскивать верный палец в темноте. Также, это мгновенно: современные алгоритмы идентифицируют лицо практически за мгновение. В-третьем пункте, это чувство будущего — как будто в кинолентах про vulkan russia разведчиков.

Однако за данной на первый взгляд легкостью скрывается целый универсум трудных технологий и инженерных разработок. Попробуем разобраться, как именно функционирует идентификация по лицу в современных гаджетах, какие существуют методы, насколько они защищены и что нас ожидает в будущем.

Сжатая повествование развития техники

Распознавание лиц как методика имеется уже более пятидесяти годов. Первые эксперименты машинного изучения облика были осуществлены еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь определять очертания головы и определять промежутки между очами и губами на монохромных фотографиях.

Начальные торговые установки стали доступны в девяностых годах, но они были неидеальны: работали медленно и нередко ошибались. Только с эволюцией нейронных сетей и таких площадок, как вулкан россии, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять личные решения.

Ключевые стадии действия устройства определения

Процесс распознавания лица можно ориентировочно сегментировать на несколько основных этапов:

Обнаружение лиц — устройство выявляет наличие гуманного образа в изображении.
Извлечение особенностей — система исследует черты облика: очертания зрительных органов, обонятельного органа, губ, расположение бровей.
Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
Сравнение со стандартом — сформированный модель сверяется со записанной при учёте биометрической данными владельца.
Принятие выбора — если соответствие достаточно значительное, смартфон деблокируется.

Каждый из этих этапов запрашивает особых процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Железные составляющие: что находится внутри

Стандартная селфи камера.

Наиболее легкий метод распознавания физиономии применяет лишь переднюю видеокамеру мобильного устройства. Такой подход осуществлён во различных доступных версиях Android-устройств.

Сильные стороны:

Не нуждается в нуждается в дополнительные датчиков.
Быстро действует при достаточном свете.

Отрицательные стороны:

Легко ввести в заблуждение изображением или видеозаписью.
Неправильно функционирует при слабом освещённости или непривычных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика составляет базу Face ID от Apple.

Как это функционирует:

Точечный проекционный прибор проецирует на физиономию использующего невидимую решетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
Инфракрасная устройство регистрирует искривление этой решетки по поверхности физиономии.
Формируется трёхмерная карта глубины, что почти что неосуществима для подделки стандартной фотографией или маскировкой.

Выигрыши

Надёжная работа даже в полной неосвещённости.
Большая сопротивляемость к имитациям.
Точность идентификации свыше 99%.

Дополнительные сенсоры

В определённых устройствах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые определяют период распространения луча до предмета и обратно; RGB-датчики глубины; специальные световые дальномеры для создания более точной 3D-модели лица.

Эти технологии используются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный ум на работе

Нынешние устройства опознания физиономий невозможны в отсутствие использования ИИ и machine learning. Именно благодаря таким инновациям, как вулкан россии, устройство в состоянии узнавать юзера даже при метаморфозах внешнего вида: новая причёска, растительность на лице, линзы или макияж не становятся препятствием для открытия.

Обнаружение лица

На начальном этапе система должна мгновенно обнаружить образ лица внутри полного изображения камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены распознавать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен находить физиономию даже в случае частичном закрытии (например, платком или ладонью).

Определение ключевых точек

После распознавания лица система, такая как вулкан россии, вычисляет расположение основных точек: края глаз, кончик носа, края губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лице.

Это нужно для нормализации изображения: если пользователь удерживает телефон под наклоненным, или склонил голову, программа исправляет картинку до обычного угла для последующего изучения.

Создание биометрии модели

Далее нейронная сеть строит компактное числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот образец весьма трудно подделать: он не удерживает само изображение пользователя, а лишь особенные характеристики его вида, что делает его оптимальным для таких систем, как vulkan russia.

Сравнение и осуществление выбора

В случае, когда человек хочет разлочить мобильник взглядом, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно выше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ запрещается.

Адаптация к изменениям внешнего вида

Занимательная особенность актуальных системы — возможность самообучения. Если вы постоянно доступаете к телефон с свежей прической или очками, алгоритм постепенно обновляет базовый шаблон вашего внешности для увеличения точности действия без ухудшения безопасности.

Безопасность биометрических информации.

Множество юзеры беспокоятся сохранять свои биометрические данные на смартфоне из-за вероятности утечки информации или взлома устройства. Определенные фирмы, такие как vulkan russia, предлагают варианты для улучшения защиты данных клиентов.

Локальное сохранение: Большинство аппаратов сохраняет биометрические модели исключительно внутри защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают аппарат и закрыты в том числе изготовителю.
Шифрование: Все информация хранятся только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует подчеркнуть значимую особенность: если кто-либо получит физический доступ к вашему телефону (к примеру, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство производители осуществляют защиту от автоматического разблокирования — к примеру, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды определения лиц на изображениях?

Сегодня можно выделить различить 3 ключевых метода к осуществлению этой задачи:

Программное плоское определение

Используется только лицевая камера без экстра сенсоров глубины. Подобный подход используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота воплощения; умеренная стоимость; быстрая деятельность при достаточном свете.
Минусы: несложно ввести в заблуждение снимком; ненадежная деятельность ночью; низкая охрана.

Техническое 3D оцифровка

Применяет ИК камеру + проекционный модуль точек + датчики дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Преимущества: высокая достоверность; невозможно подделать изображение/видеозапись; стабильная функционирование при любом освещении.
Минусы: повышение стоимости устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры эксплуатации разных способов

iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID в ряду Android.
Samsung Galaxy S10/S20 обеспечивают как программное обеспечение плоское идентификацию по фото селфи-камерой, так и сканер глазного ириса.
Huawei Mate20 Pro использует набор из ИК-подсветки + Dot Projector + ToF-датчик

Трудности охраны и ошибочные сигналы

Несмотря на замечательный прогресс инноваций за прошедшие лет, безупречных механизмов пока не наблюдается:

Вероятность подвоха: Недорогие смартфоны легко доступны четкой фотографией пользователя или видео с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные устройства могут перепутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
Метаморфозы внешнего вида: Резкое похудение/увеличение массы тела, пластические операции или повреждения в некоторых случаях необходимы для повторной регистрации биометрии.
Условия фотографирования: Интенсивная засветка солнцем или плотная тень могут уменьшить точность распознавания признаков.

Ниже пара советов по безопасному применению:

Для критически важных операций всегда используйте дополнительную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
Регулярно обновляйте программное обеспечение смартфона для обеспечения безопасности от новых видов атак;
Включайте функцию “Требовать открытых глаз” в тех местах, где она имеется.

Где дополнительно применяется технологии за исключением смартфонов?

Несмотря на то, что тема этой статьи посвящена именно мобильным устройствам, стоит упомянуть о других сферах применения технологии:

Управление доступа в рабочих помещениях и многоквартирных зданиях;
Платёжные аппараты банков (“Face Pay”);
Электронные паспорта последнего поколения;
Системы видеонаблюдения городских сервисов;
Автоматизация отслеживания присутствия учебных заведений/институтов;
Вход юзеров персональных компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Похожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как трансформируется техпроцесс сегодня?

Любой годочек появляются современные концепции для повышения качества функционирования систем идентификации лиц:

Увеличивается чёткость сенсорных устройств — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс погрешности;
Улучшаются нейросети — новейшие конструкции вида MobileNetV3 дают возможность скоростно обучаться дополнительным характеристикам облика пользователя непосредственно на девайсе без пересылки информации в облачное хранилище.
Развиваются методы антиспуфинга — теперь телефоны способны отличать реальные живые облики от неподвижных снимков/масок по незаметным микродвижениям.
Взаимодействие со умными устройствами — смарт-часы могут автоматически закрыть доступ к смартфон, если пользователь отошёл далеко.
Возникают смешанные устройства — например объединяющие голосовую аутентификацию + лицо + отпечаток пальца.

Здесь, те направления очень востребованы в данный момент:

1) Сокращение деталей

Компании пытаются уменьшить величину отверстия (“чёлки”) для датчики на экране за счёт интеграции маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения приватности всё больше обработки данных осуществляется локально без отправки данных во дополнительный облачный услугу.

3) Унификация норм

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, для того чтобы подобные системы, например как вулкан россия, и любые Android-приложения могли работать с любыми видами биометрии единообразно.

Что выбрать на сегодня?

В случае если тебе важна максимальная безопасность данных, выбирайте флагманские модели с интегрированным ИК-проектором или же ToF-сенсором глубины.

iPhone всех существующих актуальных поколений
Huawei Partner/Series P линейки
Xiaomi Pro
Vivo X модели
Oppo Find Икс серии.

Если финансы скромен – лучше предпочесть обычным способам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, использовать только как второстепенную опцию комфорта.

Как улучшить комфорт работы опции?

Есть пара советов для тех, кто уже пользуется функцию распознавания лица:

Периодически обновляйте свою изображение-шаблон, если кардинально изменяется внешний вид.
Не забывайте чистить линзу передней камеры – разводы могут снизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает фотоаппарат как только вы поднимаете его.
Во время регистрации пытайтесь держать лицо прямо напротив видеоустройства без сильного наклона головы.
Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвели взгляд от экрана.

Перспективы эволюции инноваций

В ближайшие годы можно предполагать развития полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + походка + жесты рук!

Также вероятно появление свежих методов обеспечения приватности – скажем, переменное изменение диджитал образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из очень увлекательных инноваций нашего эпохи! Она предоставляет взаимодействие со мобильным устройством комфортнее чем раньше, и такие программы, как vulkan russia, могут значительно оптимизировать ваш опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы знаете, как работает эта методика в деталях, – сможете более осмысленно определять свой будущий гаджет!