Студентки НИТУ МИСИС создали систему проверки подлинности изображения лиц

Студентки Университета МИСИС создали кастомную нейросеть для определения наличия лиц на фотографиях и вычисления подлинных. Загружать изображения для проверки можно через специально разработанное веб-приложение, также предусмотрена возможность анализа в реальном времени через камеру компьютера. Для обучения нейросети использовались 16 500 настоящих и фейковых фотографий. Разработка, сделанная по заказу компании VK, получила первое место на хакатоне INNOGLOBALHACK.

Для решения задачи по созданию face anti-spoofing – комплекса защитных мер, направленных на предотвращение обмана систем защиты путем предъявления ей «ложного» лица – разработчики используют системы с применением внешних датчиков электронных устройств или анализом видео-отрывка, по которому можно определить, настоящее ли перед нами лицо и окружение вокруг него и др.   

Перед студентами-участниками хакатона стояла задача – предложить систему проверки подлинности изображения лица только по изображению с использованием методов машинного обучения. В своей работе разработчики опирались на обманы presentation attacks: использование фотографии лиц в печатном и электронном виде, а также объемных масок, имитирующие черты лица человека.

Студентки Университета МИСИС – Алиса Семенова, Алина Бурыкина, Елизавета Борисенко – проанализировали пять существующих нейросетей, выбрали из них две самые перспективные, и на основе проведенных экспериментов и наблюдений разработали кастомную версию представляющую собой двухступенчатую систему.

«Важным этапом разработки решения с использованием машинного обучения является поиск набора данных для обучения моделей (в данном случае речь идет о большом количестве фотографий с примерами как реальных лиц, так и «ложных»). Мы использовали набор данных из 16500 изображений: подлинных и фейковых с примерно равномерным распределением по типам обмана систем распознавания лиц: с помощью печатных фотографий и изображений на экранах электронных устройств, масок и персонажей мультфильмов. А также сами напечатали фотографии людей с различными внешними признаками, сделали их «ложные» изображения и добавили в выборку, – пояснила Алиса Семенова, студентка 4 курса Университета МИСИС.

На первом этапе распознавания лица используется предобученная нейронная сеть MTCNN, которая определяет положение лица на картинке. Затем на изображение добавляется специальное поле, 60% от площади которого составляет анализируемое лицо. Такое приближение дает значительный прирост в точности. Далее используется сеть InceptionResnet, дающая числовые представления особенностей лица. Это позволило избежать смещения в предсказании модели, которая помимо лица анализирует все изображение в целом.

На втором этапе используется еще несколько слоев нейронной сети для отбора признаков изображения. Результаты двух этапов объединяются и проходят через несколько финальных слоев для получения окончательного вывода о подлинности изображения. Этот подход позволил команде достичь высокого значения точности при определении подлинности лиц.

Для нейросети было создано специальное веб-приложение, с помощью которого можно анализировать изображения лиц на подлинность, в том числе в режиме реального времени через камеру компьютера. 

Университет науки и технологий МИСИС – ведущий вуз страны в области создания, внедрения и применения новых технологий и материалов. Опираясь на вековые традиции признанных в России и мире научных школ, современные образовательные технологии, университет ставит перед собой задачу внести максимальный вклад в развитие экономики за счет прорывных разработок и качественной подготовки специалистов. В научно-исследовательской деятельности Университет МИСИС концентрируется на таких приоритетных направлениях, как металлургия, горное дело, материаловедение, квантовые технологии, биоматериалы и биоинженерия, альтернативная энергетика, аддитивные и информационные технологии.