Создана нейросеть для идентификации дипфейков на фото и видео

В НИТУ МИСИС разработали нейросеть – поисковик фейковых лиц на фото и видео

В Университете МИСИС создали нейросеть для проверки подлинности изображения лиц. Загружать изображения для проверки можно через специально разработанное веб-приложение, также предусмотрена возможность анализа в реальном времени через камеру компьютера, об этом «Газете.Ru» рассказали в НИТУ МИСИС.

В своей работе разработчики опирались на обманы presentation attacks: использование фотографии лиц в печатном и электронном виде, а также объемных масок, имитирующих черты лица человека.

Они проанализировали пять существующих нейросетей, выбрали из них две самые перспективные, и на основе проведенных экспериментов и наблюдений разработали версию, представляющую собой двухступенчатую систему.

«Важным этапом разработки решения с использованием машинного обучения является поиск набора данных для обучения моделей. Мы использовали набор данных из 16 500 изображений: подлинных и фейковых с примерно равномерным распределением по типам обмана систем распознавания лиц: с помощью печатных фотографий и изображений на экранах электронных устройств, масок и персонажей мультфильмов. А также сами напечатали фотографии людей с различными внешними признаками, сделали их «ложные» изображения и добавили в выборку», – пояснила «Газете.Ru» одна из разработчиков Алиса Семенова.

На первом этапе распознавания лица используется предобученная нейронная сеть MTCNN, которая определяет положение лица на картинке. Затем на изображение добавляется специальное поле, 60% от площади которого составляет анализируемое лицо. Такое приближение дает значительный прирост в точности. Далее используется сеть InceptionResnet, дающая числовые представления особенностей лица. На втором этапе используется еще несколько слоев нейронной сети для отбора признаков изображения.

Результаты двух этапов объединяются и проходят через несколько финальных слоев для получения окончательного вывода о подлинности изображения. Этот подход позволил команде достичь высокого значения точности при определении подлинности лиц.

Ранее исследователи научили нейросеть собеседовать менеджеров по продажам.