Обман систем обнаружения человека при помощи цветных картинок

Опубликовано 05.07.2019 14:55

Специалисты из Лёвенского католического университета (Бельгия) научились вводить в заблуждение систему обнаружения человека, базирующуюся на применении технологии искусственного интеллекта. Придуманный им способ — конфронтационная атака — реализуется с использованием другой системы, которая основана на принципах глубокого обучения.

Изначально коллектив бельгийских учёных разбирался с тем, как сбить с толку детектор объектов, задействованный, например, в автомобилях-беспилотниках. Для этого на знак остановки они прикрепляли кусок бумаги. В ходе реализации этих экспериментов у исследователей созрела идея использовать полученные ими результаты в работе с системами обнаружения человека. Даже с учётом того, что люди представляют собой несравнимо больший набор вариантов внешнего вида, чем автомобильный знак остановки, учёным удалось успешно обмануть механизм их обнаружения.

В процессе эксперимента система машинного обучения формировала массивы информации, которые переводились в изображения, с помощью которых впоследствии производился обман аналитического алгоритма определения объектов.

В одном из вариантов тестирования системе машинного обучения сообщали про изображение человека, что данный объект человеком не является. Таким образом, учёные свели к минимуму класс объектов «человек» В результате чего формировался образец, который идентифицировался системой каким-то иным образом — например, не «человек», а «плюшевый медведь».

Слабым местом этой атаки ученые называют необходимость знать, какая именно система обнаружения объектов задействована. Помимо того, необходимо чтобы она имела открытый исходный код. В этой связи, по мнению ряда экспертов, данное исследование показывает, что использование проприетарных средств видеоаналитики является более оправданным с точки зрения защиты от вмешательства злоумышленников.