Анализ безопасности проекта национального стандарта «Нейросетевые алгоритмы в защищенном исполнении. Автоматическое обучение нейросетевых моделей на малых выборках в задачах классификации»

В работе предложен метод проверки принадлежности обучающей выборке для нейросетевого алгоритма классификации из проекта национального стандарта, разработанного Омским государственным техническим университетом под эгидой Технического комитета по стандартизации «Искусственный интеллект» (ТК 164). Указанный метод позволяет определить, использовались ли данные при обучении нейронной сети, и направлен на нарушение свойства конфиденциальности обучающей выборки. Полученные результаты показывают, что описываемый стандартом механизм защиты нейросетевых классификаторов не обеспечивает заявленных свойств. Полученные результаты первоначально анонсированы на конференции Рускрипто’2023.

1. Гуселев А.М., Маршалко Г.Б., «Проблемы безопасности систем машинного обучения», в сборнике трудов МИТСОБИ’2021, стр. 23-24.

2. Первая редакция проекта национального стандарта «Искусственный интеллект. Нейросетевые алгоритмы в защищенном исполнении. Автоматическое обучение нейросетевых моделей на малых выборках в задачах классификации», Технический комитет по стандартизации «Искусственный интеллект» (ТК 164), 2022.

3. Сулавко, А.Е. «Защищенный режим исполнения искусственного интеллекта на базе автоматически обучаемых сетей автокорреляционных нейронов», Технический отчет, ОмГТУ, Омск, 2021, 101 c.

4. R. Shokri, M. Stronati, C. Song, V. Shmatikov, Membership Inference Attacks against Machine Learning Models, 2017 IEEE Symposium on security and privacy (SP), pp. 3-18, 2017.

5. Manisha, N. Kumar, Cancelable biometrics: a comprehensive survey, Artificial intelligence review, 53, 3403-3446, 2020.