MLManagement: автоматизация ML конвейеров с переиспользуемыми абстракциями и контролем доступа

Текущее состояние индустрии машинного обучения (Machine Learning, ML) требует, чтобы процессы обучения и развертывания моделей были надежны, своевременны и масштабируемы для сохранения конкурентоспособности. Время вывода решений на рынок может быть существенно сокращено, если специалисты будут обладать инструментом, который автоматизирует специфические задачи, возникающие в процессе разработки ML-моделей, такие как отслеживание экспериментов, версионирование моделей и другие. Несмотря на то, что существующие инструменты MLOps с открытым исходным кодом частично покрывают эти потребности, большинство из них обладает ограниченными возможностями контроля доступа и переиспользования кода экспериментов. Чтобы решить эту проблему, мы представляем платформу MLManagement. Наш основной вклад заключается в следующем: во-первых, мы вводим переиспользуемые абстракции-строительные блоки, позволяющие пользователям быстро создавать автоматизированные ML-эксперименты по принципу “plug-and-play”. Во-вторых, мы способствуем улучшению коллаборации в крупных командах и организациях с несколькими командами, реализуя модель контроля доступа на основе атрибутов (Attribute-Based Access Control, ABAC) для всех сущностей платформы – моделей, артефактов, данных, а также для распределения аппаратных ресурсов.

1. Ruf P., Madan M., Reich C., Ould-Abdeslam D. Demystifying MLOps and presenting a recipe for the selection of open-source tools. Applied Sciences, vol. 11, no. 19, 2021, p. 886.

2. Renggli C., Kästner M., Kossmann D., Laesser C., Binnig C. A data quality-driven view of MLOps. IEEE Data Engineering Bulletin, vol. 44, no. 1, 2021, pp. 11-23.

3. Tamburri D. A. Sustainable MLOps: Trends and challenges. In: Proceedings of the 22nd International Symposium on Symbolic and Numeric Algorithms for Scientific Computing (SYNASC), 2020, pp. 17¬ 23.

4. Vanska S., Kemell K.-K., Mikkonen T., Abrahamsson P. Continuous software engineering practices in AI/ML development past the narrow lens of MLOps: Adoption challenges. e-Informatica Software Engineering Journal, vol. 18, no. 1, 2024, p. 240102.

5. Zaharia M., Xin R. S., Wendell P., Das T., Armbrust M., Dave A., Meng X., Rosen J., Venkataraman S., Franklin M. J., Ghodsi A., Gonzalez J., Shenker S., Stoica I. Accelerating the machine learning lifecycle with MLflow. IEEE Data Engineering Bulletin, vol. 41, no. 4, 2018, pp. 39-45.

6. Verma A. Insecure deserialization detection in Python. Master’s thesis, San Jose State University, 2023.

7. Yuan E., Tong J. Attribute-based access control (ABAC) for web services. In: Proceedings of the IEEE International Conference on Web Services (ICWS’05). IEEE, 2005.

8. Ahmad T., Adnan M., Rafi S., Akbar M. A., Anwar A. MLOps-enabled security strategies for next-generation operational technologies. In: Proceedings of the 28th International Conference on Evaluation and Assessment in Software Engineering (EASE’24). Association for Computing Machinery (ACM), 2024, pp. 662-667.

9. Eken B., Pallewatta S., Tran N., Tosun A., Babar M. A. A multivocal review of MLOps practices, challenges and open issues. ACM Computing Surveys, 2025, in press.

10. Jette M. A., Wickberg T. Architecture of the SLURM workload manager. In: Workshop on Job Scheduling Strategies for Parallel Processing. Springer, 2023, pp. 3-23.