Совершенствование моделей оценки путем объединения независимых источников данных
https://doi.org/10.15514/ISPRAS-2024-36(6)-1
Аннотация
Оценка затрат/усилий на программное обеспечение является ключевой темой исследований более шести десятилетий из-за его влияния на отрасль. Несмотря на многочисленные модели, подходы, основанные на регрессии, доминируют в литературе. Проблемы включают в себя недостаточные наборы данных с достаточным количеством точек данных и произвольную интеграцию различных исходных баз данных. В этом исследовании предлагается использовать тест Крускала-Уоллиса для проверки интеграции отдельных исходных баз данных с целью избежать смешивания несвязанных данных, увеличения точек данных и улучшения моделей оценки. Было проведено тематическое исследование с данными из офиса международной компании в Мексике, который обеспечивает разработку программного обеспечения для «микросервисов и API». Были проанализированы данные за 2020 год. Качество модели оценки значительно улучшилось. MMRE снизился на 25,4% (с 78,6% до 53,2%), стандартное отклонение снизилось на 97,2% (с 149,7% до 52,5%), а показатель Pred (25%) вырос на 3,2 процентных пункта. Количество точек данных увеличилось, и были соблюдены ограничения линейной регрессии. Тест Крускала-Уоллиса эффективно улучшил модели оценки, подтвердив интеграцию базы данных.
Об авторах
Франсиско ВАЛЬДЕС-СОУТОМексика
Имеет степень PhD в области инженерии программного обеспечения по специальности “Измерение и оценка программного обеспечения” в Высшей технологической школе (ETS) в Канаде, две магистерские степени в Мексике и Франции. Президент COSMIC. Доцент факультета наук Национального автономного университета Мексики. Основатель Мексиканской ассоциации метрик программного обеспечения (AMMS). Имеет более 25 лет опыта в разработке критически важного программного обеспечения. К настоящему времени опубликовал более 50 научных работ, включая статьи в индексированных журналах, трудах научных конференций, книгах и главах книг. Является главным промоутером проекта изучения формальных метрик программного обеспечения в Мексике, продвигая COSMIC (ISO/IEC 19761) в качестве национального стандарта. Член Национальной системы исследователей (SNI). Область научных интересов: измерение и оценка программного обеспечения, применяемого для управления проектами программного обеспечения, управление тематикой, производительностью и экономикой разработок программного обеспечения.
Хорхе ВАЛЕРИАНО-АССЕМ
Мексика
Магистр компьютерных наук и инженерии в Национальном автономном университете Мексики, специалист-консультант по формальному измерению и оценке программного обеспечения с 2016 года. Сфера научных интересов: метрики программного обеспечения (COSMIC), модели оценки программного обеспечения, модели валидации программного обеспечения, оценка функциональных и нефункциональных требований, оценка эффективности проектов разработки программного обеспечения на основе метрик программного обеспечения, оценка качества программных продуктов.
Список литературы
1. M. Jørgensen and M. Shepperd, “A systematic review of software development cost estimation studies,” IEEE Trans. Softw. Eng., vol. 33, no. 1, pp. 33–53, 2007, doi: 10.1109/TSE.2007.256943.
2. P. L. Braga, A. L. I. Oliveira, and S. R. L. Meira, “Software Effort Estimation using Machine Learning Techniques with Robust Confidence Intervals,” in 7th International Conference on Hybrid Intelligent Systems, 2007, no. October 2007. doi: 10.1109/his.2007.56.
3. C. E. Carbonera, K. Farias, and V. Bischoff, “Software development effort estimation: A systematic mapping study,” IET Res. Journals, vol. 14, no. 4, pp. 1–14, 2020, doi: 10.1049/iet-sen.2018.5334.
4. A. Abran, Software Project Estimation: The Fundamentals for Providing High Quality Information to Decision Makers, 1st ed. John Wiley & Sons, 2015.
5. A. Abran, Software Metrics and Software Metrology. Hoboken, New Jersey: John Wiley & Sons, 2010.
6. N. Kinoshita, A. Monden, M. Tshunoda, and Z. Yucel, “Predictability classification for software effort estimation,” in Proceedings - 2018 IEEE/ACIS 3rd International Conference on Big Data, Cloud Computing, Data Science and Engineering, BCD 2018, 2018, no. 1, pp. 43–48. doi: 10.1109/BCD2018.2018.00015.
7. F. Valdés-Souto, “Validation of supplier estimates using cosmic method,” CEURInternational Work. Softw. Meas. Int. Conf. Softw. Process Prod. Meas. (IWSM Mensura 2019), vol. 2476, pp. 15–30, 2019.
8. F. Valdés-Souto and L. Naranjo-Albarrán, “Improving the Software Estimation Models Based on Functional Size through Validation of the Assumptions behind the Linear Regression and the Use of the Confidence Intervals When the Reference Database Presents a Wedge-Shape Form,” Program. Comput. Softw., vol. 47, no. 8, pp. 673–693, 2021, doi: 10.1134/S0361768821080259.
9. F. Valdés-Souto, “Creating an Estimation Model from Functional Size Approximation Using the EPCU Approximation Approach for COSMIC (ISO 19761),” in Software Engineering: Methods, Modeling and Teaching, Volume 4, Editorial., C. Mario, Z. Jaramillo, C. Elena, D. Vanegas, and W. P. Charry, Eds. Bogotá, Colombia, 2017, p. 468.
10. L. Lavazza, “Accuracy Evaluation of Model-based COSMIC Functional Size Estimation,” in ICSEA 2017: The Twelfth International Conference on Software Engineering Advances, 2017, no. c, pp. 67–72.
11. W. A. Kruskal, W. H., & Wallis, “Use of Ranks in One-Criterion Variance Analysis,” J. Am. Stat. Assoc., vol. 47, no. 260, pp. 583–621, 1952, doi: https://doi.org/10.1080/01621459.1952.10483441.
12. J. W. T. W. Tukey, Exploratory Data Analysis, 1st ed. Addison & Wesley, 1977.
13. R. R. Wilcox, Introduction to Robust Estimation and Hypothesis Testing, 4th Editio. Academic Press, 2016. [Online]. Available: https://shop.elsevier.com/books/introduction-to-robust-estimation-and-hypothesis-testing/wilcox/978-0-12-804733-0
14. A. Abran et al., “Early Software Sizing with COSMIC: Experts Guide,” vol. 2020, no. May. Common Software Measurement International Consortium (COSMIC), pp. 1–67, 2020. doi: 10.13140/RG.2.1.4195.0567.
Рецензия
Для цитирования:
ВАЛЬДЕС-СОУТО Ф., ВАЛЕРИАНО-АССЕМ Х. Совершенствование моделей оценки путем объединения независимых источников данных. Труды Института системного программирования РАН. 2024;36(6):7-18. https://doi.org/10.15514/ISPRAS-2024-36(6)-1
For citation:
VALDÉS-SOUTO F., VALERIANO-ASSEM J. Improving Estimation Models by Merging Independent Data Sources. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2024;36(6):7-18. https://doi.org/10.15514/ISPRAS-2024-36(6)-1