Применение методов системного анализа к оцениванию работы учебных ассистентов

В этой статье представлены результаты применения различных методов системного анализа (CATWOE, Rich Picture, AHP, Fuzzy AHP) для оценки учебных ассистентов для преподавателей. В статье рассмотрено применение soft- и hard-методов системного анализа. Методы системного анализа рассматриваются на примере реализации программы «Учебный ассистент» в Национальном Исследовательском Университете «Высшая школа экономики» (НИУ ВШЭ) на дисциплине «Дискретная математика». В статье показан процесс взаимодействия преподавателей с учениками и преподавателями в форме Rich Picture. Определены связующие мероприятия, встречи и даже отчеты, которые предоставляют ассистенты преподавателю. Затем описано каким образом были выбраны критерии для оценки ассистентов и оценена важность каждого критерия. Были определены три группы критериев: профессиональные навыки, навыки общения, личные качества. Каждая группа имеет некоторые подкритерий, которые были определены посредством уточняющих встреч и мозгового штурма. Также в работе был определен собственный метод оценки, который явился пререквизитом для AHP и позволивший сразу же отбросить наиболее неперспективных ассистентов. Кроме того, рассматривается применение методов AHP и Fuzzy AHP типа 2 для оценки учебных ассистентов. Выявлены сильные и слабые стороны каждого метода. Также показано, что, несмотря на мощь методов системного анализа, необходимо использовать здравый смысл и логику. Нельзя полагаться только на числа, полученные методами системного анализа, необходимо затем производить анализ результатов. В процессе работы выбирается лучший учебный ассистент, и определяется группа лучших учебных ассистентов.

системный анализ, комбинация soft и hard методов, многокритериальное принятие решений, AHP, Fuzzy Type-2 AHP, нечеткие множества

1. J. Lopa. Using Undergraduate Students as Teaching Assistants. The Professional & Organizational Development Network in Higher Education, vol. 21, 2009, pp. 50-62.

2. M. Asad, S. Kermani and H. Hora. A Proposed Framework for Evaluating Student’s Performance and Selecting the Top Students in E-Learning System, Using Fuzzy AHP Method. In Proceedings of the International Conference on Management, Economics and Humanities, Istanbul-Turkey, 2015.

3. T. Saaty. There is no mathematical validity for using fuzzy number crunching in the analytic hierarchy process. Journal of Systems Science and Systems Engineering, vol. 15, no. 4, 2006, pp. 457-464.

4. Monk and S. Howard. The Rich Picture: A Tool for Reasoning about Work Context. [Online]. Available: http://www-users.york.ac.uk/~am1/RichPicture.pdf, accessed 12.05.2018.

5. Changing Minds. CATWOE. [Online]. Available: http://creatingminds.org/tools/catwoe, accessed 12.05.2018.

6. M. Velasquez and P. Hester. An Analysis of Multi-Criteria Decision Making Methods. International Journal of Operations Research, vol. 10, no. 2, 2013, pp. 56-66.

7. T. Saaty. The Analytic Hierarchy Process, New York: McGraw Hill, 1980.

8. C. Boender and J. De Graan. Multicriteria Decision Analysis with Fuzzy Pairwise Comparisons. Fuzzy Sets and Systems, vol. 29, 1989, pp. 133-143.

9. D. Chang. Applications of the Extent Analysis Method on Fuzzy-AHP. European Journal of Operational Research, vol. 95, 1996, pp. 649-655.

10. J. Mendel and R. John. Type-2 fuzzy sets made simple. IEEE Transactions on Fuzzy Systems, vol. 10, no. 2, 2002. pp. 117-127.

11. C. Kahraman and B. Öztayşi. Fuzzy analytic hierarchy process with interval type-2 fuzzy sets. Knowledge-Based Systems, vol. 59, 2014, pp. 48-57.

12. E. Mu and M. Pereyra-Rojas. An Introduction to the Analytic Hierarchy Process (AHP). Using Super Decisions, vol. 2, New York: Springer, 2016.