Разработка и реализация облачного планировщика, учитывающего топологию коммуникационной среды при высокопроизводительных вычислениях
Аннотация
Для эффективного решения высокопроизводительных задач в облаке необходимо планирование виртуальных машин на серверах, учитывающее особенности высокопроизводительных вычислений, чтобы уменьшить потери производительности, связанные с задержками в сети. В данной работе рассматривается подход к планированию, основанный на оценке размещения с помощью Hop-Byte метрики. Для конкретного варианта коммуникационной среды (сети Infiniband с топологией «толстое дерево») производится подсчет Hop-Byte метрики в предположении, что взаимодействие между виртуальными машинами одинаково. На основе полученных результатов разработан алгоритм планирования, выполнена его реализация в облачной системе OpenStack. Показано, что для отдельных тестов удается получить прирост производительности, при этом существенно снижается разброс значений при повторных запусках.
Список литературы
1. U.S. Department of Energy, «The Magellan Report on Cloud Computing for Science,» Chicago, 2011.
2. А. О. Кудрявцев, В. К. Кошелев и А. И. Аветисян, «Перспективы виртуализации высокопроизводительных систем архитектуры x64,» Труды Института системного программирования РАН, т. 22, pp. 189-210, 2012.
3. K. Kandalla, H. Subramoni, A. Vishnu и D. K. Panda, «Designing Topology-Aware Collective Communication Algorithms for Large Scale InfiniBand Clusters:Case Studies with Scatter and Gather,» в The 10th Workshop on Communication Architecture for Clusters (CAC 10), Int’l Parallel and Distributed Processing Symposium (IPDPS 2010)., Ohio, 2010.
4. H. Subramoni, K. Kandalla, J. Vienne, S. Sur, B. Barth, K. Tomko, R. McLay, K. Schulz и D. K. Panda, «Design and Evaluation of Network Topology-/Speed- Aware Broadcast Algorithms for InfiniBand Clusters,» 2012.
5. A. Bhatele, «Automatic Topology Aware Mapping For Supercomputers,» 2010.
6. C. D. Sudheer и A. Srinivasan, «Optimization of the Hop-Byte Metric for Effective Topology Aware Mapping,» 2012.
7. A. Gupta, D. Milojicic и L. V. Kalé, «Optimizing VM Placement for HPC in the Cloud,» в Workshop on Cloud Services, Federation, and the 8th Open Cirrus Summit, San Jose, CA, USA., 2012.
8. «Nova Developer guide. Filter Scheduler,» [В Интернете]. Available: http://docs.openstack.org/developer/nova/devref/filter_scheduler.html. [Дата обращения: 16 04 2013].
9. «Википедия,» [В Интернете]. Available: http://ru.wikipedia.org/wiki/NAS_Parallel_Benchmarks. [Дата обращения: 27 05 2013].
Рецензия
Для цитирования:
Дудина И.А., Кудрявцев А.О., Гайсарян С.С. Разработка и реализация облачного планировщика, учитывающего топологию коммуникационной среды при высокопроизводительных вычислениях. Труды Института системного программирования РАН. 2013;24.
For citation:
Dudina I.A., Kudryavtsev A.O., Gaissaryan S.S. Topology-aware cloud scheduling for HPC. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2013;24. (In Russ.)
Послать статью по эл. почте 