Preview

Труды Института системного программирования РАН

Расширенный поиск

Реализация сервиса для выполнения Apache Spark задач и создания Apache Spark кластеров на основе Openstack Sahara

https://doi.org/10.15514/ISPRAS-2015-27(5)-3

Полный текст:

Аннотация

В работе рассматривается задача создания виртуальных Apache Spark и Apache Hadoop кластеров для обработки больших данных в облачных средах. Проведен обзор существующих методов создания Apache Spark кластеров. Также описывается реализованный способ создания Apache Spark кластеров и сервиса для выполнения Apache Spark задач в среде OpenStack. Предложенное решение включено в проект OpenStack Sahara и доступно начиная с релиза OpenStack Liberty.

Об авторах

А. В. Алексиянц
ИСП РАН
Россия


О. Д. Борисенко
ИСП РАН
Россия


Д. Ю. Турдаков
ИСП РАН; ВМК МГУ; НИУ ВШЭ
Россия


А. В. Шер
ИСП РАН
Россия


С. Д. Кузнецов
ИСП РАН; ВМК МГУ; Московский физико-технический институт (государственный университет)
Россия


Список литературы

1. Jeffrey D., Sanjay G. MapReduce: Simplified Data Processing on Large Clusters. OSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.

2. Официальная страница проекта Hadoop - http://hadoop.apache.org/

3. Официальная страница проекта Infinispan - http://infinispan.org/

4. Официальная страница Cloudera CDH Apache Hadoop - http://www.cloudera.com/content/cloudera/en/productsand-services/cdh.html

5. Официальная страница BashoRiak - http://basho.com/riak/

6. Официальная страница Apache Spark - http://spark.apache.org/

7. M. Chowdhury, M. Zaharia, I. Stoica. Performance and Scalability of Broadcast in Spark. 2010.

8. Официальная страница VMWare Serengeti - http://www.vmware.com/hadoop/serengeti

9. Официальная страница Cloudera Manager - http://www.cloudera.com/content/cloudera/en/products-andservices/cloudera-enterprise/cloudera-manager.html

10. Buyya R., Broberg J., Goscinski D. Cloud Computing: Principles and Paradigms. Wiley, 2011, 664 P.

11. Buyya R., Yeo C. S., Venugopal S. Market-oriented cloud computing: Vision, hype, and reality for delivering it services as computing utilities. CoRR, (abs/0808.3558), 2008

12. Обзор архитектуры Swift - http://docs.openstack.org/developer/swift/overview architecture.html

13. Web Services Description Language (WSDL) Version 2.0 Part 1: Core Language - http://www.w3.org/TR/wsdl20/

14. Nurmi, D. The Eucalyptus Open-Source Cloud-Computing System. Cluster Computing and the Grid. 2009. 10.1109/CCGRID.2009.93

15. Nilson J. Hadoop MapReduce in Eucalyptus Private Cloud. Bachelor's Thesis in Computing Science. Umea, Sweden, 2011

16. Официальная страница Openstack Heat - https://wiki.openstack.org/wiki/Heat

17. О. Д. Борисенко, Д. Ю. Турдаков, С. Д. Кузнецов. Автоматическое создание виртуальных кластеров Apache Spark в облачной среде OpenStack. Труды Института системного программирования РАН, том 17, 2009 г. Стр 31-50.

18. Официальная страница Amazon Elastic Compute Cloud (EC2) - http://aws.amazon.com/ec2/

19. Creeger, Mache. Cloud Computing: An Overview. ACM Queue 7. 5. 2009

20. OpenStack Sahara roadmap - https://wiki.openstack.org/wiki/Sahara/Roadmap

21. Архитектура OpenStack Sahara - http://docs.openstack.org/developer/sahara/architecture.html


Для цитирования:


Алексиянц А.В., Борисенко О.Д., Турдаков Д.Ю., Шер А.В., Кузнецов С.Д. Реализация сервиса для выполнения Apache Spark задач и создания Apache Spark кластеров на основе Openstack Sahara. Труды Института системного программирования РАН. 2015;27(5):35-48. https://doi.org/10.15514/ISPRAS-2015-27(5)-3

For citation:


Aleksiyants A..., Borisenko O..., Turdakov D.Yu., Sher A..., Kuznetsov S... Implementing Apache Spark jobs execution and Apache Spark cluster creation for Openstack Sahara[1]. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2015;27(5):35-48. (In Russ.) https://doi.org/10.15514/ISPRAS-2015-27(5)-3

Просмотров: 196


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2079-8156 (Print)
ISSN 2220-6426 (Online)