Реализация функции долговременного хранения научных данных большого объема в вычислительном центре

Длительное и целостное хранение объемных научных данных является одной из важных задач, стоящих перед многими вычислительными центрами. В целях снижения стоимости хранения информации, в некоторых решениях используется технология магнитно-ленточной памяти, а также специализированное программное обеспечение для управления носителями и данными. Ввиду инфраструктурной специфики и особенностей сложившихся техпроцессов генерации и обработки данных в научных лабораториях такие программно-аппаратные комплексы создаются и поддерживаются преимущественно собственными силами этих организаций. Разработка такой системы становится еще более востребованной в условиях стремления к обретению технологического суверенитета. В работе рассматриваются вопросы организации долговременного хранения цифровых научных данных в вычислительном центре ФГУП РФЯЦ-ВНИИТФ, полученных в ходе проведения расчетов задач математического моделирования. Приводится описание архитектуры и функционального состава разработанной архивной системы хранения данных. Описывается используемая модель данных и форматы группировки и записи. Рассматриваются предпринятые меры по обеспечению целостности архивных объектов, методы управления архивными носителями и вопросы технической организации архивного фонда. Приводится схема расчета аппаратной конфигурации типовой площадки архивной системы хранения данных, достаточной для обслуживания существующих потоков архивирования данных в вычислительном центре.

1. СПО Супер-ЭВМ. Available at: http://vniitf.ru/article/spo-super-evm, accessed 28.08.2022 (in Russian).

2. IBM HPSS. Available at: https://www.hpss-collaboration.org, accessed 28.08.2022.

3. Enstore. Available at: https://www-stken.fnal.gov/enstore, accessed 28.08.2022.

4. CERN Tape Archive. Available at: https://cta.web.cern.ch/cta, accessed 28.08.2022.

5. Tape control program. Available at: https://github.com/iustin/mt-st, accessed 28.08.2022.

6. Single or multi-drive SCSI media changer program. Available at: https://sourceforge.net/projects/mtx, accessed 28.08.2022.

7. The Single UNIX Specification Version 3. Available at: https://unix.org/version3, accessed 28.08.2022.

8. ANSI X3.27-1978. Available at: https://nulpubs.nist.gov/nistpub/Legacy/FIPS/fipspub79.pdf, accessed 28.08.2022.

9. Apache Hadoop. Available at: https://hadoop.apache.org, accessed 28.08.2022.