Пути организации параллельного доступа к структурированным данным

В данной работе исследуются пути достижения максимально возможной производительности обменов с файлами, содержащими структурированные данные. Исследования проводились на файловых системах с параллельным доступом вычислительных систем, предназначенных для решения задач физико-математического моделирования различных процессов и объектов. На примере параллельной файловой системы Lustre рассматривается параллельный доступ к «сырым» данным. Предлагается способ организации параллельного доступа к структурированным данным на основе специального разработанного формата хранения PSIO и библиотеки доступа psio. Выполняется сравнительный анализ производительности ввода-вывода разработанного формата хранения данных и формата параллельной версии HDF5.

1. HDF Group. Available at: https://www.hdfgroup.org/solutions/hdf5/, accessed 10.05.2023.

2. Lustre. Available at: https://www.lustre.org, accessed 10.05.2023.

3. The IO500 benchmark. Available at: http://www.io500.org, accessed 10.05.2023.

4. Thakur R., Ross R. et al. Users Guide for ROMIO: A High-Performance, Portable MPI-IO Implementaion. Argonne National Laboratory, Technical Memorandum no. 234, 2004, 17 p.

5. Национальный центр физики и математики. г. Саров / National Center for Physics and Mathematics. Sarov. Available at: https://ncphm.ru/, accessed 10.05.2023 (in Russian).

6. Chunking in HDF5. Available at: https://support.hdfgroup.org/HDF5/doc/Advanced/Chunking/, accessed 10.05.2023.

7. Howison M., Koziol Q. et al. Tuning HDF5 for Lustre File System. In Proc. of the Workshop on Interfaces and Abstractions for Scientific Data Storage (IASDS10), 2010, 11 p.