Применение графических ускорителей для расчета гидродинамических характеристик гребных винтов в пакете OpenFOAM

Пакет OpenFOAM является одним из популярных инженерных инструментов для численного моделирования задач прикладной гидродинамики, для которых могут быть характерны сложные геометрии и сетки с числом ячеек, измеряемых десятками миллионов. Поскольку решение такого рода задач зачастую отличается большой продолжительностью и ресурсоёмкостью, любое ускорение таких расчетов имеет большое практическое значение. На основе одной практической задаче численного моделирования гидродинамических характеристик гребных винтов в настоящей работе исследуется вопрос оптимизации расчета в OpenFOAM за счет применения оригинальной библиотеки SparseLinSol (SLS), разрабатываемой авторами. Библиотека предназначена для решения больших разреженных систем уравнений на суперкомпьютерах и использует итерационные методы подпространства Крылова и многосеточные методы. Алгоритмы библиотеки используют оригинальную гибридную схему распараллеливания, комбинирующию модели MPI и Posix Shared Memory, а также допускают использование графических ускорителей NVIDIA для значительной части реализованных методов. В результате проведенного тестирования на вычислительной системе, оборудованной ускорителями NVIDIA X2070, показано, что: 1) результаты моделирования целевой задачи в пакете OpenFOAM, в целом, соответствуют результатам, полученным в пакете Star-CCM и результатам экспериментов; 2) реализованные методы решения СЛАУ обладают большей робастностью по сравнению с многосеточным методом GAMG, реализованным в пакете OpenFOAM; 3) Гибрдная модель распараллеливания значительно улучшает масштабируемость солвера, что позволяет добиваться линейной масштабируемости до 128 узлов, на всем диапазоне рассмотренном в проведенных тестах; 4) использование графических ускорителей способно увеличить скорость расчётов в 1.4-3 раза; 5) реализация методов в библиотеке SparseLinSol превосходит по скорости реализацию методов из библиотеки hypre для той же комбинации методов и тесторых матриц

многосеточные методы, графические ускорители, гребные винты, масштабируемость, пакет OpenFOAM

1. Б. Краснопольский, А. Медведев. О решении систем линейных алгебраических уравнений на многоядерных вычислительных системах с графическими ускорителями. Параллельные вычислительные технологии (ПаВТ'2013): труды международной научной конференции (1-5 апреля 2013 г., г. Челябинск). Челябинск: Издательский центр ЮУрГУ, 2013. 637 с., стр. 409-420.

2. Б. Краснопольский, А. Медведев. Алгоритмические особенности создания многосеточного решателя СЛАУ на вычислительных системах с графическими ускорителями. Вестник Нижегородского университета им. Н.И. Лобачевского, серия «Информационные технологии», 2, 2014. стр. 210-217.

3. F. Menter. Two-equation Eddy-viscosity Turbulence Models for Engineering Applications. AIAA Journal, 32 (8), 1994. pp. 1598-1605.

4. H.A. Van der Vorst. BI-CGSTAB: a Fast and Smoothly Converging Variant of BI-CG for the Solution of Nonsymmetric Linear Systems. SIAM J. Sci. Statist. Comput., 13, 1992. pp. 631-644.

5. U. Trottenberg, C.W. Oosterlee, A. Schuller. Multigrid. Academic Press, 2000. 631 p.

6. Hypre: a Library of High Performance Preconditioners. https://computation.llnl.gov/casc/linear_solvers/sls_hypre.html. Дата обращения 18.12.2014.

7. N. Bell, M. Garland. Efficient Sparse Matrix-vector Multiplication on CUDA. NVIDIA Corporation, Tech. Rep. NVR-2008-004. 2008.

8. A. Monakov, A. Lokhmotov, A. Avetisyan. Automatically Tuning Sparse Matrix-vector Multiplication for GPU Architectures. High Performance Embedded Architectures and Compilers, ser. Lecture Notes in Computer Science, 5952, 2010. pp. 111-125.

9. J. Kraus, M. Frster, T. Brandes, T. Soddemann, Using LAMA for Efficient AMG on Hybrid Clusters. Computer Science - Research and Development, 28 (2-3), 2013. pp. 211-220.

10. М. Лобачев, Н. Овчинников, А. Пустошный. Численное моделирование работы гребного винта в неоднородном потоке. Труды ЦНИИ им. акад. А.Н. Крылова, 333(6), 2009. стр. 5-10.

11. M. Peric, V.Bertram. Trends in Industry Applications of CFD for Maritime Flows. 10-th International Conference on Computer and IT Applications in the Maritime Industries. Berlin, Germany, 2011. pp.8-18. http://www.gl-group.com/pdf/Trends_in_Industry_Applications_of_CFD_for_Maritime_Flows.pdf

12. B. Krasnopol'skij, A. Medvedev. O reshenii sistem linejnykh algebraicheskikh uravnenij na mnogojadernykh vychislitel'nykh sistemakh s graficheskimi uskoriteljami [On solution of systems of linear algebraic eqautions on multicore systems with GPU accelerators]. Parallel'nye vychislitel'nye tekhnologii (PaVT'2013): trudy mezhdunarodnoj nauchnoj konferencii (1-5 aprelja 2013, Cheljabinsk) [Parallel Computing technologies (PaCT'2013): proceedings of international scientific conference (April 1-5, 2013, Chelyabinsk)]. Cheljabinsk: Izdatel'skij centr ÜUrGU, 2013. 637 p., pp 409-420 (in Russian).

13. B. Krasnopol'skij, A. Medvedev. Algoritmicheskie osobennosti sozdanija mnogosetochnogo reshatelja SLAU na vychislitel'nykh sistemakh s graficheskimi uskoriteljami [Algorithmic aspects of development the multigrid slae solver for computer systems with GPU accelerators]. Vestnik Nizhegorodskogo universiteta im. N.I. Lobachevskogo, serija «Informacionnye tekhnologii» [Vestnik of Lobachevsky State University of Nizhni Novgorod, "Information Technology" series], 2, 2014. pp. 210-217 (in Russian).

14. F. Menter. Two-equation Eddy-viscosity Turbulence Models for Engineering Applications. AIAA Journal, 32 (8), 1994. pp. 1598-1605.

15. H.A. Van der Vorst. BI-CGSTAB: a Fast and Smoothly Converging Variant of BI-CG for the Solution of Nonsymmetric Linear Systems. SIAM J. Sci. Statist. Comput., 13, 1992. pp. 631-644.

16. U. Trottenberg, C.W. Oosterlee, A. Schuller. Multigrid. Academic Press, 2000. 631 p.

17. Hypre: a Library of High Performance Preconditioners. https://computation.llnl.gov/casc/linear_solvers/sls_hypre.html. Дата обращения 18.12.2014.

18. N. Bell, M. Garland. Efficient Sparse Matrix-vector Multiplication on CUDA. NVIDIA Corporation, Tech. Rep. NVR-2008-004. 2008.

19. A. Monakov, A. Lokhmotov, A. Avetisyan. Automatically Tuning Sparse Matrix-vector Multiplication for GPU Architectures. High Performance Embedded Architectures and Compilers, ser. Lecture Notes in Computer Science, 5952, 2010. pp. 111-125.

20. J. Kraus, M. Frster, T. Brandes, T. Soddemann, Using LAMA for Efficient AMG on Hybrid Clusters. Computer Science - Research and Development, 28 (2-3), 2013. pp. 211-220.

21. M. Lobachev, N. Ovchinnikov, A. Pustoshnyj. Chislennoe modelirovanie raboty grebnogo vinta v neodnorodnom potoke [Numerical modeling of marine propeller in a nonuniform flow]. Trudy CNII im. akad. A.N. Krylova [Proceedings of Krylov Shipbuilding Research Institute Acad. A.N. Krylov], 333(6), 2009. pp. 5-10 (in Russian).

22. M. Peric, V.Bertram. Trends in Industry Applications of CFD for Maritime Flows. 10-th International Conference on Computer and IT Applications in the Maritime Industries. Berlin, Germany, 2011. pp. 8-18. http://www.gl-group.com/pdf/Trends_in_Industry_Applications_of_CFD_for_Maritime_Flows.pdf