Доклады

Composable Parallelism in Graph Processing

The increasing core count in modern processors offers substantial potential to accelerate parallel applications. However, this also introduces key challenges: rising overhead from work distribution and diminishing per-thread workloads can significantly degrade performance. To address this, developers can exploit parallelism at multiple levels or execute multiple applications simultaneously—though this approach demands enhanced support in parallel programming models to prevent resource oversubscription. In this work, we evaluate how different programming models leverage composable parallelism to improve efficiency, focusing on OpenMP and oneTBB in the context of the Breadth-First Search (BFS) algorithm. Our experimental analysis targets Arm-based architectures, assessing scalability and overhead trade-offs.

Докладчик: Н.А. Катаев.

Читать (PDF, Английский)

Читать (PDF, Русский)

Доклады

A Study of a Composable Approach to Parallel Programming for Many-Core Multiprocessors

The increase of the number of multiprocessor cores gives the great opportunity for improvement of the parallel application performance. However, the programmer faces significant challenges. The raise of the work distribution overhead and the decrease of a work portion per thread may drastically degrade the application performance. A possible solution is to compose parallelism available in application at different levels or to run different applications simultaneously. However, this approach may require extended support in parallel programming models to overcome possible oversubscription issues. In our study we examine the performance different programming models provide while they are used to exploit composable parallelism. We consider OpenMP, oneTBB and Argobots to exploit parallelism available in the NAS Parallel Benchmarks and to compose several benchmarks in different ways. We also examine multi-zone versions of the benchmarks that exploit multiple levels of parallelism. We conducted our experiments on Arm-based and x86-based systems.

Докладчик: Н.А. Катаев.

Читать (PDF, Английский)
Смотреть (PDF, Английский)

Читать (PDF, Английский)

Доклады

Automation of programming for promising high-performance computing systems

Automation of parallel programming may focus on various tasks the programmer is burdened while developing a parallel program. Related tools assist the program profiling and aid the programmer with transforming the program to a form suitable for the efficient parallelization. Finally, these tools express an implicit program parallelism using a chosen programming model and optimize the parallel program for target architectures. However, the choice of the target Application Programming Interfaces (API) is of great importance in the development of interactive parallelization tools. On the one hand, the perfect choice of API should ensure the programming of the variety of modern and promising architectures. On the other hand, API must simplify the development of assistant tools and allow the programmer to explore the decisions made by the automated parallelization system. System FOR Automated Parallelization (SAPFOR) is an umbrella of assistant tools designed to automate parallel programming. It accomplishes various tasks and allows the user to take an advantage of the interactive semi-automatic parallelization. SAPFOR expresses parallelism using the DVMH directive-based programming model, which aims at developing efficient parallel programs for heterogeneous and hybrid computing clusters. The paper presents an empirical study that examines the capability of SAPFOR to assist parallel programming on the example of development of a parallel program for numerical simulation of hydrodynamic instabilities.

This work was supported by Moscow Center of Fundamental and Applied Mathematics, Agreement with the Ministry of Science and Higher Education of the Russian Federation, No. 075-15-2019-1623.

Докладчик: Н.А. Катаев.

Читать (PDF, Английский)
Смотреть (PDF, Английский)

Доклады

Использование динамического анализа при распараллеливании на гибридный вычислительный кластер

При распараллеливании на графический ускоритель необходимо выделить участки кода (вычислительные регионы), которые могут быть выполнены на GPU. При этом помимо выполнения анализа, отвечающего за возможность параллельного выполнения того или иного фрагмента программы (например, гнезда циклов), необходимо определить набор данных, которые должны быть переданы на графический ускоритель до начала вычислений, и загружены с него в оперативную память, когда вычисления будут завершены. В докладе будет рассмотрен подход к применению смешанного анализа программ, используемый при разработке системы SAPFOR, который позволяет оптимизировать расстановку спецификаций параллелизма в программе, за счет совместного применения как статического анализа, так и динамического анализа, выполняемого на разных наборах входных данных.

Докладчик: Н.А. Катаев.

Читать (PDF, Русский)
Смотреть (PDF, Русский)

Автоматизированное распараллеливание программ для гетерогенных кластеров с помощью системы SAPFOR

В докладе будет рассмотрен подход к автоматизированному распараллеливанию программ для кластеров с помощью системы SAPFOR (System FOR Automated Parallelization). Главной целью системы SAPFOR является автоматизация процесса отображения последовательных программ на параллельные архитектуры в модели DVMH, которая является моделью программирования, основанной на директивах. Помимо этого, система SAPFOR позволяет выполнять автоматически некоторый класс преобразований над исходным кодом программы по запросу пользователя через графический интерфейс. На определенных классах задач пользователь системы SAPFOR может рассчитывать на полностью автоматическое распараллеливание, если программа была написана или приведена к потенциально параллельному виду. Также в докладе будут рассмотрены подходы к построению схем распределения данных и вычислений на распределенную память в модели DVMH. Эффективность полученных алгоритмов построения схем распределения данных и вычислений будет продемонстрирована на примере некоторых приложений из пакета NAS Parallel Benchmarks.

Докладчик: А.С. Колганов.

Читать (PDF, Русский)
Смотреть (PDF, Русский)

Доклады

Автоматизированное распараллеливание программ для гетерогенных кластеров с помощью системы SAPFOR

В статье будет рассмотрен подход к автоматизированному распараллеливанию программ для кластеров с помощью системы SAPFOR (System FOR Automated Parallelization). Главной целью системы SAPFOR является автоматизация процесса отображения последовательных программ на параллельные архитектуры в модели DVMH, которая является моделью программирования, основанной на директивах. Помимо этого система SAPFOR позволяет выполнять автоматически некоторый класс преобразований над исходным кодом программы по запросу пользователя через графический интерфейс. На определенных классах задач пользователь системы SAPFOR может рассчитывать на полностью автоматическое распараллеливание, если программа была написана или приведена к потенциально параллельному виду. Также в статье будут описаны подходы к построению схем распределения данных и вычислений на распределенную память в модели DVMH. Эффективность полученных алгоритмов построения схем распределения данных и вычислений будет продемонстрирована на примере некоторых приложений из пакета NAS Parallel Benchmarks.

Докладчик: Н.А. Катаев.

Читать (PDF, Русский)
Смотреть (PDF, Русский)

Доклады

Data distribution and parallel code generation for heterogenious computational clusters

We present new techniques for compilation of sequential programs for almost affine accesses in loop nests for distributed-memory parallel architectures. Our approach is implemented as a source-to-source automatic parallelizing compiler that expresses parallelism with the DVMH directive-based programming model. Compared to all previous approaches ours addresses all three main sub-problems of the problem of distributed memory parallelization: data and computation distribution and communication optimization. Parallelization of sequential programs with structured grid computations is considered. In this paper, we use the NAS Parallel Benchmarks to evaluate the performance of generated programs and provide experimental results on up to 9 nodes of a computational cluster with two 8-core processors in a node.

В данной статей рассматривается новый подход к компиляции последовательных программ для их последующего выполнения на вычислительных системах с распределенной памятью. Предложенный подход был реализован в виде автоматически распараллеливающего компилятора для программ на языках Си и Фортран. Для описания параллелизма, обнаруженного в программе, используется директивная модель параллельного программирования DVMH. Таким образом, реализованный компилятор выполняет преобразование программ на уровне исходного кода, добавляя в них высокоуровневые спецификации параллелизма в терминах DVMH модели. Распараллеливание основано на анализе гнезд циклов программы, содержащих обращения к многомерным массивам, для которых большинство индексных выражений линейно зависит от индуктивных переменных циклов гнезда. Основной областью применения предложенного подхода являются программы научно-технических расчетов, реализующие вычисления на структурированных сетках. В отличие от подходов к распараллеливанию программ, предложенных в других работах, наш подход охватывает решение всех трех основных задач, возникающих при распараллеливании для систем с распределенной памятью: распределение данных, распределение вычислений и оптимизация коммуникационных обменов между узлами вычислительной системы. Для оценки эффективности получаемых параллельных программ, мы использовали некоторых приложения из набора NAS Parallel Benchmarks. В статье приведены результаты экспериментов, в которых были задействованы до 9 узлов вычислительного кластера, каждый из которых содержал два 8-ядерных процессора.

Докладчик: Н.А. Катаев.

Читать (PDF, Английский)
Смотреть (PDF, Английский)

Доклады

Статический анализ Си программ в системе SAPFOR для их распараллеливания

Применение системы SAPFOR для распараллеливания некоторых приложений из пакета NAS Parallel Benchmarks выявило ограничения реализованных в системе SAPFOR техник анализа программ. В докладе будут рассмотрены новые техники анализа программ, реализованные в SAPFOR и позволяющие справиться с выявленными ограничениями. Важной особенностью является то, что предложенные техники опираются на возможность системы SAPFOR модифицировать внутреннее представление программы в виде LLVM IR в процессе ее анализа для уточнения свойств исходной непреобразованной программы. В докладе будут рас-смотрены: (1) подход к анализу зависимостей по данным в много-модульных программах за счет выборочной подстановки функций в точках их вызова; (2) подход к определению редукционных операций в циклах программы, для случаев, когда имеющихся возможностей LLVM по их анализу оказывается недостаточно; (3) подход к определению приватизируемых массивов в циклах про-граммы.

Докладчик: Н.А. Катаев.

Читать (PDF, Русский)
Смотреть (PDF, Русский)

Доклады

Дополнительное распараллеливание MPI программ с помощью системы SAPFOR

Системы SAPFOR и DVM были спроектированы и предназначены для упрощения разработки параллельных программ научно-технических расчетов. Главной целью системы SAPFOR является автоматизация процесса отображения последовательных программ на параллельные архитектуры в модели DVMH. В некоторых случаях пользователь системы SAPFOR может рассчитывать на полностью автоматическое распараллеливание, если программа была написана или приведена к потенциально параллельному виду. DVMH модель представляет собой расширение стандартных языков Си и Фортран спецификациями параллелизма, которые оформлены в виде директив и не видимы стандартным компиляторам. В статье будет рассмотрено автоматизированное дополнительное распараллеливание существующих MPI программ с помощью системы SAPFOR, где, в свою очередь, будут использованы новые возможности DVMH модели по распараллеливанию циклов в MPI программе внутри узла. Данный подход позволяет существенно снизить трудоемкость распараллеливания MPI программ на графические ускорители и многоядерные процессоры, сохранив при этом удобство сопровождения уже написанной программы. Данная возможность в системе SAPFOR была реализована для языков Фортран и Си. Эффективность данного подхода показана на примере некоторых приложений из пакета NAS Parallel Benchmarks.

Работа выполнена при поддержке Российского фонда фундаментальных исследований, проекты 19-07-00889, 19-07-01101 и 20-01-00631.

Докладчик: А.С. Колганов.

Читать (PDF, Русский)
Смотреть (PDF, Русский)