Уважаемые пользователи!

Для сотрудников Лаборатории теоретической физики, являющихся пользователями Гетерогенной платформы HybriLIT, создан тестовой полигон в составе суперкомпьютера «Говорун» на основе выделенной очереди «bltp».

На тестовом полигоне реализован функционал планировщика SLURM, включающий различные уровни обслуживания (Quality of Service, QoS) для задач разного типа.

Организованы следующие уровни обслуживания (Quality of Service, QoS):

Уровни обслуживания (*синим цветом выделен уровень обслуживания по умолчанию — medium).

Перечисленные уровни обслуживания имеют следующий порядок приоритетов:

debug > short > medium > serial > long

Для запуска большого числа одноядерных задач выделен отдельный уровень обслуживания:

serial

По умолчанию в выделенной очереди «bltp» применяется уровень обслуживания medium с DefaultTimeLimit = 7d (7 суток).

Для каждого пользователя установлен лимит GrpTRES (cpu=2000, mem=5000G) во избежание монополизации ресурсов выделенной очереди «bltp» одним пользователем.

В дальнейшем может быть реализован механизм FairShare, в соответствии с которым задачи пользователей, которые давно не проводили расчёты на суперкомпьютере «Говорун», получают более высокий приоритет.

Поскольку в выделенной очереди «bltp» одновременно присутствуют вычислительные узлы с процессорами Cascade Lake (тип узлов «n02», CPU: 92 ядра, RAM: 190 GB) и Ice Lake  (тип узлов «n05», CPU: 148 ядер, RAM: 2 030 000 GB), то для запуска задачи на определённом типе вычислительных узлов необходимо указывать специальный параметр, с помощью которого планировщик SLURM поставит задачу на выбранный тип вычислительных узлов. Если этот параметр не указывать, то планировщик SLURM самостоятельно выберет подходящий тип вычислительного узла в зависимости от запрашиваемых для задачи ресурсов (число ядер, размер оперативной памяти), отдавая приоритет узлам Cascade Lake (тип узла «n02»).

Для использования вычислительных узлов Cascade Lake (тип узла «n02») нужно указать значение параметра cascade.

Для использования вычислительных узлов Ice Lake (тип узла «n05») нужно указать значение параметра icelake.

Ниже приведены 2 примера batch скрипта для запуска задачи. В 1-ом примере все опции заданы в полном формате, во 2-ом примере в коротком формате. Можно указывать опции как в полном, так и в коротком формате. Допустимо смешивание форматов (по удобству пользователя).

script_cascade_medium.sh:

#!/bin/bash
#SBATCH --account=bltp
#SBATCH --partition=bltp
#SBATCH --constraint=cascade
#SBATCH --qos=medium
#SBATCH --time=00:05:00

date
hostname

script_icelake_medium.sh:

#!/bin/bash
#SBATCH -A bltp
#SBATCH -p bltp
#SBATCH -C icelake
#SBATCH -q medium
#SBATCH -t 00:05:00

date
hostname

Какие в примерах использованы ключевые параметры?

1. Указание записи SLURM Account (значение bltp). На основе значения планировщик SLURM определит право пользователя на запуск задачи в выделенной очереди «bltp».
2. Указание очереди (значение bltp). На основе значения планировщик SLURM поставит задачу в выделенную очередь «bltp». Для пользователей доступы и другие счётные очереди («volta», «ampere»), для которых указывается соответствующее значение.
3. Тип вычислительного узла (значение cascade, icelake; значение можно не указывать). На основе значения планировщик SLURM выделит запрошенные ресурсы на выбранном типе вычислительных узлов.
4. Уровень обслуживания (значение debug, short, medium, long, serial). На основе значения планировщик SLURM определит приоритет задачи и поставит более короткие по времени задачи в начале очереди на выполнение.
5. Длительность расчётов (значение Дни – Часы : Минуты : Секунды). Поскольку по умолчанию длительность расчётов в выделенной очереди «bltp» задана в количестве 7 дней, то для запуска задачи с другими уровнями обслуживания (отличными от medium) необходимо указывать требуемое количество времени.

Примечания.

• При использовании счётных очередей «volta», «ampere» нужно обязательно указывать запись SLURM Account (параметр —account=bltp). Однако не требуется указывать уровень обслуживания, т.к. для этих очередей не заданы ограничения. Для пользователей будет использован уровень по умолчанию medium.
• Другие очереди Гетерогенной платформы HybriLIT и суперкомпьютера «Говорун», включая основную очередь cascade, для пользователей не доступны.

Мы завершили обновление платформы и перешли на AlmaLinux 9.6. В связи с этим хотели бы обратить ваше внимание на несколько изменений:

1. Новые очереди для HybriLIT и Govorun;
2. Система модулей Lmod используется вместо Modules;
3. Изменились домашние директории пользователей:
   • /zfs/store5.hydra.local/user/l/login — домашняя директория пользователя, предназначенная для редактирования файлов, сборки и компиляции программ.
   • /lustre/projects/l/login — директория пользователя для проведения расчетов, хранения и обработки данных.
4. Рекомендуемый воркфлоу для работы на платформе описан здесь.

Также сообщаем, что в настоящее время продолжается копирование файлов из предыдущего хранилища в вашу текущую директорию /lustre/projects. Этот процесс может занять некоторое время. Просим не беспокоиться — все ваши данные сохранены и будут полностью перенесены. Кроме того, на платформе установлены обновленные версии прикладных программных пакетов.

Рекомендуемые шаги работы на платформе HybriLIT

Типичный рабочий процесс на платформе состоит из нескольких шагов:

1. подключение к кластеру,
2. подготовка файлов в домашней директории,
3. копирование данных в файловую систему проектов для вычислений,
4. запуск задач через SLURM
5. сохранение результатов

Шаги работы

1. Подключение к платформе
   Подключение к кластеру осуществляется по SSH:
   ssh hydra.jinr.ru -l <login>

   После входа вы окажетесь в вашей домашней директории.

2. Работа в домашней директории (HOME, ZFS)
   Путь: /zfs/store5.hydra.local/user/l/<login>

   Назначение:
   Домашняя директория предназначена для:
   • редактирования исходных файлов
   • сборки и компиляции программ
   • хранения конфигурационных файлов
   • подготовки скриптов для запуска задач
   Квота: 100 GB

3. Загрузка программного обеспечения через Lmod
   На платформе используется система модулей Lmod для управления программным обеспечением.
   
   Просмотреть доступные программы: module avail
   Просмотреть загруженные модули: module list
   
   Загрузить модуль: module load <module_name>

   Пример:
   module load gcc
module load openmpi

   
   После загрузки необходимых модулей вы можете компилировать программы или подготавливать окружение для запуска задач. 

4. Копирование файлов в файловую систему проектов (PROJECTS, Lustre)
   Перед запуском вычислений рекомендуется копировать данные и скрипты в файловую систему проектов: /lustre/projects/<project_name>
   
   Назначение: Данная файловая система предназначена для:
   • входных данных задач
   • промежуточных файлов
   • результатов вычислений
   Она оптимизирована для параллельного ввода-вывода и работы вычислительных задач.
   Квота: Для пользователей квота не установлена.

   Пример копирования файлов: cp input.dat /lustre/projects/myproject/
   

5. Запуск задачи через SLURM
   Для запуска вычислений необходимо подготовить job-скрипт SLURM и отправить задачу в очередь. 
   
   Отправка задачи: sbatch job.sh

   Планировщик SLURM распределит задачу на вычислительные узлы кластера.
   

6. Получение результатов
   После завершения задачи в рабочей директории появится файл вывода: slurm-<jobid>.out

   Также все файлы, созданные вашей программой, будут находиться в директории проекта.

7. Копирование результатов обратно в HOME
   Важные результаты рекомендуется копировать обратно в домашнюю директорию для хранения или дальнейшей обработки:
   cp results.dat /zfs/store5.hydra.local/user/l/<login>/

Мы завершили обновление платформы и перешли на AlmaLinux 9.6. В связи с этим хотели бы обратить ваше внимание на несколько изменений:

1. Новые очереди для HybriLIT и Govorun;
2. Система модулей Lmod используется вместо Modules;
3. Изменились домашние директории пользователей:
   • /zfs/store5.hydra.local/user/l/login — домашняя директория пользователя, предназначенная для редактирования файлов, сборки и компиляции программ.
   • /lustre/projects/l/login — директория пользователя для проведения расчетов, хранения и обработки данных.
4. Рекомендуемый порядок работ на платформе описан здесь.

Также сообщаем, что в настоящее время продолжается копирование файлов из предыдущего хранилища в вашу текущую директорию /lustre/projects. Этот процесс может занять некоторое время. Просим не беспокоиться — все ваши данные сохранены и будут полностью перенесены. Кроме того, на платформе установлены обновленные версии прикладных программных пакетов.

Рекомендуемые шаги работы на платформе HybriLIT

Типичный рабочий процесс на платформе состоит из нескольких шагов:

1. подключение к кластеру,
2. подготовка файлов в домашней директории,
3. копирование данных в файловую систему проектов для вычислений,
4. запуск задач через SLURM
5. сохранение результатов

Шаги работы

1. Подключение к платформе
   Подключение к кластеру осуществляется по SSH:
   ssh hydra.jinr.ru -l <login>

   После входа вы окажетесь в вашей домашней директории.

2. Работа в домашней директории (HOME, ZFS)
   Путь: /zfs/store5.hydra.local/user/l/login/

   Назначение:
   Домашняя директория предназначена для:
   • редактирования исходных файлов
   • сборки и компиляции программ
   • хранения конфигурационных файлов
   • подготовки скриптов для запуска задач
   Квота: 100 GB
   Домашняя директория не предназначена для проведения расчетов и не доступна на вычислительных узлах платформы!
   

3. Загрузка программного обеспечения через Lmod
   На платформе используется система модулей Lmod для управления программным обеспечением.
   
   Просмотреть доступные программы: module avail
   Просмотреть загруженные модули: module list
   
   Загрузить модуль: module load <module_name>

   
   Пример:
   module load gcc
module load openmpi

   
   После загрузки необходимых модулей вы можете компилировать программы или подготавливать окружение для запуска задач. 

4. Копирование файлов в файловую систему проектов (PROJECTS, Lustre)
   Перед запуском вычислений рекомендуется копировать данные и скрипты в файловую систему проектов: /lustre/projects/l/login/
   
   Назначение: Данная файловая система предназначена для:
   • входных данных задач
   • промежуточных файлов
   • результатов вычислений
   Она оптимизирована для параллельного ввода-вывода и работы вычислительных задач.
   Квота: Для пользователей квота не установлена.

   Пример копирования файлов: cp input.dat /lustre/projects/l/login/
   

5. Запуск задачи через SLURM
   Для запуска вычислений необходимо подготовить job-скрипт SLURM и отправить задачу в очередь. 
   
   Отправка задачи: sbatch job.sh

   Планировщик SLURM распределит задачу на вычислительные узлы кластера.
   

6. Получение результатов
   После завершения задачи в рабочей директории появится файл вывода: slurm-<jobid>.out

   Также все файлы, созданные вашей программой, будут находиться в директории проекта.

7. Копирование результатов обратно в HOME
   Важные результаты рекомендуется копировать обратно в домашнюю директорию для хранения или дальнейшей обработки:
   cp results.dat /zfs/store5.hydra.local/user/l/login/