Валя М1, 2., Майоров А. В.2, 3
1Институт экспериментальной физики САН в Кошице, Словакия
2ОИЯИ ЛИТ, Дубна, Россия
3Международный университет «Дубна», Дубна, Россия
При проведении экспериментов ученые получают большое количество необработанных экспериментальных данных. Эти данные анализируются с помощью пакета ROOT. Обработка объемных данных требует высокую производительность компьютеров, поэтому анализ экспериментальных данных проводят на высокопроизводительных кластерах.
Проведение анализа данных на кластере требует некоторой подготовительной работы: загрузка файлов на кластер, написание макросов, скачивание результатов и т. д. Пользователи работают на кластере в удаленном режиме. Это создает некоторые проблемы, в частности большое время отклика пользовательского графического интерфейса.
Для создания комфортной работы на кластере и оптимизации процесса анализа экспериментальных данных разработан веб-сервис, который позволяет проводить вычисления пользовательских задач на кластере, при этом визуализируя результаты на клиентской машине. Веб-сервис взаимодействует с планировщиком задач и распределенной файловой системой вычислительного комплекса.
Пользователи могут контролировать процесс выполнения задач на кластере, используя веб-интерфейс. Веб-приложение имеет несколько готовых шаблонов для разного типа пользовательских задач, что позволит быстро создать новую задачу и отправить ее на вычисление. В качестве менеджера задач используется SALSA — менеджер задач, разработанный коллегами из Словакии под руководством Мартина Валя. Менеджер задач SALSA близок по своей концепции к расширению пакета ROOT PROOF, но в отличие от него является более универсальным, что позволяет работать не только с задачами, использующими пакет ROOT.
Ссылка на менеджер задач SALSA (https://gitlab.openbrain.sk/salsa/SALSA).
Веб-приложение позволяет просматривать каталоги и открывать файлы распределенной файловой системы кластера. Пользователи могут открывать как текстовые, так и ROOT файлы, используя при этом веб-интерфейс.
В качестве платформы для разработки веб-сервиса используется гетерогенный кластер HybriLIT. Используются вычислительные узлы кластера для тестирования и оптимизации процесса выполнения пользовательских задач. Также на мощностях гетерогенного кластера HybriLIT развернут тестовый полигон хранилища данных с использованием распределенной файловой системой EOS, которая предоставляет широкие возможности взаимодействия с веб-сервисом.
Для создания веб-сервиса используются такие инструменты веб-разработки, как Angular и NodeJS. В данный момент веб-сервис находится в разработке. Дальнейшим развитием является оптимизация веб-приложения и добавление новых функций и возможностей.
Ссылка на веб-приложение (https://gitlab.openbrain.sk/salsa/salsa-webapp).