Учебно-тестовый полигон является важной частью гетерогенной платформы HybriLIT, предназначенной для исследования возможностей новых вычислительных архитектур, новых IT-решений, а также проведения учебных курсов по технологиям параллельного программирования, современным инструментам разработки, отладки и профилирования параллельных приложений, пакетам прикладных программ.
Гетерогенная платформа HybriLIT имеет единую двухуровневую программно-информационную среду для Учебно-тестового полигона и суперкомпьютера “ГОВОРУН”.
Программная среда гетерогенной платформы HybriLIT
Программная среда включает в себя набор системного программного обеспечения для функционирования гетерогенной платформы:
- На платформе установлена операционная система Scientific Linux4
- Планировщик заданий и менеджер ресурсов гетерогенной платформы SLURM
- Файловые системы NFS и EOS
- CernVM-FS – специализированная файловая система, обеспечивающая распространения программного обеспечения
- Пакет MODULES – для установки переменных окружения для решения конкретной задачи, путем выбора необходимого программное обеспечение (компиляторы, библиотеки обмена сообщениями, пакеты прикладных программ и т.д.).
- Библиотеки, пакеты для запуска параллельных приложений на различных вычислительных архитектурах.
Информационная среда гетерогенной платформы HybriLIT
Для пользователей гетерогенной платформы развивается информационно среда, которая включает в себя различные сервисы, с помощью которых пользователи могут эффективнее организовать свою работу на кластере, а также иметь доступ к необходимой и полезной информации при работе на кластере. Среди сервисов, предоставляемых пользователям, можно выделить те, что предназначены преимущественно для предоставления пользователям необходимой информации для работы на кластере, а также информирования о различных мероприятиях, проводимых группой HybriLIT. Среди таких сервисов:
- веб-сайт HybriLIT
- система GitLab –представляет собой веб-приложение для совместной параллельной работы над одним или несколькими проектами. Несколько пользователей могут объединиться в группу и параллельно разрабатывать свой проект. Каждый проект также имеет свой уровень видимости, который регулируется владельцем данного проекта. Проект хранится на главном сервере, но каждый из разработчиков проекта имеет свою ветку, в которой может вносить изменени. Все изменения в проекте регистрируются в системе, что позволяет отслеживать действия других участников проекта.
- используемые ресурсы кластера,
- типы запускаемых задач,
- пользователи, запускающие задачи,
- время расчета задач и др.
- система Indico используется в ОИЯИ и предназначена для организации конференций, семинаров и встреч. В данной системе возможно создавать различные мероприятия, которые пройдут в рамках института. Созданное событие представляет краткую информацию о тематике мероприятия, месте и времени проведения. В системе также есть возможность загрузки материалов лекций и семинаров выступающих, что позволяет пользователям более детально ознакомиться с ними.
- проект HybriLIT User Support – проект, реализованный в системе Project Management Service, позволяющей оперативно отвечать на вопросы пользователей кластера, размещать полезные материалы, новости и др. Данный проект разработан для более эффективного взаимодействия пользователей как между собой, так и с группой HybriLIT. Данная система предоставляет возможности по быстрому информированию пользователей о предстоящих мероприятиях и состоянии кластера. Пользователи также могут создавать задачи по улучшению или исправлению возникающих ошибок в системе. Таким образом, взаимодействие между пользователями кластера и разработчиками является очень эффективным.
- В целях сбора статистики был разработан сервис Stat-HLIT, представляющий собой веб-интерфейс, содержащий информацию по загруженности кластера, по задачам, запущенным на кластере и т.д. На сайте доступны данные по запускаемым ранее задачам, а именно имя пользователя, используемые ресурсы, время начала запуска задачи и ее завершения и пр. Помимо этого, на сайте предоставляется статистика использования ресурсов кластера за последний час/день/неделю/месяц/все время работы кластера лабораториями ОИЯИ и различными университетами.
- Также для пользователей доступно мобильное приложение MobiLIT, которое предназначено для информационной поддержки проведения расчетов на кластере, позволяющее:
- осуществлять мониторинг задач пользователей;
- быстро просматривать свои файлы (*.out, *.dat, *.in or *.sh);
- осуществлять мониторинг ожидаемого времени окончания расчетов;
- иметь полную информацию о занимаемых ресурсах по всем задачам, запущенным на кластере, и т.д.
С быстрым ростом числа пользователей кластера, появилась необходимость собирать данные по ряду аспектов, таких как: