Учебно-тестовый полигон

Учебно-тестовый полигон является важной частью гетерогенной платформы HybriLIT, предназначенной для исследования возможностей новых вычислительных архитектур, новых IT-решений, а также  проведения учебных курсов по технологиям параллельного программирования,  современным инструментам разработки, отладки и профилирования параллельных приложений, пакетам прикладных программ.

Гетерогенная платформа HybriLIT  имеет единую двухуровневую программно-информационную среду для Учебно-тестового полигона и  суперкомпьютера “ГОВОРУН”.

Программная среда гетерогенной платформы HybriLIT

Программная среда включает в себя набор системного программного обеспечения для функционирования гетерогенной платформы:

  • На платформе установлена операционная система Scientific Linux4
  • Планировщик заданий и менеджер ресурсов гетерогенной платформы SLURM
  • Файловые системы NFS и EOS
  • CernVM-FS – специализированная файловая система, обеспечивающая распространения программного обеспечения
  • Пакет MODULES – для установки переменных окружения для решения конкретной задачи, путем выбора необходимого программное обеспечение (компиляторы, библиотеки обмена сообщениями, пакеты прикладных программ и т.д.).
  • Библиотеки, пакеты для запуска параллельных приложений на различных вычислительных архитектурах.

 

Информационная среда гетерогенной платформы HybriLIT

Для пользователей гетерогенной платформы  развивается информационно среда, которая включает в себя различные сервисы, с помощью которых пользователи могут эффективнее организовать свою работу на кластере, а также иметь доступ к необходимой и полезной информации при работе на кластере. Среди сервисов, предоставляемых пользователям, можно выделить те, что предназначены преимущественно для предоставления пользователям необходимой информации для работы на кластере, а также информирования о различных мероприятиях, проводимых группой HybriLIT. Среди таких сервисов:

  • веб-сайт HybriLIT
  • система GitLab –представляет собой веб-приложение для совместной параллельной работы над одним или несколькими проектами. Несколько пользователей могут объединиться в группу и параллельно разрабатывать свой проект. Каждый проект также имеет свой уровень видимости, который регулируется владельцем данного проекта. Проект хранится на главном сервере, но каждый из разработчиков проекта имеет свою ветку, в которой может вносить изменени. Все изменения в проекте регистрируются в системе, что позволяет отслеживать действия других участников проекта.
  • С быстрым ростом числа пользователей кластера, появилась необходимость собирать данные по ряду аспектов, таких как:

    • используемые ресурсы кластера,
    • типы запускаемых задач,
    • пользователи, запускающие задачи,
    • время расчета задач и др.
  • система Indico используется в ОИЯИ и предназначена для организации конференций, семинаров и встреч. В данной системе возможно создавать различные мероприятия, которые пройдут в рамках института. Созданное событие представляет краткую информацию о тематике мероприятия, месте и времени проведения. В системе также есть возможность загрузки материалов лекций и семинаров выступающих, что позволяет пользователям более детально ознакомиться с ними.
  • проект HybriLIT User Support – проект, реализованный в системе Project Management Service, позволяющей оперативно отвечать на вопросы пользователей кластера, размещать полезные материалы, новости и др. Данный проект разработан для более эффективного взаимодействия пользователей как между собой, так и с группой HybriLIT. Данная система предоставляет возможности по быстрому информированию пользователей о предстоящих мероприятиях и состоянии кластера. Пользователи также могут создавать задачи по улучшению или исправлению возникающих ошибок в системе. Таким образом, взаимодействие между пользователями кластера и разработчиками является очень эффективным.
  • В целях сбора статистики был разработан сервис Stat-HLIT, представляющий собой веб-интерфейс, содержащий информацию по загруженности кластера, по задачам, запущенным на кластере и т.д. На сайте доступны данные по запускаемым ранее задачам, а именно имя пользователя, используемые ресурсы, время начала запуска задачи и ее завершения и пр. Помимо этого, на сайте предоставляется статистика использования ресурсов кластера за последний час/день/неделю/месяц/все время работы кластера лабораториями ОИЯИ и различными университетами.
  • Также для пользователей доступно мобильное приложение MobiLIT, которое предназначено для информационной поддержки проведения расчетов на кластере, позволяющее:
    • осуществлять мониторинг задач пользователей;
    • быстро просматривать свои файлы (*.out, *.dat, *.in or *.sh);
    • осуществлять мониторинг ожидаемого времени окончания расчетов;
    • иметь полную информацию о занимаемых ресурсах по всем задачам, запущенным на кластере, и т.д.