Гетерогенный кластер | ЛИТ/ОИЯИ
 
Платформа "HybriLIT"

Учебно-тестовый полигон


Учебно-тестовый полигон является важной частью гетерогенной платформы HybriLIT, предназначенной для исследования возможностей новых вычислительных архитектур, новых IT-решений, а также  проведения учебных курсов по технологиям параллельного программирования,  современным инструментам разработки, отладки и профилирования параллельных приложений, пакетам прикладных программ.

Гетерогенная платформа HybriLIT  имеет единую двухуровневую программно-информационную среду для Учебно-тестового полигона и  суперкомпьютера “Говорун”.

hlit-infouser-scheme


Аппаратное обеспечение

Характеристики узлов учебно-тестового полигона

CPU GPU
Model Sockets Cores Hyperthreading Total logical cores Model Sockets RAM (Gb) Network (Mb/s)
blade01 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 48 128 1000
blade02 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 40(48) Tesla K20X 1 128 1000
blade03 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 40(48) 128 1000
blade04 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 48 Tesla K40 3 128 1000
blade05 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 48 Tesla K40 3 128 1000
blade06 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 40(48) Tesla K40 3 128 1000
blade07 Intel Xeon E5-2695 v2 2.40GHz 2 12 yes 40(48) Tesla K40 3 128 1000
blade09 Intel Xeon E5-2695 v3 2.30GHz 2 14 yes 56 Tesla K80 2 512 1000
space12-24 Intel Xeon E5-2680 v3 2.50GHz 1 6 no 6 2 10000
n01p016 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
n01p017 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
n01p018 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
n01p019 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
n01p020 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
n01p021 Intel Xeon Phi 7290 1.50GHz 1 72 yes 288 96 1000, 100000
zfs ~300 Tb
eos ~18 Pt

Intel Xeon Processor

 

Характеристики E5-2695 v2
Количество ядер 12
Тактовая частота 2.4  Гц
Макс. расч. мощность 115  Вт

http://ark.intel.com/ru/products/75281/Intel-Xeon-Processor-E5-2695-v2-30M-Cache-2_40-GHz?q=intel%20xeon%20e5%202695v2

NVIDIA TESLA

Характеристики K20X
Количество CUDA ядер 2688
Макс. пропускная способность памяти 250 Гб/с
Макс. расч. мощность 235 Вт
Макс. объем памяти 6 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой 3.95 Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой 1.31 Tflops
Характеристики K40(Atlas)
Количество CUDA ядер 2880
Макс. пропускная способность памяти 288 Гб/с
Макс. расч. мощность 245 Вт
Макс. объем памяти 12 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой 4.29 Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой 1.43 Tflops

http://www.nvidia.ru/object/tesla-server-gpus-ru.html

Intel Xeon Phi Coprocessor 

Характеристики 5110P
Количество ядер 60
Тактовая частота 1.053 GHz
Макс. расч. мощность 225 W
Макс. объем памяти 8 GB
Макс. пропускная способность памяти 320 GB/s
Пиковая производительность для вычислений одинарной точности с плавающей точкой 2.022  Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой 1.011  Tflops

 

Характеристики 7120P
Количество ядер 61
Тактовая частота 1.238 Гц
Макс. расч. мощность 300 Вт
Макс. объем памяти 8 Гб
Макс. пропускная способность памяти 352 GB/s
Пиковая производительность для вычислений одинарной точности с плавающей точкой 2.416  Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой 1.208  Tflops

http://ark.intel.com/ru/products/71992/Intel-Xeon-Phi-Coprocessor-5110P-8GB-1_053-GHz-60-core
http://ark.intel.com/ru/products/75799/Intel-Xeon-Phi-Coprocessor-7120P-16GB-1_238-GHz-61-core

Характеристики E5-2695 v2 E5-2695 v3
Количество ядер 12 14
Тактовая частота 2.4 гГц 2.3 гГц
Макс. расч. мощность 115 Вт 120 Вт
Характеристики K20X K40(Atlas) K80
Количество CUDA ядер  2688  2880 4992
Тактовая частота 0.732 гГц 0.745 гГц 0.875 гГц
Макс. пропускная способность памяти  250 Гб/с  288 Гб/с 480 Гб/с
Макс. расч. мощность  235 Вт  245 Вт  300 Вт
Макс. объем памяти  6 Гб  12 Гб  24 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой  3.95 Tflops  4.29 Tflops  8.74 Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой  1.31 Tflops  1.43 Tflops  2.91 Tflops
Характеристики 5110P 7120P
Количество ядер  60  61
Тактовая частота 1.053 гГц 0.745 гГц
Макс. пропускная способность памяти  225 Гб/с  300 Гб/с
Макс. расч. мощность  225 Вт  300 Вт
Макс. объем памяти  8 Гб  16 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой  2.02 Tflops  2.416 Tflops
Пиковая производительность для вычислений двойной точности с плавающей точкой  1.01 Tflops  1.208 Tflops

Программная среда гетерогенной платформы HybriLIT

Программная среда включает в себя набор системного программного обеспечения для функционирования гетерогенной платформы:

  • На платформе установлена операционная система Scientific Linux 7.5 (Nitrogen)
  • Планировщик заданий и менеджер ресурсов гетерогенной платформы SLURM
  • Файловые системы NFS и EOS
  • CernVM-FS – специализированная файловая система, обеспечивающая распространения программного обеспечения
  • Пакет MODULES – для установки переменных окружения для решения конкретной задачи, путем выбора необходимого программное обеспечение (компиляторы, библиотеки обмена сообщениями, пакеты прикладных программ и т.д.).
  • Библиотеки, пакеты для запуска параллельных приложений на различных вычислительных архитектурах.

Информационная среда гетерогенной платформы HybriLIT

Для пользователей гетерогенной платформы  развивается информационно среда, которая включает в себя различные сервисы, с помощью которых пользователи могут эффективнее организовать свою работу на кластере, а также иметь доступ к необходимой и полезной информации при работе на кластере. Среди сервисов, предоставляемых пользователям, можно выделить те, что предназначены преимущественно для предоставления пользователям необходимой информации для работы на кластере, а также информирования о различных мероприятиях, проводимых группой HybriLIT. Среди таких сервисов:

    • веб-сайт HybriLIT
    • система GitLab –представляет собой веб-приложение для совместной параллельной работы над одним или несколькими проектами. Несколько пользователей могут объединиться в группу и параллельно разрабатывать свой проект. Каждый проект также имеет свой уровень видимости, который регулируется владельцем данного проекта. Проект хранится на главном сервере, но каждый из разработчиков проекта имеет свою ветку, в которой может вносить изменени. Все изменения в проекте регистрируются в системе, что позволяет отслеживать действия других участников проекта.

С быстрым ростом числа пользователей кластера, появилась необходимость собирать данные по ряду аспектов, таких как:

    • используемые ресурсы кластера,
    • типы запускаемых задач,
    • пользователи, запускающие задачи,
    • время расчета задач и др.
  • система Indico используется в ОИЯИ и предназначена для организации конференций, семинаров и встреч. В данной системе возможно создавать различные мероприятия, которые пройдут в рамках института. Созданное событие представляет краткую информацию о тематике мероприятия, месте и времени проведения. В системе также есть возможность загрузки материалов лекций и семинаров выступающих, что позволяет пользователям более детально ознакомиться с ними.
  • проект HybriLIT User Support – проект, реализованный в системе Project Management Service, позволяющей оперативно отвечать на вопросы пользователей кластера, размещать полезные материалы, новости и др. Данный проект разработан для более эффективного взаимодействия пользователей как между собой, так и с группой HybriLIT. Данная система предоставляет возможности по быстрому информированию пользователей о предстоящих мероприятиях и состоянии кластера. Пользователи также могут создавать задачи по улучшению или исправлению возникающих ошибок в системе. Таким образом, взаимодействие между пользователями кластера и разработчиками является очень эффективным.