Учебно-тестовый полигон является важной частью гетерогенной платформы HybriLIT, предназначенной для исследования возможностей новых вычислительных архитектур, новых IT-решений, а также проведения учебных курсов по технологиям параллельного программирования, современным инструментам разработки, отладки и профилирования параллельных приложений, пакетам прикладных программ.
Гетерогенная платформа HybriLIT имеет единую двухуровневую программно-информационную среду для Учебно-тестового полигона и суперкомпьютера “Говорун”.
Аппаратное обеспечение
Характеристики узлов учебно-тестового полигона
| CPU | GPU | ||||||||
| Model | Sockets | Cores | Hyperthreading | Total logical cores | Model | Sockets | RAM (Gb) | Network (Mb/s) | |
| blade01 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 48 | 128 | 1000 | ||
| blade02 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 40(48) | Tesla K20X | 1 | 128 | 1000 |
| blade03 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 40(48) | 128 | 1000 | ||
| blade04 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 48 | Tesla K40 | 3 | 128 | 1000 |
| blade05 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 48 | Tesla K40 | 3 | 128 | 1000 |
| blade06 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 40(48) | Tesla K40 | 3 | 128 | 1000 |
| blade07 | Intel Xeon E5-2695 v2 2.40GHz | 2 | 12 | yes | 40(48) | Tesla K40 | 3 | 128 | 1000 |
| blade09 | Intel Xeon E5-2695 v3 2.30GHz | 2 | 14 | yes | 56 | Tesla K80 | 2 | 512 | 1000 |
| space12-24 | Intel Xeon E5-2680 v3 2.50GHz | 1 | 6 | no | 6 | 2 | 10000 | ||
| n01p016 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| n01p017 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| n01p018 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| n01p019 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| n01p020 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| n01p021 | Intel Xeon Phi 7290 1.50GHz | 1 | 72 | yes | 288 | 96 | 1000, 100000 | ||
| zfs | ~300 Tb | ||||||||
Intel Xeon Processor
| Характеристики | E5-2695 v2 |
| Количество ядер | 12 |
| Тактовая частота | 2.4 Гц |
| Макс. расч. мощность | 115 Вт |
NVIDIA TESLA
| Характеристики | K20X |
| Количество CUDA ядер | 2688 |
| Макс. пропускная способность памяти | 250 Гб/с |
| Макс. расч. мощность | 235 Вт |
| Макс. объем памяти | 6 Гб |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 3.95 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.31 Tflops |
| Характеристики | K40(Atlas) |
| Количество CUDA ядер | 2880 |
| Макс. пропускная способность памяти | 288 Гб/с |
| Макс. расч. мощность | 245 Вт |
| Макс. объем памяти | 12 Гб |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 4.29 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.43 Tflops |
http://www.nvidia.ru/object/tesla-server-gpus-ru.html
Intel Xeon Phi Coprocessor 
| Характеристики | 5110P |
| Количество ядер | 60 |
| Тактовая частота | 1.053 GHz |
| Макс. расч. мощность | 225 W |
| Макс. объем памяти | 8 GB |
| Макс. пропускная способность памяти | 320 GB/s |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 2.022 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.011 Tflops |
| Характеристики | 7120P |
| Количество ядер | 61 |
| Тактовая частота | 1.238 Гц |
| Макс. расч. мощность | 300 Вт |
| Макс. объем памяти | 8 Гб |
| Макс. пропускная способность памяти | 352 GB/s |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 2.416 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.208 Tflops |
http://ark.intel.com/ru/products/71992/Intel-Xeon-Phi-Coprocessor-5110P-8GB-1_053-GHz-60-core
http://ark.intel.com/ru/products/75799/Intel-Xeon-Phi-Coprocessor-7120P-16GB-1_238-GHz-61-core
| Характеристики | E5-2695 v2 | E5-2695 v3 |
| Количество ядер | 12 | 14 |
| Тактовая частота | 2.4 гГц | 2.3 гГц |
| Макс. расч. мощность | 115 Вт | 120 Вт |
| Характеристики | K20X | K40(Atlas) | K80 |
| Количество CUDA ядер | 2688 | 2880 | 4992 |
| Тактовая частота | 0.732 гГц | 0.745 гГц | 0.875 гГц |
| Макс. пропускная способность памяти | 250 Гб/с | 288 Гб/с | 480 Гб/с |
| Макс. расч. мощность | 235 Вт | 245 Вт | 300 Вт |
| Макс. объем памяти | 6 Гб | 12 Гб | 24 Гб |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 3.95 Tflops | 4.29 Tflops | 8.74 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.31 Tflops | 1.43 Tflops | 2.91 Tflops |
| Характеристики | 5110P | 7120P |
| Количество ядер | 60 | 61 |
| Тактовая частота | 1.053 гГц | 0.745 гГц |
| Макс. пропускная способность памяти | 225 Гб/с | 300 Гб/с |
| Макс. расч. мощность | 225 Вт | 300 Вт |
| Макс. объем памяти | 8 Гб | 16 Гб |
| Пиковая производительность для вычислений одинарной точности с плавающей точкой | 2.02 Tflops | 2.416 Tflops |
| Пиковая производительность для вычислений двойной точности с плавающей точкой | 1.01 Tflops | 1.208 Tflops |
Программная среда гетерогенной платформы HybriLIT
Программная среда включает в себя набор системного программного обеспечения для функционирования гетерогенной платформы:
- На платформе установлена операционная система Scientific Linux 7.5 (Nitrogen)
- Планировщик заданий и менеджер ресурсов гетерогенной платформы SLURM
- Система хранения данных
- CernVM-FS – специализированная файловая система, обеспечивающая распространения программного обеспечения
- Пакет MODULES – для установки переменных окружения для решения конкретной задачи, путем выбора необходимого программное обеспечение (компиляторы, библиотеки обмена сообщениями, пакеты прикладных программ и т.д.).
- Библиотеки, пакеты для запуска параллельных приложений на различных вычислительных архитектурах.
Информационная среда гетерогенной платформы HybriLIT
Для пользователей гетерогенной платформы развивается информационно среда, которая включает в себя различные сервисы, с помощью которых пользователи могут эффективнее организовать свою работу на кластере, а также иметь доступ к необходимой и полезной информации при работе на кластере. Среди сервисов, предоставляемых пользователям, можно выделить те, что предназначены преимущественно для предоставления пользователям необходимой информации для работы на кластере, а также информирования о различных мероприятиях, проводимых группой HybriLIT. Среди таких сервисов:
-
- веб-сайт HybriLIT
- система GitLab –представляет собой веб-приложение для совместной параллельной работы над одним или несколькими проектами. Несколько пользователей могут объединиться в группу и параллельно разрабатывать свой проект. Каждый проект также имеет свой уровень видимости, который регулируется владельцем данного проекта. Проект хранится на главном сервере, но каждый из разработчиков проекта имеет свою ветку, в которой может вносить изменени. Все изменения в проекте регистрируются в системе, что позволяет отслеживать действия других участников проекта.
С быстрым ростом числа пользователей кластера, появилась необходимость собирать данные по ряду аспектов, таких как:
-
- используемые ресурсы кластера,
- типы запускаемых задач,
- пользователи, запускающие задачи,
- время расчета задач и др.
- система Indico используется в ОИЯИ и предназначена для организации конференций, семинаров и встреч. В данной системе возможно создавать различные мероприятия, которые пройдут в рамках института. Созданное событие представляет краткую информацию о тематике мероприятия, месте и времени проведения. В системе также есть возможность загрузки материалов лекций и семинаров выступающих, что позволяет пользователям более детально ознакомиться с ними.
- проект HybriLIT User Support – проект, реализованный в системе Project Management Service, позволяющей оперативно отвечать на вопросы пользователей кластера, размещать полезные материалы, новости и др. Данный проект разработан для более эффективного взаимодействия пользователей как между собой, так и с группой HybriLIT. Данная система предоставляет возможности по быстрому информированию пользователей о предстоящих мероприятиях и состоянии кластера. Пользователи также могут создавать задачи по улучшению или исправлению возникающих ошибок в системе. Таким образом, взаимодействие между пользователями кластера и разработчиками является очень эффективным.
Мобильный вычислительный комплекс MobiHybriLIT
Для проведения практических занятий в Государственном университете «Дубна» и для проведения выездных учебных курсов используется Мобильный вычислительный комплекс с графическим ускорителем Nvidia Quadro P1000 с установленной программной средой, соответствующей среде платформы HybriLIT.
