- Описание экосистемы ML/DL/HPC
- Видео «Знакомство с ML/DL/HPC Экосистемой»
- Экосистема ML/DL/HPC для задач и анализа данных
- Cостав экосистемы ML/DL/HPC
Описание экосистемы ML/DL/HPC
Активное внедрение нейросетевого подхода, методов и алгоритмов машинного обучения и глубокого обучения (ML/DL) для решения широкого спектра задач обусловлено многими факторами. К основным из них можно отнести развитие вычислительных архитектур, особенно при использовании методов DL при обучение сверточных нейронных сетей, а также развитие библиотек, в которых реализованы широкое многообразие алгоритмов, и фрейворков, позволяющих быстро строить различные модели нейросетей. Для обеспечения всех этих возможностей как по разработке математических моделей и алгоритмов, так и для проведения ресурсоемких расчетов, в том числе на графических ускорителях, позволяющих существенно сокращать время вычислений, для пользователей платформы HybriLIT создана и активно развивается экосистема для задач ML/DL и анализа данных.
Видео «Знакомство с ML/DL/HPC Экосистемой»
Полезные ссылки:
Рассказывает Оксана Стрельцова, заместитель руководителя группы по гетерогенным вычислениям, ЛИТ ОИЯИ
Видеоматериалы подготовлены А.С. Воронцовым
Экосистема ML/DL/HPC для задач и анализа данных
Экосистема имеет следующие компоненты (Рисунок 1):
- Component for educational purposes — предназначена для разработки моделей и алгоритмов на базе JupyterHub – многопользовательской среде для работы с Jupyter Notebook (известный как IPython приложение c возможностью работы в web-браузере):
- сервер для обучения студентов studhub1.jinr.ru.
- серверы для проведения математического практикума в рамках научных мероприятий ОИЯИ studhub2.jinr.ru, studhub3.jinr.ru.
- Component for computational tasks — предназначена для проведения ресурсоемких, массивно-параллельных расчетов, например, для обучения нейронных сетей с использованием графических ускорителей NVIDIA Volta — серверы jhub1.jinr.ru, jhub2.jinr.ru.
- Component for scientific projects — предназначена для задач проекта BioHlit, а также для разработки нейросетевых моделей и web-приложений.
Технические параметры серверов для всех компонент представлены на Рисунке 1.
- Вторая компонента содержит по 4 графических ускорителя NVIDIA Volta V100 32 GB в серверах jhub1и jhub2.
- Третья компонента содержит по 8 графических ускорителя NVIDIA Ampere A100 80 GB в серверах ampere03 и ampere05.
РИСУНОК. 1. Компоненты экосистемы ML/DL/HPC.
Основные библиотеки и инструменты, установленные на компонентах, для решения задач ML/DL и анализа данных приведены на Рисунке 2.
Состав экосистемы ML/DL/HPC
|
Компонента для разработки моделей и алгоритмов (без использования графических ускорителей) |
Компонента для проведения ресурсоемких расчетов (с использованием графических ускорителей NVIDIA Volta V100) |
Компонента для высокопроизводительных вычислений для научных проектов (с использованием графических ускорителей NVIDIA Ampere A100) |
|
Студенческие серверы studhub1.jinr.ru — для обучения студентов studhub2.jinr.ru, studhub3.jinr.ru — для проведения математического практикума в рамках научных мероприятий ОИЯИ |
Пользовательские серверы (для пользователей гетерогенной платформы HybriLIT) |
Биопроект BioHlit ampere03.jinr.ru — для задач проекта BioHlit и для задач, использующих нейросетевые модели:
Квантовый полигон (подробнее) |
Jupyter Notebook
После авторизации открывается интерактивная среда JupyterLab:
Для пользователей доступны домашние директории, размещённые на сетевой файловой системе Lustre.
Начало работы в Jupyter Notebook
Создать директорию:
Переименовать директорию:
— правой кнопкой мыши нажать на папку, выбрать из выпадающего меню «Rename» или выбрать папку и нажать «F2». Имя папки не должно содержать пробелов!
Создать файл Python3:
— нажать на иконку «Python3»
Добавить новую вкладку (New Launcher):
MATLAB в среде JupyterHub:
— нажать на иконку «MATLAB», далее следовать инструкции
