Экосистема для задач машинного обучения, глубокого обучения и анализа данных

Описание экосистемы ML/DL

Активное внедрение нейросетевого подхода, методов и алгоритмов машинного обучения и глубокого обучения (ML/DL) для решения широкого спектра задач обусловлено многими факторами. К основным из них можно отнести развитие вычислительных архитектур, особенно при использовании методов DL при обучение сверточных нейронных сетей, а также развитие библиотек, в которых реализованы широкое многообразие алгоритмов, и фрейворков, позволяющих быстро строить различные модели нейросетей. Для обеспечения всех этих возможностей как по разработке математических моделей и алгоритмов, так и для проведения ресурсоемких расчетов, в том числе на графических ускорителях, позволяющих существенно сокращать время вычислений, для пользователей платформы HybriLIT создана и активно развивается экосистема для задач ML/DL и анализа данных.

Созданная экосистема имеет две компоненты (Рис.1.):

  • первая компонента предназначена для разработки моделей и алгоритмов на базе JupyterHub –многопользовательской платформы по работе с Jupyter Notebook (известный как IPython c возможностью работы в web-браузере);
  • вторая компонента предназначена для проведения ресурсоемких, массивно-параллельных расчетов, например, для обучения нейронных сетей с использованием графических ускорителей NVIDIA.
pic.1.
РИСУНОК 1: ДВУХКОМПОНЕНТНАЯ ЭКОСИСТЕМА ДЛЯ ЗАДАЧ ML/DL И АНАЛИЗА ДАННЫХ

Параметры виртуальной машины (VM) для первой компоненты и сервера с графическими процессорами NVIDIA Volta представлены на Рис.1.
Ниже приведены наиболее часто используемые библиотеки и фреймворки, установленные на компонентах, для решения задач ML/DL и анализа данных.

pic.2.
РИСУНОК 2: ЭКОСИСТЕМА ДЛЯ ЗАДАЧ ML/DL, ПОСТРОЕННАЯ НА МНОГОПОЛЬЗОВАТЕЛЬСКОМ СЕРВИСЕ JupyterHub (A multi-user version of the Notebook)

Работа в рамках экосистемы ML/DL

Для начала работы необходимо:
  1. Войти под своей учетной записью HybriLIT в GitLab:

https://gitlab-hybrilit.jinr.ru/

  1. Войти на компоненты (авторизация осуществляется через GitLab):
Компонента для разработки
(без использования графических ускорителей)
Компонента для проведения ресурсоемких расчетов
(с использованием графических ускорителей NVIDIA)
https://jhub.jinr.ru https://jhub2.jinr.ru

Jupyter Notebook

После авторизации открывается интерактивная среда Jupyter Notebook:

pic.3.

Для пользователей доступны их домашние директории, перемонтированы файловые системы NFS, ZFS, EOS.
Процедура создания директории, файла показана Screenshot выше.