Jupyter környezet

Fontos

A JupyterHub környezet jelenleg aktív fejlesztés alatt áll, és tesztüzemben működik! Visszajelzéseiket a hpc-support@kifu.hu címre küldjék!

Belépés a JupyterHub felületre

A JupyterHub portálon Jupyter notebook konténereket futtathat egy Webes interfészen keresztül a Komondoron a SLURM ütemező segítségével. A belépéshez eduID azonosítás és érvényes HPC portál projekt regisztráció szükséges.

A felület ezen a linken érhető el: Ugrás a JupiterHub-ra

Az eduID jelszavas azonosítás után egy második faktort is kell használni. Jelenleg csak az email hitelesítést lehet kiválasztani. Az email gombra kattintás után a rendszer küld egy kódot, amit be kell írni a bejelentkezéshez.

../_images/jupyter_2faktor.png

A JupyterHub használata

A rendszeren egyszerre több notebook szervert is el lehet indítani a vezérlőpultról. Minden egyes notebook egy SLURM job, amely egy Singularity konténert ütemez be futtatásra. A futtatható Jupyter környezeteket el is lehet nevezni. Ha nem történt még elnevezés, akkor csak a default szervert lehet elindítani. Az alábbi felületen megtekintheti az aktív ütemezett job-ok paramétereit is. A futó konténereket az elérési linkre való kattintással érheti el. A linkeket akár el is tudja menteni a böngészője könyvjelzői közé, hogy kényelmesen visszatérjen.

Jupyter Inditas

Az opciókat az indítás gomb után a következő lépésben lehet kiválasztani. Az erőforrások felhasználása a kvótából kerül levonásra. Ha a notebook szerver nem kerül leállításra, akkor az indításkor megadott ideg fog futni.

Megjegyzés

Előfordulhat, hogy energia gazdálkodási okok miatt a fizikai gépek készenléti állapotban vannak. Ilyenkor a konténer indulása adott esetben akár 10 percet is igénybe vehet.

Jupyter Valasztas

Rendelkezésére áll a részletes konfigárlási lehetőség is, ahol például a cpu, gpu, memória beállításokat is lehet finomhangolni. Valamint a futási időt is tetszőlegesen hosszúra lehet beállítani.

Tipp

Amennyiben a konténter indulás után azonnal leáll, akkor lehetséges, hogy a job nem kapott elég memóriát a Jupyter környezet használatához. Ugrás a memória foglalási fejezethez A futtatási paramétereket a részletes konfigurálás alatt lehet korrigálni.

Jupyter Valasztas

A notebook indulása után ki lehet választani a tevékenységeket, legyen az futtatás, jegyzet, kód szerkesztés, illetve terminál ablak. A kezelőfelületre a File menüpont alatti Hub Control Panel kiválasztásával lehet.

Jupyter toolbox

A futó konténerben a login node-on levő home könyvtár is automatikusan fel van csatolva. Az webes felületen elmentett jegyzetek és kódok $HOME/notebooks könyvtárban lesznek megtalálhatóak, illetve ide lehet őket bemásolni és futáskor bármikor elérni.

A Jupyter notebook dokumentációja angol nyelven itt található: Ugrás a Jupiter Docs-ra

Elérhető Jupyter konténerek listája

Scipy notebook

  • Kernel: Python3 IPykernel (IPython interpreter)

  • Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget

  • Csomagok: altair, beautifulsoup4, bokeh, bottleneck, cloudpickle, openblas, cython, dask, dill, h5py, jupyterlab-git, matplotlib-base, numba, numexpr, openpyxl, pandas, patsy, protobuf, pytables, scikit-image, scikit-learn, scipy, seaborn, sqlalchemy, statsmodel, sympy, widgetsnbextension, xlrd

  • Vizualizáció: ipympl, ipywidgets, facets

R notebook

  • Kernel: IRKernel (R interpreter)

  • Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget

  • Csomagok: caret, crayon, devtools, forecast, hexbin, htmltools, htmlwidgets, nycflights13, randomforest, rcurl, rmarkdown, rodbc, rsqlite, shiny, tidymodels, unixodbc

  • tidyverse gyűjtemény

Julia notebook

  • Kernel: IJulia (Julia interpreter)

  • Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget

  • HDF5.jl, Pluto.jl

Datascience

  • Minden, ami a Scipy, R és Julia notebook konténerekben is benne van

  • Választható kernel: IPykernel, IRKernel, és IJulia

  • rpzy2 interfész

Tensorflow

  • Minden, ami a Scipy konténerben benne van

  • Tensorflow gépi tanulás

Spark

  • Minden, ami a Scipy konténerben benne van

  • Kernel: IPykernel és IRKernel

  • Apache Spark, pyarrow

  • rcurl, sparklyr, ggplot2

AI Lab

  • Minden, ami a Datascience konténerben is benne van

  • Python, R, Julia kernel választás

  • Jupyter generatív AI felület

  • tensorflow, pytorch, keras, fastai, dask, rapids, xgboost

IPython Parallel

  • Kernel: Python3 IPykernel (IPython interpreter)

  • Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget

  • IPython Parallel engine

GPU Datascience

  • Minden, ami a Datascience konténerben is benne van

  • Python, R, Julia kernel választás

  • cuda 11.8 developer környezet

GPU Tensorflow

  • Kernel: Python3 IPykernel (IPython interpreter)

  • cuda 11.8 futtatási környezet

  • Tensorflow gépi tanulás

GPU AI Lab

  • Minden, ami a Datascience konténerben is benne van

  • Python, R, Julia kernel választás

  • Jupyter generatív AI felület

  • cuda 12.2 developer környezet, TensorRT, cuDNN

  • tensorflow, pytorch, keras, fastai, dask, rapids, xgboost