Jupyter környezet
Fontos
A JupyterHub környezet jelenleg aktív fejlesztés alatt áll, és tesztüzemben működik! Visszajelzéseiket a hpc-support@kifu.hu címre küldjék!
Belépés a JupyterHub felületre
A JupyterHub portálon Jupyter notebook konténereket futtathat egy Webes interfészen keresztül a Komondoron a SLURM ütemező segítségével. A belépéshez eduID azonosítás és érvényes HPC portál projekt regisztráció szükséges.
A felület ezen a linken érhető el: Ugrás a JupiterHub-ra
Az eduID jelszavas azonosítás után egy második faktort is kell használni. Jelenleg csak az email hitelesítést lehet kiválasztani. Az email gombra kattintás után a rendszer küld egy kódot, amit be kell írni a bejelentkezéshez.
A JupyterHub használata
A rendszeren egyszerre több notebook szervert is el lehet indítani a vezérlőpultról. Minden egyes notebook egy SLURM job, amely egy Singularity konténert ütemez be futtatásra. A futtatható Jupyter környezeteket el is lehet nevezni. Ha nem történt még elnevezés, akkor csak a default szervert lehet elindítani. Az alábbi felületen megtekintheti az aktív ütemezett job-ok paramétereit is. A futó konténereket az elérési linkre való kattintással érheti el. A linkeket akár el is tudja menteni a böngészője könyvjelzői közé, hogy kényelmesen visszatérjen.
Az opciókat az indítás gomb után a következő lépésben lehet kiválasztani. Az erőforrások felhasználása a kvótából kerül levonásra. Ha a notebook szerver nem kerül leállításra, akkor az indításkor megadott ideg fog futni.
Megjegyzés
Előfordulhat, hogy energia gazdálkodási okok miatt a fizikai gépek készenléti állapotban vannak. Ilyenkor a konténer indulása adott esetben akár 10 percet is igénybe vehet.
Rendelkezésére áll a részletes konfigárlási lehetőség is, ahol például a cpu, gpu, memória beállításokat is lehet finomhangolni. Valamint a futási időt is tetszőlegesen hosszúra lehet beállítani.
Tipp
Amennyiben a konténter indulás után azonnal leáll, akkor lehetséges, hogy a job nem kapott elég memóriát a Jupyter környezet használatához. Ugrás a memória foglalási fejezethez A futtatási paramétereket a részletes konfigurálás alatt lehet korrigálni.
A notebook indulása után ki lehet választani a tevékenységeket, legyen az futtatás, jegyzet, kód szerkesztés, illetve terminál ablak. A kezelőfelületre a File menüpont alatti Hub Control Panel kiválasztásával lehet.
A futó konténerben a login node-on levő home könyvtár is automatikusan fel van csatolva. Az webes felületen elmentett jegyzetek és kódok $HOME/notebooks könyvtárban lesznek megtalálhatóak, illetve ide lehet őket bemásolni és futáskor bármikor elérni.
A Jupyter notebook dokumentációja angol nyelven itt található: Ugrás a Jupiter Docs-ra
Elérhető Jupyter konténerek listája
Scipy notebook
Kernel: Python3 IPykernel (IPython interpreter)
Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget
Csomagok: altair, beautifulsoup4, bokeh, bottleneck, cloudpickle, openblas, cython, dask, dill, h5py, jupyterlab-git, matplotlib-base, numba, numexpr, openpyxl, pandas, patsy, protobuf, pytables, scikit-image, scikit-learn, scipy, seaborn, sqlalchemy, statsmodel, sympy, widgetsnbextension, xlrd
Vizualizáció: ipympl, ipywidgets, facets
R notebook
Kernel: IRKernel (R interpreter)
Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget
Csomagok: caret, crayon, devtools, forecast, hexbin, htmltools, htmlwidgets, nycflights13, randomforest, rcurl, rmarkdown, rodbc, rsqlite, shiny, tidymodels, unixodbc
tidyverse gyűjtemény
Julia notebook
Kernel: IJulia (Julia interpreter)
Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget
HDF5.jl, Pluto.jl
Datascience
Minden, ami a Scipy, R és Julia notebook konténerekben is benne van
Választható kernel: IPykernel, IRKernel, és IJulia
rpzy2 interfész
Tensorflow
Minden, ami a Scipy konténerben benne van
Tensorflow gépi tanulás
Spark
Minden, ami a Scipy konténerben benne van
Kernel: IPykernel és IRKernel
Apache Spark, pyarrow
rcurl, sparklyr, ggplot2
AI Lab
Minden, ami a Datascience konténerben is benne van
Python, R, Julia kernel választás
Jupyter generatív AI felület
tensorflow, pytorch, keras, fastai, dask, rapids, xgboost
IPython Parallel
Kernel: Python3 IPykernel (IPython interpreter)
Eszközök: curl, git, nano-tiny, tzdata, unzip, vi-tiny, TeX Live, wget
IPython Parallel engine
GPU Datascience
Minden, ami a Datascience konténerben is benne van
Python, R, Julia kernel választás
cuda 11.8 developer környezet
GPU Tensorflow
Kernel: Python3 IPykernel (IPython interpreter)
cuda 11.8 futtatási környezet
Tensorflow gépi tanulás
GPU AI Lab
Minden, ami a Datascience konténerben is benne van
Python, R, Julia kernel választás
Jupyter generatív AI felület
cuda 12.2 developer környezet, TensorRT, cuDNN
tensorflow, pytorch, keras, fastai, dask, rapids, xgboost