Áttekintés
Alább találhatóak a Komondor adattárolással kapcsolatos információi.
A Komondor három szintű adattároló rendszerrel rendelkezik. A három szintet két, klaszterezett (Lustre) fájlrendszer, valamint az archív réteg adja ki:
scratch (Lustre)
project (Lustre)
archive (DMF + Spectra Tfinity)
Mi mire való?
A scratch fájlrendszer (/scratch) ideiglenes munkaterületet biztosít a jobok számára. Kizárólag NVMe SSD-ket tartalmaz. A három réteg közül ez képes a legnagyobb teljesítményre.
A project fájlrendszer (/project) perzisztens tárolást biztosít a projektek számára. Itt tárolhatók például a jobok bemeneteiként használt állományok, az eredménytermékek stb. Hagyományos diszk alapú tárolóként teljesítménye a scratch-nél jóval szerényebb.
Figyelem
A teljesítménybeli különbség miatt különösen fontos, hogy a felhasználók tisztában legyenek mind a fájlrendszer, mind az alkalmazásaik teljesítmény karakterisztikájával. Kis méretű állományok nagy tömegű jelenléte jelentősen ronthatja a teljesítményt.
A DMF (Data Management Framework) egy Spectra Tfinity szalagkönyvtárral kiegészülve jelenti az adattárolás archív rétegét. Olyan adatok tárolására szolgál, melyek nincsenek napi használatban, de később még szükség lehet rájuk. Az archív rétegre kiírt állományok felszabadíthatóak project-en, így nem csupán a fontos adataink megőrzésére használhatjuk, hanem a helygazdálkodásban is szerepet kaphat.
Használat, elérési utak
Elérési út |
Használat |
|---|---|
/home/<user_ID> |
Felhasználó adatai (pl. konfigurációs állományok) |
Elérési út |
Használat |
|---|---|
/scratch/<projekt_ID> |
Ideiglenes munkaterület bemeneti,
kimeneti és checkpoint fájlok tárolására
|
Elérési út |
Használat |
|---|---|
/project/<projekt_ID> |
Projekt számára nyújt perzisztens tárolást |
A DMF integráltan együttműködik a project tárolóval.
Fontos
Teljesen migrált állományok (melyek tehát már csak szalagon érhetőek el) visszahívása project-re a folyamatban lévő migrálások/visszahívások függvényében hosszabb időt is igénybe vehet.
Kvóták
Terület kvóta |
Inode kvóta |
Bővíthető? |
|---|---|---|
20 GB |
100k |
Nem |
Terület kvóta |
Inode kvóta |
Bővíthető? |
|---|---|---|
1 TB |
300k |
Eseti elbírálás alapján |
Terület kvóta |
Inode kvóta |
Bővíthető? |
|---|---|---|
4 TB |
1M |
Eseti elbírálás alapján |
Megjegyzés
$HOME kivételével a kvóták minden esetben projektenként kerülnek kiosztásra. A bővítési lehetőségekkel kapcsolatban kérjük, keresse a KIFÜ HPC-KK munkatársait!
Kvóták ellenőrzése
A projekthez és a felhasználóhoz tartozó kvótákat és tárhely használati adatokat a squota paranccsal lehet lekérdezni. Példa kimenet:
$ squota
account Filesystem used soft limit hard limit grace files soft limit hard limit grace
--------- ------------ -------- ------------ ------------ ----------- ------- ------------ ------------ -------
tesztuser /project 23.2 GB 20.0 GB 25.0 GB 6d11h19m36s 11215 100000 110000 -
tesztpro /project 4.0 KB 4.0 TB 4.4 TB - 1 1000000 1100000 -
tesztpro /scratch 4.0 KB 1.0 TB 1.1 TB - 1 300000 330000 -