Pro-M - Oktatási Üzletág - Wiki - Szerkesztő közreműködései [hu]

NIIF HPC (English)

2015-11-18T06:54:22Z

Roczei(AT)niif.hu: /* NIIF HPC resources */

[[HPC|Magyar változat]]
== Supercomputing ==
NIIF Institute has been operating supercomputer since 2001. The service provides scientific computation and data storage facilities. The components of the supercomputing infrastructure found in five locations:

* NIIF centre Budapest
* University of Debrecen
* University of Pécs
* University of Szeged
* University of Miskolc

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|Az NIIF szuperszámítógépei térképen]]

Various supercomputer architectures are available in different locations, because we need to support different types of scientific computing tasks. In order to support all kinds of scientific computational needs different computer architectures are available. We have cluster based supercomputers in three locations and two ccNUMA machine. The supercomputers are operated by NIIF Institute staff. The latest development tools and scientific applications are available for the users. The documentation of the supercomputers can be found here.

Any person or research group who has a contractual relationship with the NIIF Institute can use the service. Usage of the supercomputers is free for authorised users. New users should request a HPC project here. After the project is accepted invitations can be sent out for group members by the principal investigator. Invitations for the HPC portal can be managed [https://portal.hpc.niif.hu/ here].

==== NIIF HPC resources ====

{| class="wikitable" border="1"
|-
| Location
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU (LEO)]] (test phase)
| Debrecen2-Phi (setup in progress)
| Pécs
| [[Miskolc_UV_2000|Miskolc]] (test phase)
|-
| Type
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core / CPU
| 12
| 10
| 12
| 6
| 8
| 12
| 6
| 8
|-
| Memory / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 125 GB
| 6 TB
| 1.4 TB
|-
| Memory / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 7.5 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670 v3 @ 2.30GHz
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 44 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack Performance (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute nodes
| 32
| 14
| 50
| 128
| 84
| 44
| 1

| 1
|-
| Dedicated storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (combined with Phi)
| 585 TB (combined with GPU)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

==== Contact ====

If you have any questions send email to the following address: hpc-support@niif.hu

Or contact the HPC users in Hungary on the following mailing list: hpc-forum@listserv.niif.hu, you can subscribe [https://listserv.niif.hu/mailman/listinfo/hpc-forum here].

== More information ==
* [http://www.niif.hu/node/679 General information]

* [[PRACE_User_Support|User Support (PRACE, and general)]]
* [http://www.training.prace-ri.eu PRACE training portal]

[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-18T06:52:51Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (tesztüzem)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (tesztüzem)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 12
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 125 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 7.5 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon E5-2670 v3 @ 2.30GHz
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -
| 44 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 44
| 1
| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2 GPU klaszter]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-18T06:52:01Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (tesztüzem)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (tesztüzem)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 125 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 7.5 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon E5-2670 v3 @ 2.30GHz
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -
| 44 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 44
| 1
| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2 GPU klaszter]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Debrecen2 GPU klaszter

2015-11-16T13:26:57Z

Roczei(AT)niif.hu: /* Hibrid MPI-OMP feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépen két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>prod-gpu-k40</code> sor és a <code>prod-gpu-k20</code> sor. Mind a kettő éles számolásokra való, az első olyan CN gépeket tartalmaz amikben Nvidia K40x GPU-k, a másodikban pedig Nvidia K20x GPU-k vannak. Az alapértelmezett sor a <code> prod-gpu-k20</code>. A prod-gpu-k40 partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=prod-gpu-k40
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=8
</code>

A következő példában egy taskhoz 8 CPU core-t rendeltunk, a 8 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 8 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 8 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 8 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=16
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

HPC

2015-11-16T13:21:55Z

Roczei(AT)niif.hu: /* További információ */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (tesztüzem)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (tesztüzem)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2 GPU klaszter]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-12T14:28:51Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (tesztüzem)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (tesztüzem)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Debrecen2 GPU klaszter

2015-11-10T17:47:26Z

Roczei(AT)niif.hu: /* Soros (serial) jobok */

Debrecen2 GPU klaszter

2015-11-10T16:18:08Z

Roczei(AT)niif.hu: /* Feladat sorok */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépen két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>prod-gpu-k40</code> sor és a <code>prod-gpu-k20</code> sor. Mind a kettő éles számolásokra való, az első olyan CN gépeket tartalmaz amikben Nvidia K40x GPU-k, a másodikban pedig Nvidia K20x GPU-k vannak. Az alapértelmezett sor a <code> prod-gpu-k20</code>. A prod-gpu-k40 partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=prod-gpu-k40
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=8
</code>

A következő példában egy taskhoz 8 CPU core-t rendeltunk, a 8 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 8 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 8 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 8 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

HPC

2015-11-10T08:11:20Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (beüzemelése folyamatban van)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (tesztüzem)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Miskolc UV 2000

2015-11-03T09:19:56Z

Roczei(AT)niif.hu:

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== OpenMP Példa ====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

==== SGI MPT MPI Példa ====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

HPC

2015-11-02T15:25:13Z

Roczei(AT)niif.hu: /* További információ */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (beüzemelése folyamatban van)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (beüzemelése folyamatban van)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Budapest2_klaszter|Budapest2]]
* [[Miskolc_UV_2000|Miskolc]]
* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-02T15:24:30Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (beüzemelése folyamatban van)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000|Miskolc]] (beüzemelése folyamatban van)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-02T15:24:09Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (beüzemelése folyamatban van)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| [[Miskolc_UV_2000Miskolc|Miskolc]] (beüzemelése folyamatban van)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Miskolc UV 2000

2015-11-02T14:59:47Z

Roczei(AT)niif.hu: /* OMP Példa */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== OpenMP Példa ====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

==== SGI MPT MPI Példa ====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:59:28Z

Roczei(AT)niif.hu:

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

==== SGI MPT MPI Példa ====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:57:20Z

Roczei(AT)niif.hu: /* Soros (serial) jobok */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:57:04Z

Roczei(AT)niif.hu: /* Tömbfeladatok (arrayjob) */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:55:37Z

Roczei(AT)niif.hu: /* Slurm figyelmeztető üzenetek */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:54:16Z

Roczei(AT)niif.hu: /* A gépidő becslése */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 core-hoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:49:51Z

Roczei(AT)niif.hu: /* Job-ok indítása */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====
Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

NIIF szuperszámítógépek használata

2015-11-02T14:26:32Z

Roczei(AT)niif.hu: /* SGI UV SMP (Pécs) */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI ccNUMA UV 1000 (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

NIIF szuperszámítógépek használata

2015-11-02T14:26:09Z

Roczei(AT)niif.hu: /* A szuperszámítógépekről */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI UV SMP (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

NIIF HPC (English)

2015-11-02T14:25:41Z

Roczei(AT)niif.hu: /* Supercomputing */

[[HPC|Magyar változat]]
== Supercomputing ==
NIIF Institute has been operating supercomputer since 2001. The service provides scientific computation and data storage facilities. The components of the supercomputing infrastructure found in five locations:

* NIIF centre Budapest
* University of Debrecen
* University of Pécs
* University of Szeged
* University of Miskolc

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|Az NIIF szuperszámítógépei térképen]]

Various supercomputer architectures are available in different locations, because we need to support different types of scientific computing tasks. In order to support all kinds of scientific computational needs different computer architectures are available. We have cluster based supercomputers in three locations and two ccNUMA machine. The supercomputers are operated by NIIF Institute staff. The latest development tools and scientific applications are available for the users. The documentation of the supercomputers can be found here.

Any person or research group who has a contractual relationship with the NIIF Institute can use the service. Usage of the supercomputers is free for authorised users. New users should request a HPC project here. After the project is accepted invitations can be sent out for group members by the principal investigator. Invitations for the HPC portal can be managed [https://portal.hpc.niif.hu/ here].

==== NIIF HPC resources ====

{| class="wikitable" border="1"
|-
| Location
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU (LEO)]] (setup in progress)
| Debrecen2-Phi (setup in progress)
| Pécs
| Miskolc (setup in progress)
|-
| Type
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memory / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memory / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack Performance (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute nodes
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedicated storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (combined with Phi)
| 585 TB (combined with GPU)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

==== Contact ====

If you have any questions send email to the following address: hpc-support@niif.hu

Or contact the HPC users in Hungary on the following mailing list: hpc-forum@listserv.niif.hu, you can subscribe [https://listserv.niif.hu/mailman/listinfo/hpc-forum here].

== More information ==
* [http://www.niif.hu/node/679 General information]

* [[PRACE_User_Support|User Support (PRACE, and general)]]
* [http://www.training.prace-ri.eu PRACE training portal]

[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

HPC

2015-11-02T14:25:23Z

Roczei(AT)niif.hu: /* A szuperszámítógépekről */

[[HPC_en|NIIF HPC in ENGLISH]]

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem
* Miskolci Egyetem

[[Fájl:Orszagos-attekinto_hpc.png|center|700px|alt=Az NIIF szuperszámítógépei térképen]]

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: két helyszínen ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| [[Budapest2_klaszter|Budapest2]]
| Szeged
| Debrecen
| [[Debrecen2_GPU_klaszter|Debrecen2-GPU]] (beüzemelése folyamatban van)
| Debrecen2-Phi (beüzemelése folyamatban van)
| Pécs

| Miskolc (beüzemelése folyamatban van)
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s

| HP Apollo 8000
| SGI UV 1000

| SGI UV 2000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2

| 2
| 192

| 44
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 8
| 6
| 8
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 128 GB
| 6 TB
| 1.4 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 8 GB
| 5 GB
| 4 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz

| Intel Xeon E5-2670
| Intel Xeon X7542 @ 2.66 GHz
| Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
| -
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -

| 45 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| ~280 Tflops
| ~106 Tflops
| 10 Tflops
| 8 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 45
| 1

| 1
|-
| Dedikált storage
| 50 TB
| 500 TB
| 250 TB
| 500 TB
| 585 TB (Phi-vel közös)
| 585 TB (GPU-val közös)
| 500 TB
| 240 TB
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)

| OpenMPI (ompi)
| SGI MPT (mpt)

| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Miskolc UV 2000

2015-11-02T14:17:04Z

Roczei(AT)niif.hu: /* A szolgáltatás minősége (QOS) */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. A gépen lévő QOS limitek részletes paramétereit így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:16:28Z

Roczei(AT)niif.hu: /* A szolgáltatás minősége (QOS) */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás. Aktuális QOS limitek és paramétereiket így tudjuk kilistázni:

<pre>
sacctmgr show qos
</pre>
===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:14:55Z

Roczei(AT)niif.hu: /* Job-ok indítása */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lennie. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:14:11Z

Roczei(AT)niif.hu: /* Job-ok indítása */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak száma (`-n`), amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:13:13Z

Roczei(AT)niif.hu: /* A gépidő becslése */

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -c CORES -t WALLTIME
</pre>
ahol a <code>CORES</code> a lefoglalni kívánt core-ok száma, amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a core-ok számát. A <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T14:00:24Z

Roczei(AT)niif.hu:

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Miskolc UV 2000

2015-11-02T13:59:47Z

Roczei(AT)niif.hu: Új oldal, tartalma: „ {| class="wikitable" border="1" |- | ccNUMA | Miskolc |- | Típus | SGI UV 2000 |- | core / node | 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz |- | Compute node-ok | …”

{| class="wikitable" border="1"
|-
| ccNUMA
| Miskolc
|-
| Típus
| SGI UV 2000
|-
| core / node
| 44 × Intel Xeon E5-4627 v2 @ 3.33 GHz
|-
| Compute node-ok
| 1 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 4000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.miskolc.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.miskolc.hpc.niif.hu:FILE
Le : scp USER@login.miskolc.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.miskolc.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.miskolc.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
MISKOLC[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Job-ok indítása ====

A miskolci gépen legalább 8 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 8 többszörösének kell lenni. 8 szálhoz 30 GByte memória tartozik. Ha több memóriára van szükségünk, akkor meg kell növelni a szálak számát. Egy szálú ill. array jobok futtatása nem lehetséges.

A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

==== Tesztelés ====
Teszt job bekuldesehez a --qos=test opciot kell hasznalni a job scriptben. Ebben az esetben maximum 30 percig futhat a job es osszesen 24 szal kerheto.
<pre>
#SBATCH --qos=test
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

HPC

2015-10-08T18:39:36Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[PRACE_User_Support|NIIF HPC Support in English]]
== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| Budapest2
| Szeged
| Debrecen
| Debrecen2 (beüzemelése folyamatban van)
| Pécs
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s
| SGI UV 1000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2
| 192
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 6
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 6 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 5 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon X7542 @ 2.66 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| 202 Tflops
| 10 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 1
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)
| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Budapest2 klaszter

2015-10-08T18:38:21Z

Roczei(AT)niif.hu: /* OpenMPI feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> az Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== IntelMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

HPC

2015-10-08T18:25:12Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[PRACE_User_Support|NIIF HPC Support in English]]
== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| Budapest2
| Szeged
| Debrecen
| Debrecen2 (beüzemelése folyamatban van)
| Pécs
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s
| SGI UV 1000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2
| 192
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 6
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 6 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 5 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon X7542 @ 2.66 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
|-
| Intel Xeon Phi
| -
| 14 * 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| 202 Tflops
| 10 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 1
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| OpenMPI (ompi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)
| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Debrecen2 GPU klaszter

2015-10-08T16:26:50Z

Roczei(AT)niif.hu: /* OpenMPI feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>
A teszt partícióban 1 GPU található (<code>--gres=gpu:1</code>)

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=8
</code>

A következő példában egy taskhoz 8 CPU core-t rendeltunk, a 8 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 8 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 8 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 8 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Budapest2 klaszter

2015-10-08T16:24:57Z

Roczei(AT)niif.hu: /* Alkalmazás-specifikus beállítások */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> az Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Budapest2 klaszter

2015-10-08T16:24:46Z

Roczei(AT)niif.hu: /* OpenMPI feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> az Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00

mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

Budapest2 klaszter

2015-10-08T16:22:33Z

Roczei(AT)niif.hu: /* Intel Xeon Phi-k lefoglalása */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> az Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

Debrecen2 GPU klaszter

2015-10-08T16:20:08Z

Roczei(AT)niif.hu: /* OpenMPI feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>
A teszt partícióban 1 GPU található (<code>--gres=gpu:1</code>)

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=8
</code>

A következő példában egy taskhoz 8 CPU core-t rendeltunk, a 8 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 8 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 8 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 8 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

Budapest2 klaszter

2015-10-08T16:17:52Z

Roczei(AT)niif.hu: /* OpenMP (OMP) feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> a Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 10 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 10 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=10
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

Budapest2 klaszter

2015-10-08T16:16:34Z

Roczei(AT)niif.hu: /* OpenMPI feladatok */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> a Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

NIIF szuperszámítógépek használata

2015-10-08T16:16:30Z

Roczei(AT)niif.hu: /* OpenMP (OMP) feladatok */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI UV SMP (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=10
</code>

A következő példában egy taskhoz 10 CPU core-t rendeltunk, a 10 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 10 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

NIIF szuperszámítógépek használata

2015-10-07T05:21:48Z

Roczei(AT)niif.hu: /* Az NIIF Szuperszámítógépek összehasonlítása */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI UV SMP (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=24
</code>

A következő példában egy taskhoz 24 CPU-t rendeltunk, a 24 CPU-nak egy node-on kell lennie. A CPU-k számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 24 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=24
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

NIIF szuperszámítógépek használata

2015-10-07T05:21:22Z

Roczei(AT)niif.hu: /* Az NIIF Szuperszámítógépek összehasonlítása */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Az NIIF Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| Budapest2
| Szeged
| Debrecen
| Debrecen2 (beüzemelése folyamatban van)
| Pécs
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s
| SGI UV 1000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2
| 192
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 6
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 6 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 5 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon X7542 @ 2.66 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 nodes * 3 Nvidia K20x + 16 nodes * 3 Nvidia K40x
| -
|-
| Intel Xeon Phi
| -
| 2 * Intel(R) Xeon Phi(TM) coprocessor x100 family
| -
| -
| -
| -
|-
| Linpack sebesség (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| 202 Tflops
| 10 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 1
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)
| SGI MPT (mpt)
|}

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI UV SMP (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=24
</code>

A következő példában egy taskhoz 24 CPU-t rendeltunk, a 24 CPU-nak egy node-on kell lennie. A CPU-k számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 24 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=24
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

HPC

2015-10-07T05:20:52Z

Roczei(AT)niif.hu: /* Magyar Szuperszámítógépek összehasonlítása */

[[PRACE_User_Support|NIIF HPC Support in English]]
== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Magyar Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| Budapest2
| Szeged
| Debrecen
| Debrecen2 (beüzemelése folyamatban van)
| Pécs
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s
| SGI UV 1000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2
| 192
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 6
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 6 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 5 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon X7542 @ 2.66 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
| -
|-
| Intel Xeon Phi
| -
| 2 * Intel(R) Xeon Phi(TM) MIC SE10/7120
| -
| -
| -
| -
|-
| Linpack teljesítmény (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| 202 Tflops
| 10 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 1
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)
| SGI MPT (mpt)
|}

== További információ ==

* [[Debrecen2_GPU_klaszter|Debrecen2]]
* [[Budapest2_klaszter|Budapest2]]
* [[HPC-Portal|HPC portál: projekt és témaszámok kezelése, leállások, statisztikák]]
* [[NIIF_szuperszámítógépek_használata|A szuperszámítógépek használata]]
* [[HPC-GYIK|GY.I.K]]
* [http://www.niif.hu/hu/niif_intezet/az_niifi_szuperszamitogepek_hasznalata NIIF HPC oldal]
* [http://conference.niif.hu/event/3/session/23/contribution/25 HPC tutorial (Networkshop 2015)]
* [http://www.training.prace-ri.eu PRACE training portal]
* [[PRACE_User_Support|PRACE User Support]]
[[Kategória: HPC]]
[[Kategória: Összefoglaló lapok]]

Budapest2 klaszter

2015-10-01T07:41:37Z

Roczei(AT)niif.hu: /* Alkalmazások lefordítása */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> a Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

Debrecen2 GPU klaszter

2015-10-01T07:41:12Z

Roczei(AT)niif.hu: /* Alkalmazások lefordítása */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>
A teszt partícióban 1 GPU található (<code>--gres=gpu:1</code>)

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

NIIF szuperszámítógépek használata

2015-10-01T07:40:43Z

Roczei(AT)niif.hu: /* Alkalmazások lefordítása */

== A szuperszámítógépekről ==
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* Debreceni Egyetem
* NIIFI központ
* Pécsi Tudományegyetem
* Szegedi Tudományegyetem

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.

==== Az NIIF Szuperszámítógépek összehasonlítása ====

{| class="wikitable" border="1"
|-
| Helyszín
| Budapest
| Budapest2
| Szeged
| Debrecen
| Debrecen2 (beüzemelése folyamatban van)
| Pécs
|-
| Típus
| HP CP4000BL
| HP SL250s
| HP CP4000BL
| SGI ICE8400EX
| HP SL250s
| SGI UV 1000
|-
| CPU-k / node
| 2
| 2
| 4
| 2
| 2
| 192
|-
| Core-ok / CPU
| 12
| 10
| 12
| 6
| 8
| 6
|-
| Memória / node
| 66 GB
| 63 GB
| 132 GB
| 47 GB
| 125 GB
| 6 TB
|-
| Memória / core
| 2.6 GB
| 3 GB
| 2.6 GB
| 2.6 GB
| 7.5 GB
| 5 GB
|-
| CPU
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon E5-2680 v2 @ 2.80GHz
| AMD Opteron 6174 @ 2.2GHz
| Intel Xeon X5680 @ 3.33 GHz
| Intel Xeon E5-2650 v2 @ 2.60GHz
| Intel Xeon X7542 @ 2.66 GHz
|-
| GPU
| -
| -
| 2 * 6 Nvidia M2070
| -
| 68 nodes * 3 Nvidia K20x + 16 nodes * 3 Nvidia K40x
| -
|-
| Intel Xeon Phi
| -
| 2 Intel(R) Xeon Phi(TM) coprocessor x100 family
| -
| -
| -
| -
|-
| Linpack sebesség (Rmax)
| 5 Tflops
| 27 Tflops
| 20 Tflops
| 18 Tlops
| 202 Tflops
| 10 Tflops
|-
| Compute node-ok száma
| 32
| 14
| 50
| 128
| 84
| 1
|-
| Scheduler
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
| [http://slurm.schedmd.com/ SLURM]
|-
| MPI
| OpenMPI (ompi)
| IntelMPI (impi)
| OpenMPI (ompi)
| SGI MPT (mpt)
| OpenMPI (ompi)
| SGI MPT (mpt)
|}

=== Köszönetnyilvánítás ===
Tudományos publikációkban a következő köszönetnyilvánítást javasoljuk:

'''We acknowledge [PRACE/NIIF] for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

Where technical support has been received the following additional text should also be used:

'''The support of [name of person/people] from NIIF Institute, Hungary to the technical work is gratefully acknowledged.'''

== Hozzáférés a szuperszámítógépekhez ==
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.

=== SSH belépés ===
<code>
ssh USER@login.SITE.hpc.niif.hu
</code>
ahol a <code>USER</code> a felhasználónév, a <code>SITE</code> pedig a belépéshez használt szupergép neve: '''budapest''', '''debrecen''', '''pecs''', '''szeged'''. Nem alapértelmezett kulcs használata a <code>-i KULCS</code> kapcsolóval lehetséges.

Belépés a szegedi gépre alice felhasználóként, az SSH privát kulcsot a <code>keys/szeged</code> fájlból olvasva:
<code>
ssh -i keys/szeged alice@login.szeged.hpc.niif.hu
</code>

=== Fájl másolás SCP segítségével ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
scp USER@login.SITE.hpc.niif.hu:FILE FILE
scp FILE USER@login.SITE.hpc.niif.hu:FILE
</pre>

A szegedi gép HOME könyvtárában lévő <code>stuff.tgz</code> fájl letöltése a helyi gép aktuális könyvtárába:
<code>
scp bob@login.szeged.hpc.niif.hu:stuff.tgz .
</code>

=== Adatátvitel rsync segítségével ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához az SSH-t és az rsync-et együtt kell használni. Fel- és leszinkronizálás:
<pre>
rsync -a -e ssh DIRECTORY USER@login.budapest.hpc.niif.hu:/home/USER
rsync -a -e ssh USER@login.budapest.hpc.niif.hu:/home/USER/DIRECTORY
</pre>

A budapesti gépre szinkronizálom a helyi <code>src</code> könyvtár tartalmát (nem az alapértelmezett kulcsot használva) és a másolás folyamatát nyomonkövetem:
<code>
rsync -a -h --progress -e "ssh -i keys/budapest" ./src alice@login.budapest.hpc.niif.hu:/home/alice
</code>

== Felhasználói felület ==
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:
<code>
rövid CWD
|
BUDAPEST[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</code>

=== Modul környezet ===
A szupergépekre telepített alkalmazásokat az ún. modul rendszer segítségével lehet használ. A modul rendszer lehetővé teszi egy adott alkalmazás több verziójának használatát is. Feladata a shell környezeti változók helyes beállítása. Normál felhasználók számára az alapértelmezett modul környezet automatikusan betöltődik. Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<code>
module avail
</code>
a már betöltött modulok listáját:
<code>
module list
</code>
Alkalmazást a következő paranccsal tölthetünk be:
<code>
module load APPS
</code>
ahol az <code>APPS</code> a betöltendő modulok space-szel elválasztott listája.

A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

==== Példa ====
A Maple, netcfd és az R csomagok betöltése:
<code>
module load maple netcdf R
</code>

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:
<pre>
# a home könyvtár beállítása
# user1 user számára belépsi engedély: u:user1:x
$ setfacl -m u:user1:x $HOME
$ getfacl $HOME
# file: user2/user2
# owner: user2
# group: user2
user::rwx
user:user1:--x
group::r-x
mask::r-x
other::---
# Shared könyvtár megosztása
# user1 számára minden unix jog
$ cd
$ mkdir Shared
$ setfacl -m u:user1:rwx $HOME/Shared
$ getfacl Shared
# file: Shared
# owner: user2
# group: user2
user::rwx
user:user1:rwx
group::rwx
mask::rwx
other::r-x
</pre>

== Python csomag telepítése a saját home könyvtárunkba ==
Itt egy példa arra, hogy hogyan tudjuk feltelepíteni a mercurial python csomagot.
<pre>
$ module load python
$ pip install --user mercurial
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:
<pre>
cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER
</pre>
Ezek után a <code>$HOME/shared/$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:
<pre>
$NCE_SHARED
</pre>

=== Biztonsági mentés, adatmegosztás ===
A következő példa mentést végez a <code>$HOME/data</code> könyvtárról:
<pre>
rsync -avuP $HOME/data $NCE_SHARED
</pre>
Törölje a fájlokat a mentésben is:
<pre>
rsync -avuP --delete $HOME/data $NCE_SHARED
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
Weboldal: http://slurm.schedmd.com

A szupergépeken CPU óra (gépidő) alapú ütemezés működik. Ez azt jelenti, hogy a fogyasztási időtartamra (hónap) az elérhető maximális gépidő fel van osztva a felhasználók között. Minden UNIX felhasználó egy vagy több számlához (''Account'') tartozhat. Az ütemező számla egy adott HPC-s projekthez tartozik, hasonló a UNIX csoporthoz. Szupergépes feladatokat csak az egyes számlák terhére lehet indítani. A CPU óra az elhasznált idő (''Walltime'') és az igényelt processzorok számának szorzata. Például a budapesti gépen 2 db node (48 processzor mag) foglalása 30 percre 48 * 30 = 1440 CPU perc = 24 CPU óra. A CPU órát az ütemező a futás kezdetétől a befejezésig méri.

'''Rendkívül fontos arról meggyőződni, hogy a futtatandó alkalmazás rendesen kihasználja-e a szupergépet. Egy üres vagy rosszul futó job hamar elhasználja a rendelkezésre álló gépidőt. Elfogyasztott gépidő esetén új jobokat már nem lehet indítani, és meg kell várni a számlázási időszak végét. A gépidő limitek (Account Limit) minden hónap elején jóváíródnak.'''

Számláink állapotáról a következő paranccsal kapunk információt:
<code>
sbalance
</code>

A parancs a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
alice 0 | foobar 0 | 0 0
bob * 0 | foobar 0 | 0 0

bob * 7 | barfoo 7 | 1,000 993
alice 0 | barfoo 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<code>
sestimate -N NODES -t WALLTIME
</code>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

Alice 2 nap 10 órára és 2 node-ra szeretne foglalást kérni, megnézi van-e elég gépidő a számláján:
<pre>
sestimate -N 2 -t 2-10:00:00

Estimated CPU hours: 2784
</pre>
Sajnos ebben a hónapban erre már nem telik.

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<code>
scontrol show job JOBID
</code>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<code>
sacct -l -j JOBID
</code>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<code>
smemory JOBID
</code>

A lemezhasználatról pedig a
<code>
sdisk JOBID
</code>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

Az ütemezőben 3 feladat van. Az első egy arrayjob, éppen erőforrásra vár (PENDING). A második egy MPI job, ami 4 node-on fut már 25 perce (TIME). A harmadik egy egy node-os OMP futtatás, éppen most indult el. A feladatik nevei (NAME) egyénileg adható meg. Rövid, informatív neveket érdemes adni.
<pre>
squeue -l

Wed Oct 16 08:30:07 2013
JOBID PARTITION NAME USER STATE TIME TIMELIMIT NODES NODELIST(REASON)
591_[1-96] normal array alice PENDING 0:00 30:00 1 (None)
589 normal mpi bob RUNNING 25:55 2:00:00 4 cn[05-08]
590 normal omp alice RUNNING 0:25 1:00:00 1 cn09
</pre>

Ennek a 2 node-os batch jobnak a jellemző memóriaterhelés a következő volt: kb. 10GB virtuális és 6.5GB RSS memóriát használt el node-onként.
<pre>
smemory 430

MaxVMSize MaxVMSizeNode AveVMSize MaxRSS MaxRSSNode AveRSS
---------- -------------- ---------- ---------- ---------- ----------
10271792K cn06 10271792K 6544524K cn06 6544524K
10085152K cn07 10085152K 6538492K cn07 6534876K
</pre>

==== CPU felhasználás ellenőrzése ====
Nagyon fontos meggyőződni arról, hogy az alkalmazás kihasználja-e a rendelkezésre álló gépidőt. Egy futó alkalmazás a következő paranccsal tudunk monitorozni:
<code>
sjobcheck JOBID
</code>

Ez a job 4 node-on fut. A LOAD csoport a gép általános terheléséről ad információt és kb. a core-ok számával egyezik meg. A helyes felhasználásról a CPU csoport ad tájékoztatást. Ideális esetben a <code>User</code> oszlop értékei 90 fölött vannak. Ez alatt valamilyen probléma lépett fel és a futást érdemes megszakítani.
<pre>
Hostname LOAD CPU Gexec
CPUs (Procs/Total) [ 1, 5, 15min] [ User, Nice, System, Idle, Wio]
cn08 24 ( 25/ 529) [ 24.83, 24.84, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn07 24 ( 25/ 529) [ 24.93, 24.88, 20.98] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
cn06 24 ( 25/ 529) [ 25.00, 24.90, 20.97] [ 99.9, 0.0, 0.1, 0.0, 0.0] OFF
cn05 24 ( 25/ 544) [ 25.11, 24.96, 20.97] [ 99.8, 0.0, 0.2, 0.0, 0.0] OFF
</pre>

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<code>
slicenses
</code>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<code>
sreservations
</code>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<code>
susage
</code>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:

<code>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=niif Start=2014-01-01
</code>

niif helyett a saját projektünk azonosítóját kell megadni.

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni. Az ütemezők összehasonlításáról és a Slurm-ban elérhető direktívákról a következő [http://slurm.schedmd.com/rosetta.pdf táblázat] ad bővebb tájékoztatást.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

A jobok feladását a következő parancs végzi:
<code>
sbatch jobscript.sh
</code>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<code>
scancel JOBID
</code>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
A memória a CPU-hoz hasonlóan korlátozott, foglalható erőforrás. A felhasználás mérése a memória / core alapon történik: 1 core óra, 2600 MB órának felel meg. Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. Budapesten és Szegeden a maximális memória/core 2600 MB.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

Alice felhasználó a foobar számla terhére, maximum 24 órára ad fel 96 db soros jobot. A <code>#SBATCH --array=1-96</code> direktíva jelzi, hogy tömbfeladatról van szó. Az alkalmazást az <code>srun</code> paranccsal kell indítani. Ebben az esetben ez egy shell szkript.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --time=24:00:00
#SBATCH --job-name=array
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.

A következő példában a test sorban 3 egy szálon dutó programot indítunk el. A programok és az inputok lehetnek különbözőek. Fontos, hogy az utolsó parancsot nem kell a háttérben (&) indítani és a wait-tel kell befejezni a job szkriptet.
<pre>
#!/bin/bash
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=24
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
mpirun ./a.out
</pre>

==== SGI UV SMP (Pécs) ====
A pécsi gépen legalább 6 szálon működő jobok futtatása lehetságes. Az egyetlen elfogadott paraméter a szálak szám (`-n`), amelynek 6 többszörösének kell lenni. Ezen a gépen nincs teszt sor. Kérjük, hogy 48-nál kevesebb szálon futó programokat az UV-n ne futtassanak! Egy szálú ill. array jobok futtatása nem lehetséges.

===== OMP Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
OMP_NUM_THREADS=$SLURM_NTASKS ./a.out
</pre>

===== SGI MPT MPI Példa =====
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=omp
#SBATCH -n 48
#SBATCH --time=03:00:00
#SBATCH -o slurm.out
/opt/nce/bin/numainfo
mpirun $SLURM_NTASKS ./a.out
</pre>

===== Jobok monitorozása =====
CPU használat:
<pre>
smonitor -n <JOBID>
</pre>

Memória használat:
<pre>
smonitor -m <JOBID>
</pre>

Ütemezés sor foglaltsága:
<pre>
sinfo_uv
</pre>

==== SGI MPT MPI feladatok (Debrecen) ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani. Az SGI MPT MPI paraméterezése kicsit más, mint az OpenMPI. '''Debrecen az SGI MPT az alpértelmezett MPI környezet!'''

Bob felhasználó a barfoo számla terhére 2 node-ot, 12 órára foglal le egy MPI job számára. Az egyes node-okon 24 MPI szálat fog elindítani. A program stdout kimenetét a <code>slurm.out</code> fájlba irányítja (<code>#SBATCH -o</code>).
<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} ./a.out
</pre>

==== SGI PerfBoost egyéb MPI feladatokra (Debrecen) ====
Az SGI MPT lehetőséget ad arra, hogy nem MPT MPI-vel fordított MPI programok is használjunk. Ebben az esetben az MPI hívások MPT hívásokkal cserélődnek ki.

Egy OpenMPI-re fordított program indítása:

<pre>
#!/bin/bash
#SBATCH -A barfoo
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=12
#SBATCH --time=12:00:00
#SBATCH -o slurm.out
source /opt/nce/bin/machines
export MPI_OPT="${MACHINES} -np ${SLURM_NTASKS_PER_NODE}"
mpirun ${MPI_OPT} perfboost -ompi ./a.out
</pre>

==== CPU binding ====
Az MPI programok teljesítménye általában javítható a processzek CPU magokhoz kötésével. Ilyenkor a párhuzamos program szálait az operációs rendszer nem ütemezi a CPU magok között, ezért javulhat a memória lokalizáció (kevesebb cache miss). A kötés használata ajánlott. Tesztekkel meg kell győződni, hogy egy adott alkalmazás esetén melyik kötési stratégia adja a legjobb eredményt. A következő beállítások az OpenMPI környezetre vontakoznak. A kötésekről részletes információt a <code>--report-bindings</code> MPI opcióval kaphatunk. Az indítási parancsok melett a részletes binding információ néhány sora is látható. Fontos, hogy az ütemező task binding-ját nem kell használni!

===== Kötés CPU magonként =====
Ebben az esetben az MPI szálak (rank) sorban töltik fel a CPU magokat.
<pre>
Indítási parancs: mpirun --bind-to-core --bycore

[cn05:05493] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 1 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 2 bound to socket 0[core 2]: [. . B . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05493] MCW rank 3 bound to socket 0[core 3]: [. . . B . . . . . . . .][. . . . . . . . . . . .]
</pre>

===== Kötés CPU foglalat szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a CPU-kat.
<pre>
Indítási parancs: mpirun --bind-to-core --bysocket

[cn05:05659] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 1 bound to socket 1[core 0]: [. . . . . . . . . . . .][B . . . . . . . . . . .]
[cn05:05659] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05659] MCW rank 3 bound to socket 1[core 1]: [. . . . . . . . . . . .][. B . . . . . . . . . .]
</pre>

===== Kötés node-ok szerint =====
Ebben az esetben az MPI szálak váltakozva töltik fel a node-okat. Lagalább 2 node foglalása szükséges.
<pre>
Indítási parancs: mpirun --bind-to-core --bynode

[cn05:05904] MCW rank 0 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn05:05904] MCW rank 2 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 1 bound to socket 0[core 0]: [B . . . . . . . . . . .][. . . . . . . . . . . .]
[cn06:05969] MCW rank 3 bound to socket 0[core 1]: [. B . . . . . . . . . .][. . . . . . . . . . . .]
</pre>

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=24
</code>

A következő példában egy taskhoz 24 CPU-t rendeltunk, a 24 CPU-nak egy node-on kell lennie. A CPU-k számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 24 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=24
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=24
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=24
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

==== Matlab feladatok ====
Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1</code>). Összesen 96 darab
Distributed Computing Server, 13 darab Distributed Computing Toolbox és 13 Matlab licensz lett megvásárolva.
<pre>
#!/bin/bash

#SBATCH -A foobar
#SBATCH --job-name="Matlab test job"
#SBATCH -n 1
#SBATCH --licenses=matlabdce:1,matlabdct:1,matlab:1
#SBATCH -o slurm.out

matlab -nodisplay < job.m
</pre>

==== GPU-k használata ====
A szegedi szuperszámítógép rendelkezik 2db GPU kártyákkal is felszerelt compute node-dal. A GPU node-okban 2x6db Nvidia Tesla M2070-es kártya található. A GPU-s node-ok külön job sorban található (<code>--partition gpu</code>). A GPU-k számát a <code>--gres gpu:#</code> direktívával kell megadni.

Alice felhasználó a foobar számla terhére, 4GPU-n, 6 órára indítja a következő jobot.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=GPU
#SBATCH --partition gpu
#SBATCH --gres gpu:4
#SBATCH --time=06:00:00

$PWD/gpu_burnout 3600
</pre>

== Alkalmazások beállításai ==
=== Saját programok telepítése ===
A saját fordítású programokat a HOME könyvtáradba kell telepíteni, ezt általában a fordítás előtti lefuttatott configure szkripttel lehet beállítani. Az adott program a $HOME/local alá fog települni. A PATH és egyéb környezeti változókat értelem szerűen kell beállítani.
<pre>
cd $HOME
mkdir local
(belépés az alklamazás könyvtárába)
./configure --prefix=$HOME/local
make; make install
</pre>

A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:
<code>
ulimit -a
</code>
A limitek a compute node-okon és az UV-n nincsenek beállítva.

=== Java JVM heap méret ===
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét:
<pre>
java -Xmx512m -version
javac -J-Xmx512m -version
</pre>
vagy exportálni kell a következő változót:
<pre>
export _JAVA_OPTIONS="-Xms1g -Xmx1g"
</pre>

=== Python Numpy és Scipy használat ===
A numerikus Python használatához a következő csomagokat kell betölteni:
<code>
module load python numpy scipy
</code>
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.

== HP Budapest ==

=== Fordítás ===
Elérhető fordítók listája
{| class="wikitable" border="1"
|-
! Forító
! Soros
! Párhuzamos
|-
| Intel Fortran
| ifort
| mpiif90
|-
| Intel C
| icc
| mpiicc
|-
| GNU Fortran
| gfotran
| mpif90
|-
| GNU C
| gcc
| mpicc
|}

A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:
<pre>
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran
NCE_FFLAGS - Fortran kapcsolók
NCE_CFLAGS - C kapcsolók
NCE_LDFLAGS - könyvtárak C és Fortran
</pre>
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.

A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:
<code>
module load prace
</code>
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:
<pre>
FFLAGS=-openmp -I$(MKLROOT)/include
CFLAGS=-openmp -I$(MKLROOT)/include
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group \
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \
-Wl,--end-group -lpthread -lm
</pre>

=== Párhuzamos környezet ===
==== OpenMP ====
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

==== MPI ====
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):
<code>
--bind-to-core --bycore
</code>

== SGI ICE Debrecen ==
Az alapértelmezett MPI könyvtár az SGI MPT. A felhasználói programokat ehhez a könyvtárhoz érdemes fordítani. Ajánlott fordítás opciók:

=== MPI fordítási opciók ===
<code>
CFLAGS=-O2 -xSSE4.2
FFLAGS=-O2 -xSSE4.2
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_sequential.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-lpthread -lm
</code>

=== MPI és OpenMP fordítási opciók ===
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.
<code>
CFLAGS=-O2 -xSSE4.2 -openmp
FFLAGS=-O2 -xSSE4.2 -openmp
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \
$(MKLROOT)/lib/intel64/libmkl_core.a \
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \
-liomp5 -lpthread -lm -openmp
</code>

== ARC köztesréteg ==
Ez a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid.org/documents ezt a weboldalt] érdemes felkeresni.

=== Miért is használjuk?! ===
* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között
* A jobok azon a gépen fognak elindulni, ami a legmegfelelőbb a számára
* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket
* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108.pdf OGSA-BES], [https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik. Ezáltal könnyen lehet integrálni más rendszerekkel
* Nagyon sok operációs rendszert támogat
* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat
* A [http://pulse.fgi.csc.fi/gridrer/htdocs/index.phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van telepítve a program

=== Grid tanúsítvány igénylése ===
Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az oldal végén lesz az igénylő felület. '''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

<code>
$ chmod +x slcs_unix_install.sh
$ ./slcs_unix_install.sh
$HOME/.globus/usercert.pem and $HOME/.globus/userkey.pem installed
NIIF HPC SLCS Root CA installed: $HOME/.globus/certificates/SLCSCA.pem
Default ARC client configuration created: $HOME/.arc/client.conf
NIIF Root CA 2 installed: $HOME/.globus/certificates/NIIFCA.pem
$
</code>

Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk az NIIF Intézettől [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken.

=== ARC kliensek használatba vétele ===
==== Telepítés ====
A csomagok telepítéséhez az itt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html
'''Fontos''': 5.0-ás ARC verziót telepítsük.

Debian alapú rendszerek esetén:
apt-get install nordugrid-arc-client

Redhat alapú rendszerek esetén:
yum install nordugrid-arc-client

OSX csomag telepítése [http://brew.sh brew] segítségével:
brew install nordugrid-arc

Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a forráskódját és le tudjuk fordítani.

==== Konfigurálás ====
$HOME/.arc/client.conf:
<code>
[common]

[computing/budapest]
url=https://login.budapest.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/szeged]
url=https://login.szeged.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/debrecen]
url=https://login.debrecen.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

[computing/pecs]
url=https://login.pecs.hpc.niif.hu:60000/arex
infointerface=org.nordugrid.wsrfglue2
submissioninterface=org.ogf.bes
default=yes

# FastestQueue – ranks targets according to their queue length
brokername=FastestQueue

# Random – ranks targets randomly
#brokername=Random

# Data – ranks targets according the amount of megabytes of the requested input files that are already
# in the computing resources cache.
#brokername=Data

# PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom
# Python broker module, optionally with broker arguments. Such module can reside anywhere in
# user’s PYTHONPATH
#brokername=PythonBroker

[alias]
pecs=computing:ARC1:https://login.pecs.hpc.niif.hu:60000/arex
szeged=computing:ARC1:https://login.szeged.hpc.niif.hu:60000/arex
debrecen=computing:ARC1:https://login.debrecen.hpc.niif.hu:60000/arex
budapest=computing:ARC1:https://login.budapest.hpc.niif.hu:60000/arex
hp=budapest szeged
sgi=pecs debrecen
</code>

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni.

=== Grid proxy készítése ===

Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes.

<code>
$ arcproxy
Enter pass phrase for private key:
Your identity: /C=HU/O=NIIF/OU=SLCS/L=hpcteszt/CN=joe
Proxy generation succeeded
Your proxy is valid until: 2015-03-30 05:01:09
$
</code>

Tesztelési célból ezeket a parancsokat érdemes kipróbálni:

<code>
$ arcinfo -c szeged
$ arcinfo -c hp -l
$ arcinfo
</code>

=== Grid job készítése ===
A jobok leírására több formátumot is használhatunk: [https://www.ogf.org/documents/GFD.56.pdf JSDL], vagy [http://www.nordugrid.org/documents/xrsl.pdf xRSL]. Így adjuk meg, hogy a jobunknak mire van szüksége. Itt egy példa job:

<code>

$ cat job.xrsl
&
(executable="matlab.sh")
(arguments="matlab.m")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="Matlab test")
(inputFiles=
("matlab.m" "")
)
(memory>="1000")
(gmlog="gm.log")
(wallTime="240")
(runTimeEnvironment="APPS/MATH/MATLAB-7.13")
</code>

<code>
$ cat matlab.sh
#!/bin/bash
echo
echo "Compute node: " `/bin/hostname -f`
echo
matlab -nodisplay < $1
</code>

<code>
$ cat matlab.m
2+3
</code>

Ennél a példánál a '''APPS/MATH/MATLAB-7.13''' futásidejű környezetet kértük, ezáltal ez a job csak azon a szuperszámítógépen fog elindulni, ahol ez telepítve van. Továbbá azt kértük még, hogy 240 percig futhasson és legalább 1000 MByte memória rendelkezésre álljon.

Az '''arcinfo -l''' paranccsal tudjuk megnézni, hogy a szuperszámítógépeken milyen futás idejű környezetek (runtime environment-ek) vannak telepítve. Ha szeretnénk egy új környezet beállíttatni, akkor [mailto:hpc-support@niif.hu ide] kell levelet küldeni.

==== OpenMP példa ====

Job elkészítése:
<code>
$ cat job-openmp.xrsl
&
(executable="omp_mm")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="OpenMP test")
(queue="test")
(executables="omp_mm")
(count="10")
(countpernode="10")
(environment=("OMP_NUM_THREADS" "10"))
(queue="test")
(inputFiles=
("omp_mm" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")

Job elküldése:

$ arcsub job-openmp.xrsl
Job submitted with jobid: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn

Job állapotának a lekérdezése:

$ arcstat https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Job: https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Name: OpenMP test
State: Finished
Exit Code: 0

Status of 1 jobs was queried, 1 jobs returned information

Job letöltése:

$ arcget https://login.debrecen.hpc.niif.hu:60000/arex/cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Results stored at: cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
Jobs processed: 1, successfully retrieved: 1, successfully cleaned: 1
zion:~ joe $ cd cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ ls -l
total 16
drwx------ 12 joe staff 408 Mar 29 21:24 gm.log
-rw------- 1 joe staff 0 Mar 29 21:24 stderr.txt
-rw------- 1 joe staff 6362 Mar 29 21:24 stdout.txt
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $

Adatok ellenőrzése:

zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt
Starting matrix multiple example with 10 threads
Initializing matrices...
Thread 0 starting matrix multiply...
Thread=0 did row=0
Thread 9 starting matrix multiply...
Thread 6 starting matrix multiply...
Thread=0 did row=1
Thread 5 starting matrix multiply...
Thread=5 did row=50
Thread=5 did row=51
zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$
</code>

==== MPI példa ====

<code>
$ cat job-mpi.xrsl
&
(executable="mpi.sh")
(stdout="stdout.txt")
(stderr="stderr.txt")
(jobname="MPI test")
(executables="connectivity" "mpi.sh")
(count="10")
(inputFiles=
("connectivity" "")
("mpi.sh" "")
)
(memory>="2600")
(gmlog="gm.log")
(wallTime="20")
(runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-1.4.3)

$ cat mpi.sh
#!/bin/bash
mpirun -np 10 ./connectivity -v
</code>

==== Grafikus felületű ARC kliens ====
Parancssoros klienseken kívül használni lehet még grafikus klienseket is. [http://sourceforge.net/projects/arc-gui-clients/?source=directory Innen tudják] letölteni őket.

[[Category: HPC]]

Budapest2 klaszter

2015-09-29T07:05:51Z

Roczei(AT)niif.hu: /* Intel Xeon Phi használata */

{| class="wikitable" border="1"
|-
| Klaszter
| Budapest2
|-
| Típus
| HP
|-
| core / node
| 10 × 2 Xeon E5-2680v2 2.80GHz
|-
| Intel Xeon Phi / node
| 2 × Intel(R) Xeon Phi(TM) MIC SE10/7120
|-
| Compute node-ok
| 14 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 140 (7db node)
|-
| Max mem / core
| 3000 MB
|}

=== Belépés ===
<pre>
ssh USER@login.budapest2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.budapest2.hpc.niif.hu:FILE
Le : scp USER@login.budapest2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.budapest2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.budapest2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
BUDAPEST2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==
Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelező listára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== Intel Xeon Phi használata ==

* [http://software.intel.com/en-us/mic-developer Itt] található az Intel hivatalos dokumentációja ezzel kapcsolatban
* [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Itt] tájékozódhatnak az Intel matematikai könyvtárainak a linkeléséről

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== Intel Xeon Phi-k lefoglalása ====
A Intel Xeon Phi-k lefoglalása a következő direktívával történik:
<pre>
#SBATCH --gres=mic:N
</pre>
Az <code>N</code> a Intel Xeon Phi-k/node számát adja meg, ami 1 és 2 lehet maximum.

==== Job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 3000 MB lehet.

Amennyiben a szálaknak 4GB-nál több virtuális memóriára van szükségük, akkor az indítandó program elé a következő parancsot is el kell helyezni:
<pre>
ulimit -v unlimited
</pre>

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

=== Alkalmazás-specifikus beállítások ===
==== Gromacs ====
A Gromacs programot a következő mpirun paraméterrel kell indítani:
<pre>
mpirun --report-pid ${TMPDIR}/mpirun.pid ...
</pre>

Debrecen2 GPU klaszter

2015-09-29T06:23:22Z

Roczei(AT)niif.hu: /* GPU-k lefoglalása */

{| class="wikitable" border="1"
|-
| Klaszter
| Debrecen2 (Leo)
|-
| Típus
| HP
|-
| core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| Compute node-ok
| 84 db
|-
| Max Walltime
| 7-00:00:00
|-
| Max core-ok / projekt
| 336 (21db node)
|-
| Max mem / core
| 7800 MB
|}

=== CPU idő kérés ===

{{ATTENTION|A CPU idő igénylésekor egy olyan rövid indoklást várunk a HPC projekt vezetőktől, amiből kiderül, hogy a futtatandó alkalmazás képes GPU-t használni. Erre azért van szükség, mert az erőforrás teljesítményének nagyobbik része GPU gyorsításból származik, egy gyorsítás nélküli program a CPU-kat lefoglalja, korlátozva ezzel a GPU-k használatát, ami kihasználatlansághoz vezet. Az NVidia [http://www.nvidia.com/object/gpu-applications.html közzétett egy listát] arról, hogy melyik alkalmazás rendelkezik jelenleg hivatalosan NVidia GPU támogatással, de természetesen egyéb, GPU-t használó program is nagy valószínűséggel jól fut a gépen.}}

=== Belépés ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
Nem alapértelmezett kulcs használata esetén a <code>-i KULCS</code> kapcsolóval megadása szükséges (SSH és SCP parancsok).

=== Fájlok másolása SCP-vel ===
Letöltés a HOME könyvtárból és feltöltés a HOME könyvtárba:
<pre>
Fel: scp FILE USER@login.debrecen2.hpc.niif.hu:FILE
Le : scp USER@login.debrecen2.hpc.niif.hu:FILE FILE
</pre>

=== Adatszinkronizáció ===
Nagyobb fájlok ill. könyvtárstruktúrák szinkronizálásához a következő parancsokat kell használni
<pre>
Fel: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Le : rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
A törölt fájlok szinkronizálásához a <code>--delete</code> opciót kell megadni.

== Felhasználói felület ==
<pre>
rövid CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC állomás | |
rövid gép név |
előző parancs exit kódja
</pre>

=== Modul környezet ===
Az elérhető modulok listáját a következő paranccsal kapjuk meg:
<pre>
module avail
</pre>
a már betöltött modulok listáját:
<pre>
module list
</pre>
Alkalmazást a következő paranccsal tölthetünk be:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelező listára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépeken két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>test</code> sor és a <code>prod</code> sor. Utóbbi az éles számolásokra való, előbbi fejlesztés és tesztelés céljára használható. A teszt sorban összesen 1 node-ot, maximum fél órára lehet lefoglalni. Az alapértelmezett sor a <code>prod</code>. A teszt partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=test
</pre>
A teszt partícióban 1 GPU található (<code>--gres=gpu:1</code>)

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== Soros (serial) jobok ====
Több soros job futtatását a tömbfeladatokhoz hasonlóan kell indítani.
<pre>
#!/bin/bash

#SBATCH -A ACCOUNT
#SBATCH --job-name=serial
#SBATCH --time=24:30:00
#SBATCH -n 3
#SBATCH --partition=test
srun -n 1 program input1 &
srun -n 1 program input2 &
srun -n 1 program input3
wait
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=20
#SBATCH --time=12:00:00
mpirun PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq