Debrecen2 GPU klaszter en - Laptörténet

Itamas(AT)niif.hu, 2022. február 22., 10:14-n

2022-02-22T10:14:51Z

Itamas(AT)niif.hu, 2021. július 14., 08:25-n

2021-07-14T08:25:35Z

Változtatások megtekintése

Itamas(AT)niif.hu, 2021. június 24., 10:38-n

2021-06-24T10:38:17Z

Itamas(AT)niif.hu, 2021. június 24., 10:16-n

2021-06-24T10:16:48Z

Itamas(AT)niif.hu, 2021. június 24., 10:02-n

2021-06-24T10:02:30Z

Itamas(AT)niif.hu, 2021. június 24., 08:24-n

2021-06-24T08:24:35Z

Itamas(AT)niif.hu: Új oldal, tartalma: „{| class="wikitable" border="1" |- | Cluster | Debrecen2 (Leo) |- | Type | HP SL250s |- | Core / node | 8 × 2 Xeon E5-2650v2 2.60GHz |- | GPU / node | 68 * 3 Nv…”

2021-06-15T11:16:16Z

Új oldal, tartalma: „{| class="wikitable" border="1" |- | Cluster | Debrecen2 (Leo) |- | Type | HP SL250s |- | Core / node | 8 × 2 Xeon E5-2650v2 2.60GHz |- | GPU / node | 68 * 3 Nv…”

Új lap

{| class="wikitable" border="1"
|-
| Cluster
| Debrecen2 (Leo)
|-
| Type
| HP SL250s
|-
| Core / node
| 8 × 2 Xeon E5-2650v2 2.60GHz
|-
| GPU / node
| 68 * 3 Nvidia K20x + 16 * 3 Nvidia K40x
|-
| # of compute nodes
| 84
|-
| Max Walltime
| 7-00:00:00
|-
| Max core / project
| 336
|-
| Max mem / core
| 7000 MB
|}

=== Requesting CPU time ===

{{ATTENTION| When applying for CPU time, we expect a brief justification from the HPC project managers stating that the application to be run is capable of using a GPU (except when the purpose is to use licensed software – available on the machine – that is unable to use a GPU, e.g. Gaussian, Maple). This is necessary because most of the HPC resource performance comes from GPU acceleration, so a program without acceleration that allocates CPUs, would be limiting the use of GPUs leading to underutilization. NVIDIA released [http://www.nvidia.com/object/gpu-applications.html '''a list'''] of applications officially supported by NVIDIA GPUs but of course other programs that use GPUs are also likely to perform well on the machine.

* For those who are interested in GPU programming we held a workshop the video materials of which are available here: [http://videotorium.hu/hu/events/details/1864,GPU_programozas_workshop GPU programming workshop (videotorium)]
}}

=== Login ===
<pre>
ssh USER@login.debrecen2.hpc.niif.hu
</pre>
If a non-default key is used, it must be specified with the -i KEY option (SSH and SCP commands).

=== Copying files with SCP ===
Download from the HOME directory and upload to the HOME directory:
<pre>
Up: scp FILE USER@login.debrecen2.hpc.niif.hu: FILE
Down: scp USER@login.debrecen2.hpc.niif.hu: FILE FILE
</pre>

=== Data synchronization ===
Larger files / directory structures shall be synchronized using the following commands
<pre>
Up: rsync -a -e ssh DIRECTORY USER@login.debrecen2.hpc.niif.hu:/home/USER
Down: rsync -a -e ssh USER@login.debrecen2.hpc.niif.hu:/home/USER/DIRECTORY
</pre>
The --delete option must be specified to synchronize deleted files.

== User interface ==
<pre>
short form of CWD
|
DEBRECEN2[login] ~ (0)$
| | |
HPC station | |
short machine name |
exit code of the previous command
</pre>

=== Module environment ===
The list of available modules is obtained with the following command:
<pre>
module avail
</pre>
the list of already loaded modules:
<pre>
module list
</pre>
You can load an application with the following command:
<pre>
module load APP
</pre>
A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.

=== Adatok megosztása projekt tagok számára ===
Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
<pre>
setfacl -m u:OTHER:rx $HOME
</pre>
Addott könyvtárat (DIRECTORY) írahtóvá:
<pre>
setfacl -m u:OTHER:rxw $HOME/DIRECTORY
</pre>
A kiterjesztett jogokat a következő paranccsal kérhetjük le:
<pre>
getfacl $HOME/DIRECTORY
</pre>

== Közös home könyvtár használata ==
A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
<pre>
/mnt/fhgfs/home/$USER
</pre>
Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
<pre>
rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
</pre>

== Alkalmazások lefordítása ==

Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

== SLURM ütemező használata ==
A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
<pre>
sbalance
</pre>
A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
<pre>
Scheduler Account Balance
---------- ----------- + ---------------- ----------- + ------------- -----------
User Usage | Account Usage | Account Limit Available (CPU hrs)
---------- ----------- + ---------------- ----------- + ------------- -----------
bob * 7 | foobar 7 | 1,000 993
alice 0 | foobar 7 | 1,000 993
</pre>

=== A gépidő becslése ===
Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
<pre>
sestimate -N NODES -t WALLTIME
</pre>
ahol a <code>NODES</code> a lefoglalni kívánt node-ok száma, a <code>WALLTIME</code> pedig a futás maximális ideje.

'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''

=== Állapotinformációk ===
Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
<pre>
scontrol show job JOBID
</pre>

Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
<pre>
sacct -l -j JOBID
</pre>

A felhasznált memóriáról a következő parancs ad tájékoztatást:
<pre>
smemory JOBID
</pre>

A lemezhasználatról pedig a
<pre>
sdisk JOBID
</pre>

==== Slurm figyelmeztető üzenetek ====
<pre>
Resources/AssociationResourceLimit - Erőforrásra vár
AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
Piority - Alacsony prioritás miatt várakozik
</pre>
Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.

==== Licenszek ellenőrzése ====
Az elérhető és éppen használt licenszekről a következő parancs ad információt:
<pre>
slicenses
</pre>

==== Karbantartás ellenőrzése ====
A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
<pre>
sreservations
</pre>

==== Összesített felhasználás ====
Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
<pre>
susage
</pre>

==== Teljes fogyasztás ====
Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
<pre>
sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
</pre>

=== Feladatok futtatása ===
Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.

==== Kötelező paraméterek ====
A következő paramétereket minden esetben meg kell adni:
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=NAME
#SBATCH --time=TIME
</pre>
ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".

==== GPU-k lefoglalása ====
A GPU-k lefoglalása a következő direktívával törénik:
<pre>
#SBATCH --gres=gpu:N
</pre>
Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.

==== Interaktív használat ====
Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
<pre>
srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
</pre>

==== Batch job-ok indítása ====
A jobok feladását a következő parancs végzi:
<pre>
sbatch slurm.sh
</pre>

Sikeres feladás esetén a következő kimenetet kapjuk:
<pre>
Submitted batch job JOBID
</pre>
ahol a <code>JOBID</code> a feladat egyedi azonosítószáma.

A feladat leállítását a következő parancs végzi:
<pre>
scancel JOBID
</pre>

==== Nem újrainduló jobok ====
Nem újrainduló jobokhoz a következő direktívát kell használni:
<pre>
#SBATCH --no-requeue
</pre>

==== Feladat sorok ====
A szupergépen két, egymást nem átfedő, sor (partíció) áll rendelkezésre, a <code>prod-gpu-k40</code> sor és a <code>prod-gpu-k20</code> sor. Mind a kettő éles számolásokra való, az első olyan CN gépeket tartalmaz amikben Nvidia K40x GPU-k, a másodikban pedig Nvidia K20x GPU-k vannak. Az alapértelmezett sor a <code> prod-gpu-k20</code>. A prod-gpu-k40 partíciót a következő direktívával lehet kiválasztani:
<pre>
#SBATCH --partition=prod-gpu-k40
</pre>

==== A szolgáltatás minősége (QOS) ====
A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====
A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.
<pre>
#SBATCH --qos=fast
</pre>

===== Alacsony prioritás =====
Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.
<pre>
#SBATCH --qos=lowpri
</pre>

==== Memória foglalás ====
Alapértelmezetten 1 CPU core-hoz 1000 MB memória van rendelve, ennél többet a következő direktívával igényelhetünk:
<pre>
#SBATCH --mem-per-cpu=MEMORY
</pre>
ahol <code>MEMORY</code> MB egységben van megadva. A maximális memória/core 7800 MB lehet.

==== Email értesítés ====
Levél küldése job állapotának változásakor (elindulás,leállás,hiba):
<pre>
#SBATCH --mail-type=ALL
#SBATCH --mail-user=EMAIL
</pre>
ahol az <code>EMAIL</code> az értesítendő emial cím.

==== Tömbfeladatok (arrayjob) ====
Tömbfeladatokra akkor van szükségünk, egy szálon futó (soros) alkalmazást szeretnénk egyszerre sok példányban (más-más adatokkal) futtatni. A példányok számára az ütemező a <code>SLURM_ARRAY_TASK_ID</code> környezeti változóban tárolja az egyedi azonosítót. Ennek lekérdezésével lehet az arrayjob szálait elkülöníteni. A szálak kimenetei a <code>slurm-SLURM_ARRAY_JOB_ID-SLURM_ARRAY_TASK_ID.out</code> fájlokba íródnak. Az ütemező a feltöltést szoros pakolás szerint végzi. Ebben az esetben is érdemes a processzorszám többszörösének választani a szálak számát. [http://slurm.schedmd.com/job_array.html Bővebb ismertető]

<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=array
#SBATCH --time=24:00:00
#SBATCH --array=1-96
srun envtest.sh
</pre>

==== OpenMPI feladatok ====
MPI feladatok esetén meg kell adnunk az egy node-on elinduló MPI processzek számát is (<code>#SBATCH --ntasks-per-node=</code>). A leggyakoribb esetben ez az egy node-ban található CPU core-ok száma. A párhuzamos programot az <code>mpirun</code> paranccsal kell indítani.
<pre>
#!/bin/bash
#SBATCH -A ACCOUNT
#SBATCH --job-name=mpi
#SBATCH -N 2
#SBATCH --ntasks-per-node=8
#SBATCH --time=12:00:00
mpirun --report-pid ${TMPDIR}/mpirun.pid PROGRAM
</pre>

OpenMPI FAQ: http://www.open-mpi.org/faq

==== OpenMP (OMP) feladatok ====
OpenMP párhuzamos alkalmazásokhoz maximum 1 node-ot lehet lefoglalni. Az OMP szálák számát az <code>OMP_NUM_THREADS</code> környezeti változóval kell megadni. A változót vagy az alkamazás elé kell írni (ld. példa), vagy exportálni kell az indító parancs előtt:
<code>
export OMP_NUM_THREADS=8
</code>

A következő példában egy taskhoz 8 CPU core-t rendeltunk, a 8 CPU core-nak egy node-on kell lennie. A CPU core-ok számát a <code>
SLURM_CPUS_PER_TASK</code> változó tartalmazza, és ez állítja be az OMP szálak számát is.

Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 8 szálas OMP alkalmazást.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=omp
#SBATCH --time=06:00:00
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=8
OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK ./a.out
</pre>

==== Hibrid MPI-OMP feladatok ====
Hibrid MPI-OMP módról akkor beszélünk, ha a párhuzamos alkalmazás MPI-t és OMP-t is használ. Érdemes tudni, hogy az Intel MKL-el linkelt programok MKL hívásai OpenMP képesek. Általában a következő elosztás javasolt: az MPI processzek száma 1-től az egy node-ban található CPU foglalatok száma, az OMP szálak ennek megfelelően az egy node-ban található összes CPU core szám vagy annak fele, negyede (értelem szerűen). A jobszkipthez a fenti két mód paramétereit kombinálni kell.

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 10 szállal. Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 8 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 8 OMP szál fut.
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=mpiomp
#SBATCH --time=08:00:00
#SBATCH -N 2
#SBATCH --ntasks=2
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=8
#SBATCH -o slurm.out
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
mpirun ./a.out
</pre>

==== Maple Grid feladatok ====
Maple-t az OMP feladatokhoz hasonlóan 1 node-on lehet futtatni. Használatához be kell tölteni a maple modult is. A Maple kliens-szerver üzemmódban működik ezért a Maple feladat futtatása előtt szükség van a grid szerver elindítására is (<code>${MAPLE}/toolbox/Grid/bin/startserver</code>). Ez az alkalmazás licensz köteles, amit a jobszkriptben meg kell adni (<code>#SBATCH --licenses=maplegrid:1</code>). A Maple feladat indátását a <code>${MAPLE}/toolbox/Grid/bin/joblauncher</code> paranccsal kell elvégezni.

Alice felhasználó a foobar számla terhére, 6 órára indítja el a Maple Grid alkalmazást:
<pre>
#!/bin/bash
#SBATCH -A foobar
#SBATCH --job-name=maple
#SBATCH -N 1
#SBATCH --ntasks-per-node=16
#SBATCH --time=06:00:00
#SBATCH -o slurm.out
#SBATCH --licenses=maplegrid:1

module load maple

${MAPLE}/toolbox/Grid/bin/startserver
${MAPLE}/toolbox/Grid/bin/joblauncher ${MAPLE}/toolbox/Grid/samples/Simple.mpl
</pre>

[[Category: HPC]]

← Régebbi változat		A lap 2022. február 22., 10:14-kori változata
1. sor:		1. sor:
		+	[[https://wiki.niif.hu/index.php?title=Access_Policy Access Policy]]
		+	[[https://wiki.niif.hu/index.php?title=Privacy_Policy Privacy Policy]]
		+
	{\| class="wikitable" border="1"		{\| class="wikitable" border="1"
	\|-		\|-

@@ 191. sor: / 191. sor: @@
 It is possible to run applications on supercomputers in batch mode. This means that for each run, a job script must be created that includes a description of the resources required and the commands required to run. Scheduler parameters (resource requirements) must be specified with the <code>#SBATCH</code> directive.
-==== Kötelező paraméterek ====
+==== Mandatory parameters ====
-A következő paramétereket minden esetben meg kell adni:
+The following parameters must be specified in each case:
 <pre>
 #!/bin/bash
@@ 199. sor: / 199. sor: @@
 #SBATCH --time=TIME
 </pre>
-ahol az <code>ACCOUNT</code> a terhelendő számla neve (elérhető számláinkről az <code>sbalance</code> parancs ad felvilágosítást), a <code>NAME</code> a job rövid neve, a <code>TIME</code> pedig a maximális walltime idő (<code>DD-HH:MM:SS</code>). A következő időformátumok használhatók:
+where <code>ACCOUNT</code> is the name of the account to be charged (your available accounts are indicated by the sbalance command), <code>NAME</code> is the short name of the job, and <code>TIME</code> is the maximum wall clock time (DD-HH:MM:SS).
-"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" és "days-hours:minutes:seconds".
+The following time formats can be used:
-==== GPU-k lefoglalása ====
+"minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours", "days-hours:minutes" and "days-hours:minutes:seconds".
-A GPU-k lefoglalása a következő direktívával törénik:
 <pre>
 #SBATCH --gres=gpu:N
 </pre>
-Az <code>N</code> a GPU-k/node számát adja meg, ami 1, 2 és 3 lehet maximum.
+<code>N</code> specifies the number of GPUs / node, which can be 1, 2, and a maximum of 3.
-==== Interaktív használat ====
+==== Interactive use ====
-Rövid interaktív feladatokat az 'srun' paranccsal tudunk beküldeni, pl.:
+You can submit short interactive jobs with the 'srun' command, e.g.
 <pre>
 srun -l -n 1 -t TIME --gres=gpu:1 -A ACCOUNT APP
 </pre>
-==== Batch job-ok indítása ====
+==== Submitting batch jobs ====
-A jobok feladását a következő parancs végzi:
+To submit jobs use the following command:
 <pre>
 sbatch slurm.sh
 </pre>
-Sikeres feladás esetén a következő kimenetet kapjuk:
+On successful submission you get the following output:
 <pre>
 Submitted batch job JOBID

@@ 157. sor: / 157. sor: @@
 ==== SLURM warnings ====
 <pre>
-Resources/AssociationResourceLimit - Erőforrásra vár
+Resources / AssociationResourceLimit - Waiting for a resource
-AssociationJobLimit/QOSJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalva
+AssociationJobLimit / QOSJobLimit - Not enough CPU time or maximum CPU number is reserved
-Piority - Alacsony prioritás miatt várakozik
+Priority - Waiting due to low priority
 </pre>
-Az utóbbi esetben, csökkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben.
+In the latter case, the time to be reserved by the job must be reduced. Jobs for a given project can run on up to 512 CPUs at a given time.
-==== Licenszek ellenőrzése ====
+==== Checking licenses ====
 Az elérhető és éppen használt licenszekről a következő parancs ad információt:
 <pre>
@@ 169. sor: / 170. sor: @@
 </pre>
-==== Karbantartás ellenőrzése ====
+==== Checking maintenance ====
-A karbantartási időablakban az ütemező nem indít új jobokat, de beküldeni lehet. A karbantartások időpontjairól a következő parancs ad tájékoztatást:
+In the maintenance time window, the scheduler does not start new jobs, but jobs could still be submitted. The following command provides information on maintenance dates:
 <pre>
 sreservations
 </pre>
-==== Összesített felhasználás ====
+==== Aggregate consumption ====
-Egy hónapra visszamenőleg az elfogyasztott CPU perceket a következő paranccsal kérhetjük le:
+You can retrieve the CPU minutes consumed up to one month ago with the following command:
 <pre>
 susage
 </pre>
-==== Teljes fogyasztás ====
+==== Total consumption ====
-Ha szeretnénk tájékozódni arról, hogy egy bizony idő óta mennyi a CPU idő felhasználásunk akkor azt ezzel paranccsal tudjuk lekérdezni:
+If you want to know how much CPU time you have been using for a certain period, you can query it with this command:
 <pre>
 sreport -t Hours Cluster AccountUtilizationByUser Accounts=ACCOUNT Start=2015-01-01
 </pre>
-=== Feladatok futtatása ===
+=== Submitting jobs ===
-Alkalmazások futtatása a szupergépeken kötegelt (batch) üzemmódban lehetséges. Ez azt jelenti, hogy minden futtatáshoz egy job szkriptet kell elkészíteni, amely tartalmazza az igényelt erőforrások leírását és a futtatáshoz szükséges parancsokat. Az ütemező paramétereit (erőforrás igények) a <code>#SBATCH</code> direktívával kell megadni.
+It is possible to run applications on supercomputers in batch mode. This means that for each run, a job script must be created that includes a description of the resources required and the commands required to run. Scheduler parameters (resource requirements) must be specified with the <code>#SBATCH</code> directive.
 ==== Kötelező paraméterek ====

@@ 113. sor: / 113. sor: @@
 sbalance
 </pre>
-A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyedik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még elérhető (Available) gépidőről ad tájékoztatást.
+The second column (Usage) shows the machine time spent by each user, and the fourth column shows the total machine time of the account. The last two columns provide information about the maximum (Account Limit) and available machine time.
 <pre>
 Scheduler Account Balance
@@ 123. sor: / 123. sor: @@
 </pre>
-=== A gépidő becslése ===
+=== Estimating CPU time ===
-Nagyüzemi (production) futtatások előtt gépidőbecslést érdemes végezni. Ehhez a következő parancs használható:
+It is advisable to estimate the wall clock time before large-scale (production) runs. To do this, use the following command:
 <pre>
 sestimate -N NODES -t WALLTIME
 </pre>
-'''Fontos, hogy a lefoglalni kívánt gépidőt a lehető legpontosabban adjuk meg, mivel az ütemező ez alapján is rangsorolja a futtatásra váró feladatokat. Általában igaz, hogy a rövidebb job hamarabb sorra kerül. Érdemes minden futás idejét utólag az <code>sacct</code> paranccsal is ellenőrizni.'''
+where <code>NODES</code> is the number of nodes to  be reserved and <code>WALLTIME</code> is the maximum run time.
-=== Állapotinformációk ===
+'''
-Az ütemezőben lévő jobokról az <code>squeue</code>, a klaszter általános állapotáról az <code>sinfo</code> parancs ad tájékoztatást. Minden beküldött jobhoz egy egyedi azonosítószám (JOBID) rendelődik. Ennek ismeretében további információkat kérhetünk. Feladott vagy már futó job jellemzői:
+It is important to specify the wall clock time you want to reserve as accurately as possible, as the scheduler also ranks the jobs waiting to be run based on this. It is generally true that the shorter job will take place sooner. It is advisable to check the actual run time with the <code>sacct</code> command afterwards.'''
 <pre>
 scontrol show job JOBID
 </pre>
-Minden job egy ún. számlázási adatbázisba (accounting) is bekerül. Ebből az adatbázisból visszakereshetők a lefuttatott feladatok jellemzői és erőforrás-felhasználás statisztikái. A részletes statisztikát a következő paranccsal tudjuk megnézni:
+Each job is also put into a so-called accounting database. From this you can retrieve the characteristics of the jobs you have run and the statistics of resource usage. You can view detailed statistics with the following command:
 <pre>
 sacct -l -j JOBID
 </pre>
-A felhasznált memóriáról a következő parancs ad tájékoztatást:
+The following command provides information about the memory used:
 <pre>
 smemory JOBID
 </pre>
-A lemezhasználatról pedig a
+The next one shows disk usage:
 <pre>
 sdisk JOBID
 </pre>
-==== Slurm figyelmeztető üzenetek ====
+==== SLURM warnings ====
 <pre>
 Resources/AssociationResourceLimit - Erőforrásra vár

@@ 78. sor: / 78. sor: @@
 module load APP
 </pre>
-A NIIF által beállított környezeti változókat <code>nce</code> parancs listázza ki.
+The environment variables set by KIFÜ are listed by the nce command.
-=== Adatok megosztása projekt tagok számára ===
+=== Data sharing for project members ===
-Fájlok ill. könyvtárak megosztásához ACL-eket kell beállítani. A HOME könyvtárat más felhasználó (OTHER) számára olvashatóvá, így tehetjük
+To share files / directories ACLs must be set. To make the HOME directory readable by another user (OTHER):
 <pre>
 setfacl -m u:OTHER:rx $HOME
 </pre>
-Addott könyvtárat (DIRECTORY) írahtóvá:
+To make a specific directory (DIRECTORY) writable:
 <pre>
 setfacl -m u:OTHER:rxw $HOME/DIRECTORY
 </pre>
-A kiterjesztett jogokat a következő paranccsal kérhetjük le:
+You can list extended rights with the following command:
 <pre>
 getfacl $HOME/DIRECTORY
 </pre>
-== Közös home könyvtár használata ==
+== Using a shared home directory ==
-A szuperszámítógépek login gépeit összekötő közös fájlrendszer a következő könyvtár alatt található:
+The common file system that is available for the login nodes of the supercomputers is accessible under the following path:
 <pre>
 /mnt/fhgfs/home/$USER
 </pre>
-Biztonsági mentést a közös könyvtárba a következő paranccsal tudunk végezni:
+Backups could be made into the shared directory with the following command:
 <pre>
 rsync -avuP --delete $HOME/DIRECTORY /mnt/fhgfs/home/$USER
 </pre>
-== Alkalmazások lefordítása ==
+== Compiling applications ==
-Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code>. Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. Az NIIF HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a <code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.
+Users are encouraged to try compiling needed applications in their own home directory first. If it fails for some reason, then the next step is to ask the Hungarian supercomputer users because there is a good chance that others have already run into the same problem. They can be reached at: <code>hpc-forum at listserv.niif.hu</code>. You can subscribe to this mailing list [https://listserv.niif.hu/mailman/listinfo/hpc-forum|here]. You should also check the archive when looking into the issue. KIFÜ HPC support has extremely limited capacity to handle individual compiling requests but still you may contact <code>hpc-support at niif.hu</code> with your problem. In the latter case please be patient for a few days while waiting for responses.
-== SLURM ütemező használata ==
+== Using the SLURM scheduler ==
-A szuperszámítógépen CPU óra (gépidő) alapú ütemezés működik. A felhasználóhoz tartozó Slurm projektek (Account) állapotáról a következő parancs ad információt:
+The supercomputer has a CPU hour (machine time) based schedule. The following command provides information about the status of the user's Slurm projects (Account):
 <pre>
 sbalance