Módosítások

Az NIIF Intézet A KIFÜ szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:

* NIIFI KIFÜ központ

A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI a KIFÜ nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.A szuperszámítógép-rendszert az NIIFI a KIFÜ üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettela KIFÜ-vel.A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF a KIFÜ adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel. ==== Magyar Szuperszámítógépek összehasonlítása ==== {| class="wikitable" border="1" |- | Helyszín| Budapest| Szeged| Debrecen| Pécs|- | Típus| HP CP4000BL| HP CP4000BL| SGI ICE8400EX| SGI UV 1000|- | CPU-k / node | 2 | 4 | 2 | 2 |- | Core-ok / CPU | 12| 12| 6| 6|- | Memória / node | 66 GB | 132 GB| 47 GB| 6 TB|- | Memória / core | 2.75 GB | 2.75 GB| 3.9 GB| 5 GB|- | CPU | AMD Opteron 6174 @ 2.2GHz | AMD Opteron 6174 @ 2.2GHz | Intel Xeon X5680 @ 3.33 GHz| Intel Xeon X7542 @ 2.66 GHz|- | Scheduler | [http://slurm.schedmd.com/ SLURM] | [http://slurm.schedmd.com/ SLURM]| [http://slurm.schedmd.com/ SLURM]| [http://www.niif.hu/node/316 SGE] |- | MPI | OpenMPI (ompi) | OpenMPI (ompi) | SGI MPT (mpt)| SGI MPT (mpt)|}

'''We acknowledge [PRACE/NIIF] KIFÜ for awarding us access to resource based in Hungary at [Budapest/Debrecen/Pécs/Szeged].'''

'''The support of [name of person/people] from NIIF InstituteKIFÜ, Hungary to the technical work is gratefully acknowledged.''' == Hozzáférés a szuperszámítógépekhez == A témában több videót is készítettünk, amelyek bemutatják a hozzáférés menetét (kulcsgenerálás és hozzáférés) és a filefeltöltés gyakorlati tutoriál keretében Windows operációs rendszeren. * [http://videotorium.hu/hu/recordings/details/12290,Hozza_fe_re_s_a_HPC-hez_kezdo_le_pe_sek_elo_ada_s_e_s_demo_ Kezdő lépések (videó)] * [http://videotorium.hu/hu/recordings/details/12307,A_HPC_felhaszna_la_s_gyakorlati_le_pe_sei_demo_.mp4 A HPC felhasználás gyakorlati lépései (videó)] A fenti videók tartalmazhatnak elavult információkat pl. az ütemezővel kapcsolatban, a jelenlegi ütemező használatához külön videóanyagot ajánljunk. 

Fájlok ill. könyvtárak megosztásához használjuk a [http://www.techrepublic.com/blog/linux-and-open-source/learn-to-use-extended-file-attributes-in-linux-to-boost-security/](fájlrendszer ACL-eket). Az ACL-ekkel a hagyományos unix engedélyeken felül finoman szabályozhatjuk a fájlok és könyvtárak hozzáférési engedélyeit. <span style="color:#ce1256"> Kérjük, hogy fokozottan figyeljenek arra, hogy a teljes <code>$HOME</code> könyvtárra sose adjanak "rwx" jogot más felhasználóknak, mivel pl. a <code>.ssh</code> mappa nagyon érzékeny a jogosultságokra, és a rendszer nem fogja beengedni legközelebb a felhasználót!</span> A következő példában a <code>$HOME/Shared</code> könyvtárat osztjuk egy munkatárs számára:

A szuperszámítógépek login és vserver node-jai osztott home könyvtárral vannak összekötve. Fontos, hogy az osztott könyvtárat a számítási node-ok nem érik el, ezért az osztott home-ot csak tárolásra ill. megosztásra lehet használni. Az osztott terület Debrecenben van, ezért ott a leggyorsabb. A másik három helyen lassabb a hozzáférés a nagyobb távolság miatt. A programok kimenetét továbbra is a lokális scratch vagy home könyvtárba kell írni. Amelyik login node-on használni szeretnénk az osztott home könyvtárat, ott adjuk ki a következő parancsokat:

cd; mkdir shared; ln -s /mnt/fhgfs/home/$USER shared/$USER </mntpre>Ezek után a <code>$HOME/fhgfsshared/home$USER</code> könyvtárba másoljuk a megosztott fájlokat. Ez a könyvtár a következő környezeti változóba is exportálódik:<pre>$USERNCE_SHARED

Ezek után === Biztonsági mentés, adatmegosztás ===A következő példa mentést végez a <code>$HOME/shareddata</code> könyvtárról:<pre>rsync -avuP $HOME/data $NCE_SHARED</pre>Törölje a fájlokat a mentésben is:<pre>rsync -avuP --delete $USERHOME/data $NCE_SHARED</pre> == Alkalmazások lefordítása ==Mindenkitől azt kérjük, hogy először próbálja meg saját maga lefordítani az alkalmazását. Ha ez valamilyen oknál fogva mégsem sikerülne, akkor következő lépésként a magyarországi szuperszámítógép felhasználóktól érdemes kérdezni, mert nagy esély van rá hogy mások is belefutottak ugyanabba a problémába. Ezen a címen lehet őket elérni: <code>hpc-forum kukac listserv.niif.hu</code> könyvtárba másoljuk . Feliratkozni [https://listserv.niif.hu/mailman/listinfo/hpc-forum itt lehet erre] a levelezőlistára. Az archívumban is érdemes utánanézni a kérdésnek. A KIFÜ HPC support csak igen korlátozottan képes egyéni fordítási kérésekkel foglalkozni, de problémával felkeresheti a megosztott fájlokat<code>hpc-support kukac niif.hu</code> címet. Az utóbbi esetben pár napos türelmüket mindenképp kérjük válaszunkig.

Weboldal:  http://slurm.schedmd.com A SLURM ütemező bemutatása:  * [http://videotorium.hu/hu/recordings/details/6122,A_slurm_HPC_utemezo Slurm HPC ütemező]

==== Példa ====A parancs Bob számára a következő táblázatot jeleníti meg. A felhasználó két számlához (foobar,barfoo) is hozzáfér, futatthat a számla terhére. Saját magát megcsillagozva látja a listában. Bobbal mindkét számlán (Account oszlop) Alice is osztozik. A második oszlopban (Usage) az egyes felhasználók elhasznált gépideje, a negyeik oszlopban pedig a számla összesített gépideje látható. Az utolsó két oszlop a maximális (Account Limit) és a még alérhető (Available) gépidőről ad tájékoztatást.

==== Példa Slurm figyelmeztető üzenetek ====<pre>Resources/AssociationResourceLimit - Erőforrásra várAssociationJobLimit - Nincs elég CPU idő vagy a maximális CPU szám le van foglalvaPiority - Alacsony prioritás miatt várakozik</pre>Az utóbbi esetben, csőkkenteni kell a job által lefoglalni kívánt időt. Egy adott projekt részére maximálisan 512 CPU-n futhatnak jobok egy adott időben. 

Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritással, amelyek kibírják a véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni. A szolgáltatást alapértelmezett minősége <code>normal</code>, azaz nem megszakítható a futás.

===== Magas prioritás =====A magas prioritású jobok maximum 24 óráig futhatnak, és kétszer gyorsabb időelszámolással rendelkeznek, cserébe az ütemező előreveszi ezeket a feladatokat.<pre>#SBATCH --qos=fast</pre> ===== Alacsony prioritás =====Lehetőség van alacsony prioritású jobok feladására is. Az ilyen feladatokat bármilyen normál prioritású job bármikor megszakíthatja, cserébe az elhasznált gépidő fele számlázódik csak. A megszakított jobok automatikusan újraütemeződnek. Fontos, hogy olyan feladatokat indítsunk alacsony prioritás kiválasztását prioritással, amelyek kibírják a következő direktívával tehetjük meg:véletlenszerű megszakításokat, rendszeresen elmentik az állapotukat (checkpoint) és ebből gyorsan újra tudnak indulni.

export OMP_NUM_THREADS=2410

A következő példában egy taskhoz 24 10 CPUcore-t rendeltunk, a 24 10 CPUcore-nak egy node-on kell lennie. A CPUcore-k ok számát a <code>

===== Példa =====Alice felhasználó a foobar számla terhére, maximum 6 órára indít el egy 24 10 szálas OMP alkalmazást.

#SBATCH --cpus-per-task=2410

A következő példában 2 node-ot, és node-onként 1-1 taskot indítunk taskonként 24 szállal. ===== Példa =====Alice felhasználó a foobar számla terhére, 8 órára, 2 node-ra küldött be egy hibrid jobot. Egy node-on egyszerre csak 1 db MPI processz fut ami node-onként 24 OMP szálat használ. A 2 gépen összesen 2 MPI proceszz és 2 x 24 OMP szál fut.

Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE SLURM környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.

== SGI UV Pécs ARC köztesréteg ==A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezettEz a NorduGrid közösség által fejlesztett Grid köztesréteg. Részletes dokumentációkért [http://www.nordugrid. Minimálisan 12 szálat lehet lefoglalniorg/documents ezt a weboldalt] érdemes felkeresni.  === Miért is használjuk?! ===* Jobb terhelés elosztást tesz lehetővé a szuperszámítógépek között* A foglalás alapegysége jobok azon a numa nodegépen fognak elindulni, ami 2x6 processzort és 60GB memóriát tartalmaza legmegfelelőbb a számára* Egy nagy egységgé kapcsolja össze a szuperszámítógépeket* Szabványos webservice interfésszel ([https://www.ogf.org/documents/GFD.108. Érdemes 12 többszörösével számolni a lefoglalalndó szálakatpdf OGSA-BES], pl[https://www.ogf.org/documents/GFD.114.pdf HPC Basic Profile]) rendelkezik.Ezáltal könnyen lehet integrálni más rendszerekkel* Nagyon sok operációs rendszert támogat* A saját számítógépünkről tudjuk kezelni a szuperszámítógépes jobokat* A [http: 12, 24, 48, 96//pulse.fgi.csc.fi/gridrer/htdocs/index. Ha 2 hatványaira phtml futás idejű környezetek használatával] a megfelelő módon lefordított alkalmazást tudjuk használni és nem kell észben tartani, hogy éppen melyik szuperszámítógépen van szükségünk, akkor az SGE foglalást telepítve a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.program

Az alapértelmezett MPI könyvtár === Grid tanúsítvány igénylése ===Első lépésként szükségünk lesz egy '''Grides X.509 tanúsítványra''', amivel az ARC klienseket használni tudjuk. A [https://portal.hpc.niif.hu HPC portálon] keresztül lehetőségünk van igényelni egy 2 hétig érvényes SLCS tanúsítványt. A személyes adatok menüpontra kell kattintani és az SGI MPToldal végén lesz az igénylő felület.'''Fontos: legalább egy HPC projekt tagsággal rendelkeznünk kell a HPC portálon. ''' Itt található az a letölthető UNIX script is, ami minden szükséges beállítást elvégez a számunkra:

=== MPI fordítási opciók ===<code> CFLAGS=-O2 -xSSE4 $ chmod +x slcs_unix_install.2sh FFLAGS=-O2 -xSSE4 $ .2/slcs_unix_install.sh LDFLAGS= $(MKLROOT)HOME/lib/intel64.globus/libmkl_scalapack_lp64usercert.a \ -Wl,--start-group pem and $(MKLROOT)HOME/lib.globus/intel64/libmkl_intel_lp64userkey.a \pem installed NIIF HPC SLCS Root CA installed: $(MKLROOT)HOME/lib.globus/intel64certificates/libmkl_sequentialSLCSCA.a \pem Default ARC client configuration created: $(MKLROOT)HOME/lib.arc/intel64/libmkl_coreclient.a \conf NIIF Root CA 2 installed: $(MKLROOT)HOME/lib.globus/intel64certificates/libmkl_blacs_sgimpt_lp64NIIFCA.a -Wl,--end-group \pem -lpthread -lm $

 Az SLCS másik nagy előnye az egyszerűsített igénylésen kívül az, hogy 1 órán belül az összes szuperszámítógépen automatikusan engedélyezve lesz. Viszont ha nem szeretnénk minden második héten új X.509-es tanúsítványt igényelni, akkor lehetőség van arra is, hogy 1 évig érvényes [https://www.igtf.net IGTF] tanúsítványt igényeljünk a KIFÜ-től [http://www.ca.niif.hu/hu/igenyles ezen az oldal keresztül]. Ebben az esetben a [mailto:hpc-support@niif.hu] címre kell elküldenünk az IGTF-es tanúsítványunk publikus részét és meg kell adnunk, hogy melyik témaszámunkhoz legyen majd rendelve a szuperszámítógépeken. === MPI és OpenMP fordítási opciók ARC kliensek használatba vétele ======= Telepítés ====Ebben A csomagok telepítéséhez az esetben az MKL műveletek OpenMP szálasíthatókitt leírt repo-kat lehet használni: http://download.nordugrid.org/repos-15.03.html'''Fontos''': 5.0-ás ARC verziót telepítsük. Debian alapú rendszerek esetén: apt-get install nordugrid-arc-client  Redhat alapú rendszerek esetén: yum install nordugrid-arc-client OSX csomag telepítése [http://brew.sh brew] segítségével: brew install nordugrid-arc Ha nem találtunk megfelelő csomagot, akkor [http://download.nordugrid.org/packages/nordugrid-arc/releases/5.0.0/src/nordugrid-arc-5.0.0.tar.gz innen] le tudjuk tölteni a program hibrid MPI forráskódját és OMP módban is tud üzemelnile tudjuk fordítani. ==== Konfigurálás ====$HOME/.arc/client.conf:

CFLAGS [common] [computing/budapest] url=https://login.budapest.hpc.niif.hu:60000/arex infointerface=-O2 -xSSE4org.nordugrid.2 -openmpwsrfglue2 FFLAGS submissioninterface=-O2 -xSSE4org.ogf.2 -openmpbes default=yes [computing/szeged] LDFALGS url=$(MKLROOT)https:/lib/intel64login.szeged.hpc.niif.hu:60000/libmkl_scalapack_lp64arex infointerface=org.a \nordugrid.wsrfglue2 -Wl,--start-group $(MKLROOT) submissioninterface=org.ogf.bes default=yes [computing/libdebrecen] url=https:/intel64/libmkl_intel_lp64login.a \debrecen.hpc.niif.hu:60000/arex $(MKLROOT) infointerface=org.nordugrid.wsrfglue2 submissioninterface=org.ogf.bes default=yes [computing/pecs] url=https:/lib/intel64login.pecs.hpc.niif.hu:60000/libmkl_intel_threadarex infointerface=org.nordugrid.wsrfglue2 submissioninterface=org.ogf.bes default=yes # FastestQueue – ranks targets according to their queue length brokername=FastestQueue # Random – ranks targets randomly #brokername=Random # Data – ranks targets according the amount of megabytes of the requested input files that are already # in the computing resources cache. #brokername=Data # PythonBroker:<module>.<class>[:arguments] – ranks targets using any user-supplied custom # Python broker module, optionally with broker arguments.a \Such module can reside anywhere in $(MKLROOT) # user’s PYTHONPATH #brokername=PythonBroker [alias] pecs=computing:ARC1:https:/lib/intel64login.pecs.hpc.niif.hu:60000/libmkl_corearex szeged=computing:ARC1:https://login.szeged.hpc.niif.a \hu:60000/arex $(MKLROOT) debrecen=computing:ARC1:https:/lib/intel64login.debrecen.hpc.niif.hu:60000/arex budapest=computing:ARC1:https:/libmkl_blacs_sgimpt_lp64/login.a -Wl,--end-group \budapest.hpc.niif.hu:60000/arex hp=budapest szeged -liomp5 -lpthread -lm -openmp sgi=pecs debrecen

Érdemes beállítani, hogy alapértelmezés szerint a FastestQueue brókert használja, ezáltal mindig arra a szuperszámítógépre fogja küldeni a jobokat, ahol a legkevesebb a várakozó jobok száma. A konfigurációs fájl részletes dokumentációját és az ARC kliensek leírásait [http://www.nordugrid.org/documents/arc-ui.pdf itt lehet] megnézni. === MPI SGE job szkript példa Grid proxy készítése === Ha már telepítettük a tanúsítványunkat és az ARC klienseket akkor a következő lépés az, hogy egy proxy tanúsítványt kell készítenünk, ami alapértelmezés szerint 12 óráig érvényes. 

#! $ arcproxy Enter pass phrase for private key: Your identity: /C=HU/binO=NIIF/bashOU=SLCS/L=hpcteszt/CN=joe ### SGE Proxy generation succeeded #$ Your proxy is valid until: 2015-N MPITEST # 12 órás walltime limit #$ 03-l h_rt=1230 05:0001:00 # 384 szál lefoglalása az # mpi párhuzamos környezetben #$ -pe mpi 384 # az uv.q sor használatával09 # $ -q uv.q # a standard kimenet ide íródik #$ -o StdOut # a hibakimenet ide íródik #$ -e StdErr # a jelenlegi shell környezet exportálódik #$ -V ### NUMA # az StdOut-ba írja a numa node információt numactl --show ### OMP # OMP beállítások export OMP_NUM_THREADS=1 ### MPI # MPI beállítások export MPI_MEMMAP_OFF=1 # saját szkript vagy az mpirun közvetlen meghívás # 384 MPI szál fog elindulni mpirun $NSLOTS dplace -s 1 <APP>

Az `<APP>` helyére kell írni Tesztelési célból ezeket a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.parancsokat érdemes kipróbálni:

#!/bin/bash ### SGE # $ arcinfo -N OMPTESTc szeged # 12 órás walltime limit # $ arcinfo -c hp -l h_rt=12:00:00 # 192 szál lefoglalása az # openmp párhuzamos környezetben #$ -pe openmp 192 # az uv.q sor használatával #$ -q uv.q # a standard kimenet ide íródik #$ -o StdOut # a hibakimenet ide íródik # $ -e StdErr # a jelenlegi shell környezet exportálódik #$ -V ### NUMA # az StdOut-ba írja a numa node információt numactl --show ### OMP # OMP beállítások export OMP_NUM_THREADS=$NSLOTS omplace <APP>arcinfo

=== Monitorozás Grid job készítése ===A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelnijobok leírására több formátumot is használhatunk: [https://www. A grafikonokhoz <code>ssh -X</code> átirányítás szükségesogf. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés<org/span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat<documents/span>GFD.56.pdf JSDL], <span style="colorvagy [http:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>www.nordugrid. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimálisorg/documents/xrsl. Ideális esetben a grafikonon egyenes zöld vonalak láthatókpdf xRSL]. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utalÍgy adjuk meg, ezen hogy a CPU binding (dplace, omplace parancsok használata) általában segítjobunknak mire van szüksége.Itt egy példa job:

sgemon $ cat job.xrsl & (executable="matlab.sh") (arguments="matlab.m") (stdout="stdout.txt") (stderr="stderr.txt") (jobname="Matlab test") (inputFiles= ("matlab.m" "") ) (memory>="1000") (gmlog="gm.log") (wallTime="240") (runTimeEnvironment="APPS/MATH/MATLAB-g -n <JOBID>7.13")

sgemon $ cat matlab.sh #!/bin/bash echo echo "Compute node: " `/bin/hostname -g f` echo matlab -n nodisplay <JOBID>$1</code>

sgemmon -g - $ cat matlab.m <JOBID> 2+3

==== Tesztelés Linpack-kal ==== zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe $ head stdout.txt Starting matrix multiple example with 10 threadsA monitorozást egy Linpack teszt segítségével érdemes kipróbálni Initializing matrices.. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<code> Thread 0 starting matrix multiply... cd $HOME Thread=0 did row=0 mkdir linpack Thread 9 starting matrix multiply... module load hpl/2 Thread 6 starting matrix multiply..0.mpt cd linpack Thread=0 did row=1 cp $LINPACK_HPL_HOME/bin/{xhpl Thread 5 starting matrix multiply.sh,HPL.dat} . qsub xhpl.sh Thread=5 did row=50 Thread=5 did row=51 zion:cpbNDmLzXwlng5dCemyuQPMmABFKDmABFKDmyVNKDmWBFKDmDQBwOn joe$

A visszakapott jobid-vel hívjuk meg a monitor parancsot:==== MPI példa ==== 

sgemon $ cat job-g mpi.xrsl & (executable="mpi.sh") (stdout="stdout.txt") (stderr="stderr.txt") (jobname="MPI test") (executables="connectivity" "mpi.sh") (count="10") (inputFiles= ("connectivity" "") ("mpi.sh" "") ) (memory>="2600") (gmlog="gm.log") (wallTime="20") (runTimeEnvironment>=ENV/GCC/MPI/OPENMPI-n <JOBID>1.4.3)   $ cat mpi.sh #!/bin/bash sgemon mpirun -g np 10 ./connectivity -m <JOBID>v

A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén ==== Grafikus felületű ARC kliens ====Parancssoros klienseken kívül használni lehet még grafikus klienseket is ilyennek kell legyen ("egyenes" zöld vonal).<br />[[Filehttp:Linpack_cpu//sourceforge.jpg|frame|left|320px|Linpack teszt processzorterhelés]net/projects/arc-gui-clients/?source=directory Innen tudják]letölteni őket.<br />[[FileCategory:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelésHPC]]