https://wiki.niif.hu/api.php?action=feedcontributions&feedformat=atom&user=Herbert%28AT%29niif.huPro-M - Oktatási Üzletág - Wiki - Szerkesztő közreműködései [hu]2026-11-07T22:24:01ZSzerkesztő közreműködéseiMediaWiki 1.30.0https://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2652PRACE User Support2013-07-10T14:07:44Z<p>Herbert(AT)niif.hu: /* The most simple commands */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parallel.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn30 BIP 0/0/24 0 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/7/24 7.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "parallel.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn30.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn31.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
<br />
cn01 linux-x64 24 24.43 62.9G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
<br />
parallel.q 0.52 368 0 280 648 0 0 <br />
serial.q 0.05 5 0 91 96 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
<br />
parallel.q@cn31 BIP 0/5/24 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
parallel.q@cn31 BIP 0/20/24 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2651PRACE User Support2013-07-10T14:06:53Z<p>Herbert(AT)niif.hu: /* Running MPI jobs */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parael.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn30 BIP 0/0/24 0 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/7/24 7.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "parallel.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn30.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn31.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
<br />
cn01 linux-x64 24 24.43 62.9G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
<br />
parallel.q 0.52 368 0 280 648 0 0 <br />
serial.q 0.05 5 0 91 96 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
<br />
parallel.q@cn31 BIP 0/5/24 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
parallel.q@cn31 BIP 0/20/24 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2650PRACE User Support2013-07-10T14:05:44Z<p>Herbert(AT)niif.hu: /* Running PVM job */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parael.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn30 BIP 0/0/24 0 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/7/24 7.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "parallel.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn30.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn31.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
<br />
cn01 linux-x64 24 24.43 62.9G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
<br />
parallel.q 0.52 368 0 280 648 0 0 <br />
serial.q 0.05 5 0 91 96 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
<br />
parallel.q@cn31 BIP 0/5/24 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2649PRACE User Support2013-07-10T14:04:45Z<p>Herbert(AT)niif.hu: /* Queue types */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parael.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn30 BIP 0/0/24 0 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/7/24 7.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "parallel.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn30.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn31.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
<br />
cn01 linux-x64 24 24.43 62.9G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
<br />
parallel.q 0.52 368 0 280 648 0 0 <br />
serial.q 0.05 5 0 91 96 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2648PRACE User Support2013-07-10T14:02:46Z<p>Herbert(AT)niif.hu: /* Job submission */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parael.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn30 BIP 0/0/24 0 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/7/24 7.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "parallel.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn30.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn31.budapest.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
<br />
cn01 linux-x64 24 24.43 62.9G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2647PRACE User Support2013-07-10T13:56:24Z<p>Herbert(AT)niif.hu: /* The most simple commands */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
parael.q<br />
serial.q <br />
test.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@cn.32 BIP 0/3/24 3.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
parallel.q@cn31 BIP 0/24/24 22.3 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
<br />
test.q@cn32 BIP 0/24/24 23.5 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 8.15 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/7/1110 8.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2646PRACE User Support2013-07-10T13:51:15Z<p>Herbert(AT)niif.hu: /* The most simple commands */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|cn01 <br />
|linux-x64 <br />
|24 <br />
|5.00 <br />
|62.9G <br />
|8.6G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn02 <br />
|linux-x64 <br />
|24 <br />
|0.01 <br />
|62.9G <br />
|1.2G <br />
|0.0 <br />
|0.0<br />
|-<br />
|cn03 <br />
|linux-x64 <br />
|24 <br />
|0.03 <br />
|62.9G <br />
|1.5G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
test.q <br />
uv.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@uv BIP 0/1/30 800.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/802/1110 800.15 linux-x64 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 600.42 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/598/1110 600.42 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 8.15 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/7/1110 8.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2638PRACE User Support2013-06-27T10:42:37Z<p>Herbert(AT)niif.hu: /* Running MPI jobs */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|uv <br />
|linux-x64 <br />
|1152 <br />
|900.56 <br />
|6057.9G <br />
|132.4G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
test.q <br />
uv.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@uv BIP 0/1/30 800.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/802/1110 800.15 linux-x64 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 600.42 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/598/1110 600.42 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 8.15 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/7/1110 8.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
<br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
<br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
<br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
<br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
<br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2637PRACE User Support2013-06-27T10:37:47Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|uv <br />
|linux-x64 <br />
|1152 <br />
|900.56 <br />
|6057.9G <br />
|132.4G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
test.q <br />
uv.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@uv BIP 0/1/30 800.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/802/1110 800.15 linux-x64 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 600.42 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/598/1110 600.42 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 8.15 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/7/1110 8.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: <br />
DEBRECEN[service0] ~ (1)$ type mpirun <br />
mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) <br />
DEBRECEN[service0] ~ (0)$ type mpirun.sge <br />
mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) <br />
DEBRECEN[service0] ~ (0)$ <br />
<br />
You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.<br />
<br />
=== Running OpenMP jobs ===<br />
<br />
There are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following ''omp_mm.sh'' script <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N OPENMP_MM <br />
</code><br />
<br />
<code><br />
./omp_mm <br />
</code><br />
<br />
it can be submitted with this command which will use 6 threads <br />
<br />
<code><br />
qsub -pe openmp 6 omp_mm.sh<br />
</code><br />
<br />
<br />
=== Checkpointing support ===<br />
<br />
<br />
At the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2636PRACE User Support2013-06-27T10:33:12Z<p>Herbert(AT)niif.hu: /* Usage of the Sun Grid Engine scheduler */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
=== The most simple commands === <br />
<br />
The most simple SGE command is the display of the cluster data: <br />
<br />
<code><br />
qhost<br />
</code><br />
<br />
A possible outcome of this command can be: <br />
{| class="wikitable" border="1" <br />
|- <br />
|HOSTNAME<br />
|ARCH<br />
|NCPU<br />
|LOAD<br />
|MEMTOT<br />
|MEMUSE<br />
|SWAPTO<br />
|SWAPUS<br />
|-<br />
|global <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki> <br />
<br />
|<nowiki>-</nowiki><br />
<br />
|<nowiki>-</nowiki> <br />
|<nowiki>-</nowiki><br />
|-<br />
|uv <br />
|linux-x64 <br />
|1152 <br />
|900.56 <br />
|6057.9G <br />
|132.4G <br />
|0.0 <br />
|0.0<br />
|}<br />
<br />
<br />
<br />
The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.<br />
<br />
We can have a look at the available queue-s with the following command: <br />
<br />
<code><br />
qconf -sql<br />
</code><br />
<br />
One probable outcome of the command: <br />
<br />
<code><br />
test.q <br />
uv.q <br />
</code><br />
<br />
<br />
To get more info about the state of the system use <br />
<br />
<code> <br />
qstat -f<br />
</code><br />
<br />
It shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: <br />
<br />
<code><br />
<br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
test.q@uv BIP 0/1/30 800.15 linux-x64 <br />
905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/802/1110 800.15 linux-x64 <br />
<br />
</code><br />
<br />
The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.<br />
<br />
If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: <br />
<br />
<code><br />
queuename qtype resv/used/tot. load_avg arch states <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 600.42 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/598/1110 600.42 linux-x64 <br />
<br />
<nowiki>############################################################################ </nowiki><br />
- PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS <br />
<nowiki>############################################################################ </nowiki><br />
905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 <br />
</code><br />
<br />
<br />
<br />
<br />
Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is next<br />
<br />
When a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..<br />
<br />
=== Job submission ===<br />
<br />
Back then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the <br />
<br />
<code> <br />
qsub script.sh<br />
</code><br />
<br />
command. The script describes the task, the main parameters of it, and its running. For example in the following script, the described ''hostname.sh'' task: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N HOSTNAME <br />
/bin/hostname <br />
</code><br />
<br />
<br />
can be posted with the following command: <br />
<br />
<code><br />
qsub hostname.sh<br />
</code><br />
<br />
<br />
The scripts can be used for separating the different binaries: <br />
<br />
<code><br />
#!/bin/sh <br />
case `uname` in <br />
SunOS) ./pi_sun <br />
FreeBSD) ./pi_bsd <br />
esac<br />
</code><br />
<br />
With the following command, we can define the queue where the scheduler puts the job:<br />
<br />
<code><br />
qsub -q serial.q range.sh<br />
</code><br />
<br />
<br />
The command qsub can be issued with a number of different switches, which are gathered in the following table:<br />
<br />
{| class="wikitable" border="1"<br />
|-<br />
|Parameter<br />
|Possible example<br />
|Result<br />
|-<br />
| -N name<br />
| -N Flow<br />
|The job will appear under this name in the queue.<br />
|-<br />
| -cwd<br />
| -cwd<br />
|The output and the error files will appear in this actual catalog.<br />
|-<br />
| -S shell<br />
| -S /bin/tcsh<br />
|The shell in which the scripts run.<br />
|-<br />
| -j {y|n}<br />
| -j y<br />
|Joining the error and the output in one file.<br />
|-<br />
| -r {y|n}<br />
| -r y<br />
|After a restart, should the job restart too (from the beginning).<br />
|-<br />
| -M e-mail<br />
| -M stefan@niif.hu<br />
|Scheduler information will be sent to this address about the job.<br />
|-<br />
| -l<br />
| -l h_cpu=0:15:0<br />
|Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)<br />
|-<br />
| -l<br />
| -l h_vmem=1G<br />
|Chooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.<br />
|-<br />
| -l<br />
| -l in<br />
|Consuming resources, complex request. (This will be defined in the documentation written for the system administrators)<br />
|-<br />
| -binding<br />
| -binding linear:4<br />
|Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information: [http://docs.oracle.com/cd/E24901_01/doc.62/e21976/chapter2.htm#autoId75 here].<br />
|-<br />
| -l<br />
| -l exclusive=true<br />
|Demand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.<br />
|-<br />
| -P<br />
| -P niifi<br />
|Chooses a HPC project. This command will list the available HPC projects: ''qconf -sprjl''<br />
|-<br />
| -R <br />
| -R y<br />
|Resource reservation. This will cause that bigger parallel jobs will get higher priority.<br />
|}<br />
<br />
<br />
qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.<br />
<br />
Sometimes we want to delete a job before its running. For this you can use the <br />
<br />
<code><br />
qdel job_id<br />
</code><br />
<br />
command. <br />
<br />
<code><br />
qdel 903<br />
</code><br />
<br />
The example deletes the job number 903. <br />
<br />
<code><br />
qdel -f 903<br />
</code><br />
<br />
It can delete the running jobs immediately.<br />
<br />
For pending and then continuing jobs, use qmod {-s,-us}. <br />
<br />
<code><br />
qmod -s 903 <br />
qmod -us 903 <br />
</code><br />
<br />
<br />
The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).<br />
<br />
<br />
If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: ''qalter'' <br />
<br />
<br />
<code><br />
qalter -l h_cpu=0:12:0 903 <br />
</code><br />
<br />
<br />
The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.<br />
<br />
<br />
In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:''array.sh'' <br />
<br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N PI_ARRAY_TEST <br />
./pi_gcc `expr $SGE_TASK_ID \* 100000` <br />
</code><br />
<br />
The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: <br />
<br />
<br />
<code><br />
qsub -t 1-7 array.sh <br />
</code><br />
<br />
<br />
meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: <br />
<br />
<code><br />
<br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
test.q@uv BIP 0/0/30 8.15 linux-x64 <br />
<nowiki>--------------------------------------------------------------------------------- </nowiki> <br />
uv.q@uv BIP 0/7/1110 8.15 linux-x64 <br />
907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 <br />
907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 <br />
907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 <br />
907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 <br />
907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 <br />
907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 <br />
907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 <br />
</code><br />
<br />
It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command <br />
<br />
<code><br />
qdel -f 907.5-7 <br />
</code><br />
<br />
will delete chosen components, but leaves the tasks 907.1-4 intact.<br />
The result of the running is seven individual files, with seven different running solutions:<br />
<br />
It can happen; that the task placed in the queue won’t start. This case the: <br />
<br />
<code><br />
qstat -j job_id <br />
</code><br />
<br />
command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.<br />
<br />
The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.<br />
<br />
If we wonder why a certain job won’t start, here’s how you can get information: <br />
<br />
<code><br />
qalter -w v job_id<br />
</code><br />
<br />
One possible outcome <br />
<br />
<code><br />
Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) <br />
Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use <br />
Job 53505 cannot run in PE "mpi" because it only offers 0 slots <br />
verification: no suitable queues<br />
</code><br />
<br />
You can check with this command where the jobs are running: <br />
<br />
<code><br />
qhost -j -q<br />
</code><br />
<br />
<code><br />
HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS <br />
<nowiki>------------------------------------------------------------------------------- </nowiki><br />
global - - - - - - - <br />
cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 <br />
serial.q BI 0/42/48 <br />
120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 <br />
120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 <br />
120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 <br />
120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 <br />
120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 <br />
120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 <br />
120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 <br />
120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 <br />
... <br />
</code><br />
<br />
<br />
=== Queue types ===<br />
<br />
<br />
''parallel.q'' - for paralel jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''serial.q'' - for serial jobs (jobs can run maximum 31 days)<br />
<br />
<br />
''test.q'' - test queue, the job will be killed after 2 hours<br />
<br />
<br />
<br />
<br />
Getting information on the waiting line’s status:<br />
<br />
<br />
<code><br />
qstat -g c <br />
</code><br />
<br />
<br />
<code><br />
CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE <br />
<nowiki>-------------------------------------------------------------------------------- </nowiki><br />
parallel.q 0.91 460 0 44 504 0 0 <br />
serial.q 0.84 200 0 40 240 0 0 <br />
test.q 0.00 0 0 24 24 0 0<br />
</code><br />
<br />
<br />
=== Running PVM job ===<br />
<br />
<br />
To run the previously shown and translated gexample application, we need the following task-describing ''gexample.sh'' script: <br />
<br />
<code> <br />
#!/bin/sh <br />
#$ -N GEXAMPLE <br />
./gexample << EOL <br />
30 <br />
5 <br />
EOL <br />
</code><br />
<br />
We can submit this with the following command: <br />
<br />
<code><br />
qsub -pe pvm 5 gexample.sh <br />
</code><br />
<br />
The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. <br />
<br />
<code><br />
uv.q@uv BIP 0/5/1110 5.15 linux-x64 <br />
908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 <br />
</code><br />
<br />
Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.<br />
<br />
<br />
=== Running MPI jobs ===<br />
<br />
<br />
All computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.<br />
<br />
Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: <br />
<br />
<code><br />
#!/bin/sh <br />
#$ -N CONNECTIVITY <br />
</code><br />
<br />
<code> <br />
mpirun -np $NSLOTS ./connectivity <br />
</code><br />
<br />
Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. <br />
<br />
The job can be submitted with the following command: <br />
<br />
<code><br />
qsub -pe mpi 20 connectivity.sh <br />
</code><br />
<br />
With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts:<br />
<br />
<code><br />
uv.q@uv BIP 0/20/1110 20.30 linux-x64 <br />
910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 <br />
</code><br />
<br />
Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20<br />
<br />
'''Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer''' when you run a job under SGE. This can automatic parse which machines have been selected by SGE.<br />
<br />
This way you can check that you are using SGI MPT or not: DEBRECEN[service0] ~ (1)$ type mpirun mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) DEBRECEN[service0] ~ (0)$ type mpirun.sge mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) DEBRECEN[service0] ~ (0)$ You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.Running OpenMP jobsThere are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following omp_mm.sh script #!/bin/sh #$ -N OPENMP_MM ./omp_mm it can be submitted with this command which will use 6 threads qsub -pe openmp 6 omp_mm.shCheckpointing supportAt the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2635PRACE User Support2013-06-27T08:38:34Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.<br />
<br />
==Usage of the Sun Grid Engine scheduler ==<br />
<br />
<br />
Basically the SGE is a scheduler, which divides the resources, computers into resource partitions. These are called queues. A queue can’t be larger than a physical resource; it can’t expand its borders. SGE registers a waiting list for the resources managed by itself, to which the posted computing tasks are directed. The scheduler searches for the resource defined by the description of the task and starts it. The task-resource coupling depends on the ability of the resources and the parameters of the tasks. In case the resources are overloaded, the tasks have to wait while the requested processor and memory becomes available.<br />
<br />
<br />
The detailed documentation of the SGE can be found [http://docs.oracle.com/cd/E24901_01/doc.62/e21976.pdf here].<br />
<br />
<br />
SGE version on all HPC sites: [http://gridscheduler.sourceforge.net/documentation.html Open Grid Scheduler (OGS/GE 2011.11p1)]<br />
<br />
<br />
The most simple commands The most simple SGE command is the display of the cluster data: qhostA possible outcome of this command can be: HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS ------------------------------------------------------------------------------- global - - - - - - - uv linux-x64 1152 900.56 6057.9G 132.4G 0.0 0.0 The first two columns define the names and types of the computers, which are in the cluster. The NCPU column shows the number of the available processor cores. LOAD shows the computer’s load for the moment (this value equals with the value demonstrated by the uptime UNIX command). The rest of the cells are: overall physical memory, the actual used memory, the available swap-memory, and the used swap. The global line marks all the information in total regarding the cluster.We can have a look at the available queue-s with the following command: qconf -sqlOne probable outcome of the command: test.q uv.q To get more info about the state of the system use qstat -fIt shows which jobs run in which queues, and you can also get detailed info about the queues themselves (state, environment). The command can be used without the -f switch too, but it is less informative, since in this case only the jobs’ states will appear. The command’s outcome: queuename qtype resv/used/tot. load_avg arch states --------------------------------------------------------------------------------- test.q@uv BIP 0/1/30 800.15 linux-x64 905 1.00000 PI_SEQ_TES stefan r 06/04/2011 09:12:14 1 --------------------------------------------------------------------------------- uv.q@uv BIP 0/802/1110 800.15 linux-x64 The first column of this table shows the name of the row, the second column marks the type (B-batch, I-interactive, C-checkpointing, P-parallel environment, E-error state). The third part of the column shows how many jobs can be run at the same time in the row. All in all, these values fit to the number of overall processor cores in the system. The second item of the column shows the free compartments at the moment.If a running (scheduled) job is to be found in the queue, it is directly next to the name of the row, like the recent "PI_SEQ_TES", which runs in the test.q row. The tasks waiting for the resources, because it is overwhelmed or the preliminary conditions are not prompt, appear behind the sum row, listed as pending jobs. For example: queuename qtype resv/used/tot. load_avg arch states --------------------------------------------------------------------------------- test.q@uv BIP 0/0/30 600.42 linux-x64 --------------------------------------------------------------------------------- uv.q@uv BIP 0/598/1110 600.42 linux-x64 ############################################################################ - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS - PENDING JOBS ############################################################################ 905 0.00000 PI_SEQ_TES stefan qw 06/04/2011 09:12:04 1 Each task is given an identifier, which is a number (a job ID, or j_id), this is followed by the job’s priority (0 in both cases), then the job’s name, and the user who posted the job, and the qw marks, that the job is waiting for the queue. Finally the date of the registration for the waiting queue is nextWhen a job finishes running, this is created: jobname.ojobnumber in our actual catalog, which contains the error messages and stapled outputs created by the program..Job submissionBack then, the SGE scheduler was designed to be able to operate different types of architectures. That’s why you can’t post binary files directly, only scripts, like the qsub script.shcommand. The script describes the task, the main parameters of it, and its running. For example in the following script, the describedhostname.sh task: #!/bin/sh #$ -N HOSTNAME /bin/hostname can be posted with the following command: qsub hostname.shThe scripts can be used for separating the different binaries: #!/bin/sh case `uname` in SunOS) ./pi_sun FreeBSD) ./pi_bsd esacWith the following command, we can define the queue where the scheduler puts the job:: qsub -q serial.q range.shThe command qsub can be issued with a number of different switches, which are gathered in the following table:ParameterPossible exampleResult-N name-N FlowThe job will appear under this name in the queue.-cwd-cwdThe output and the error files will appear in this actual catalog.-S shell-S /bin/tcshThe shell in which the scripts run.-j {y|n}-j yJoining the error and the output in one file.-r {y|n}-r yAfter a restart, should the job restart too (from the beginning).-M e-mail-M stefan@niif.huScheduler information will be sent to this address about the job.-l-l h_cpu=0:15:0Chooses a queue for the job where 15 minutes of CPU time could be ensured. (hour:minute:second)-l-l h_vmem=1GChooses a computer for the job where 1 GB memory is available. In the case of parallel jobs its value is extended with the required number of slots. If this parameter is not given, the default setting will be the number of the maximum memory cores set up in the computers.-l-l inConsuming resources, complex request. (This will be defined in the documentation written for the system administrators)-binding-binding linear:4Chooses 4 CPU cores on the worker node-on and assignes in a fix way. Further information. here.-l-l exclusive=trueDemand of exclusive task execution (another job will not be scheduled on the chosen computers). It can be used in the following sites: Szeged, Budapest és Debrecen.-P-P niifiChooses a HPC project. This command will list the available HPC projects: qconf -sprjl-R -R yResource reservation. This will cause that bigger parallel jobs will get higher priority. qsub command arguments can be added to the ~/.sge_request file. If this file exists then it will be added to the qsub arument list.Sometimes we want to delete a job before its running. For this you can use the qdel job_idcommand. qdel 903The example deletes the job number 903. qdel -f 903It can delete the running jobs immediately.For pending and then continuing jobs, use qmod {-s,-us}. qmod -s 903 qmod -us 903 The previous one suspends the running of number 903 (SIGSTOP), while the latter one allows (SIGCONT).If there is a need to change the features (resource requirements) of a job put into the waiting list, it can be done with the command: qalter qalter -l h_cpu=0:12:0 903 The previous command alternates the hard-CPU requirements of the job number 903 (h_cpu) and changes it to 12 minutes. The switches of the qalter command are mainly overlap the ones of the qsub command.In a special case, we have to execute the same task, but on different data. These tasks are the array jobs. With SGE we can upload several jobs to the waiting. For example in the pi task shown in previous chapter, it can be posted multiple times, with different parameters, with the following script:array.sh #!/bin/sh #$ -N PI_ARRAY_TEST ./pi_gcc `expr $SGE_TASK_ID \* 100000` The SGE_TASK_ID is an internal integer used by the SGE, which created values for each running job. The interval can be set up when posting the block: qsub -t 1-7 array.sh meaning that the array.sh program will run in seven issues, and the SGE_TASK_ID will have the value of 1, 2, ..., 7 in every running issue. The qstat -f shows how the block tasks are split: --------------------------------------------------------------------------------- test.q@uv BIP 0/0/30 8.15 linux-x64 --------------------------------------------------------------------------------- uv.q@uv BIP 0/7/1110 8.15 linux-x64 907 1.00000 PI_ARRAY_T stefan r 06/04/2011 10:34:14 1 1 907 0.50000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 2 907 0.33333 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 3 907 0.25000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 4 907 0.20000 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 5 907 0.16667 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 6 907 0.14286 PI_ARRAY_T stefan t 06/04/2011 10:34:14 1 7 It is clear, that behind the tasks there are their array index with which we can refer to the components to the task. For example, in the case of block tasks, there is a possibility to delete particular parts of the block. If we want to delete the subtasks from 5-7 of the previous task, the command qdel -f 907.5-7 will delete chosen components, but leaves the tasks 907.1-4 intact.The result of the running is seven individual files, with seven different running solutions:It can happen; that the task placed in the queue won’t start. This case the: qstat -j job_id command will show the detailed scheduling information, containing which running parameters are unfulfilled by the task.The priority of the different tasks only means the gradiation listed in the pending jobs. The scheduler will analyze the tasks in this order. Since it requires the reservation of resources, it is not sure, that the tasks will run exactly the same order.If we wonder why a certain job won’t start, here’s how you can get information: qalter -w v job_idOne possible outcome Job 53505 cannot run in queue "szeged.q" because it is not contained in its hard queue list (-q) Job 53505 (-l NONE) cannot run in queue "cn46.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use Job 53505 (-l NONE) cannot run in queue "cn48.szeged.hpc.niif.hu" because exclusive resource (exclusive) is already in use Job 53505 cannot run in PE "mpi" because it only offers 0 slots verification: no suitable queuesYou can check with this command where the jobs are running: qhost -j -qHOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS ------------------------------------------------------------------------------- global - - - - - - - cn01 linux-x64 48 41.43 126.0G 3.0G 0.0 0.0 serial.q BI 0/42/48 120087 0.15501 run.sh roczei r 09/23/2012 14:25:51 MASTER 22 120087 0.15501 run.sh roczei r 09/23/2012 15:02:21 MASTER 78 120087 0.15501 run.sh roczei r 10/01/2012 07:58:21 MASTER 143 120087 0.15501 run.sh roczei r 10/01/2012 08:28:51 MASTER 144 120087 0.15501 run.sh roczei r 10/04/2012 17:41:51 MASTER 158 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 3 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 5 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 19 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 23 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 31 120340 0.13970 pwhg.sh roczei r 09/24/2012 23:24:51 MASTER 33 120340 0.13970 pwhg.sh roczei r 09/26/2012 13:42:51 MASTER 113 120340 0.13970 pwhg.sh roczei r 10/01/2012 07:43:06 MASTER 186 120340 0.13970 pwhg.sh roczei r 10/01/2012 07:58:36 MASTER 187 ... Queue types parallel.q - for paralel jobs (jobs can run maximum 31 days)serial.q - for serial jobs (jobs can run maximum 31 days)test.q - test queue, the job will be killed after 2 hoursGetting information on the waiting line’s status:qstat -g c CUSTER QUEUE CQLOAD USED RES AVAIL TOTAL aoACDS cdsuE -------------------------------------------------------------------------------- parallel.q 0.91 460 0 44 504 0 0 serial.q 0.84 200 0 40 240 0 0 test.q 0.00 0 0 24 24 0 0Running PVM jobTo run the previously shown and translated gexample application, we need the following task-describing gexample.sh script: #!/bin/sh #$ -N GEXAMPLE ./gexample << EOL 30 5 EOL We can submit this with the following command: qsub -pe pvm 5 gexample.sh The -pe pvm 5 command will tell to the SGE to create a PVM parallel computer machine with 5 virtual processors, and run the application in this. uv.q@uv BIP 0/5/1110 5.15 linux-x64 908 1.00000 GEXAMPLE stefan r 06/04/2011 13:05:14 5 Also note that after the running two output files were created: one containing an attached standard error and standard output (GEXAMPLE.o908), another describing the working method of the (GEXAMLE.po908). The latter one is mainly for finding errors.Running MPI jobsAll computers are set up with several installations of the MPI system: vendor-specific MPI implementations, and MPICH system too. The default setup is the vendor-specific MPI.Running in the MPI environment is similar to the PVM environment. Let’s have a look at the example shown in the previous chapter connectivity. A very simple task which tests the MPI tasks’internal communication. Use the following connectivity.sh script to run it: #!/bin/sh #$ -N CONNECTIVITY mpirun -np $NSLOTS ./connectivity Here, the $NLOTS variable indicates that how many processors should be used in the MPI environment. This equals with that number what we have reuired for the parallel environment. The job can be submitted with the following command: qsub -pe mpi 20 connectivity.sh With this command we instruct the scheduler to create a parallel MPI environment containing 20 processors, and reserve space for it in one of the queues. Once the space is available, the job starts: uv.q@uv BIP 0/20/1110 20.30 linux-x64 910 1.00000 CONNECTOVI stefan r 06/04/2011 14:03:14 20 Running the program will result in two files: the first one (CONNECTIVITY.o910) is the overlap of the result of the already run program standard output and standard error, while the second one (CONNECTIVITY.po910) is for the follow-up of the operation of the parallel environment. If the running is successful, this file is empty. The command -pe mpi 20 can be given in the script too with the directive #$ -pe mpi 20Important notes: you should use mpirun.sge by SGI MPT on the Debrecen supercomputer when you run a job under SGE. This can automatic parse which machines have been selected by SGE.This way you can check that you are using SGI MPT or not: DEBRECEN[service0] ~ (1)$ type mpirun mpirun is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun) DEBRECEN[service0] ~ (0)$ type mpirun.sge mpirun.sge is hashed (/opt/nce/packages/global/sgi/mpt/2.04/bin/mpirun.sge) DEBRECEN[service0] ~ (0)$ You should use mpirun binary directly if you are using SHF3 environment or you would like to use a more complex MPI run. However, you need to parse the SGE's PE_HOSTFILE environment variable in this case.Running OpenMP jobsThere are applications that either use the solutions of the operation system for multi-threaded program execution, or use a special library designed for this, like OpenMP. These applications have to be instructed how many threads they can use. The matrix multiplication algorithm presented in the previous chapter can be described with the following omp_mm.sh script #!/bin/sh #$ -N OPENMP_MM ./omp_mm it can be submitted with this command which will use 6 threads qsub -pe openmp 6 omp_mm.shCheckpointing supportAt the moment the system doesn’t support any automatic checkpointing/restarting mechanism. If it is need, the application has to take care of it.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2634PRACE User Support2013-06-24T11:19:37Z<p>Herbert(AT)niif.hu: /* User Guide to obtain a digital certificate */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
This guide is valid only for the Hungarian users.<br />
<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2633PRACE User Support2013-06-24T11:19:21Z<p>Herbert(AT)niif.hu: /* User Guide to obtain a digital certificate */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
This guide is valid only for the Hungarian users.<br />
If you are from a foreign country, and would like to get a certificate, [http://www.eugridpma.org/members/worldmap/ here] you can found your country's certification authority.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2632PRACE User Support2013-06-24T09:57:15Z<p>Herbert(AT)niif.hu: /* Access with GSI-SSH */</p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given in seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2631PRACE User Support2013-06-24T08:17:13Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>== User Guide to obtain a digital certificate ==<br />
<br />
<br />
This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
=== Personal Authentication ===<br />
<br />
<br />
After the successful registration on the website, please visit the NIIF CA Registration Office personally with the copy of the pre-registration datasheet, the Request password and an ID document (ID card, passport).<br />
<br /><br />
<br />
Address:<br />
<br />
: NIIF Iroda <br />
: (RA Administrator)<br />
: Victor Hugo Str. 18-22.<br />
: H-1132 Budapest, HUNGARY<br />
: email: ca (at) niif (dot) hu<br />
<br />
: RA opening hours: Monday, 14:00 - 16:30 (CET)<br />
<br />
During the authentication, the colleagues of the Registration Office verify the datas of the certificate and the user, and after the successful identification, they take the next steps in order to create the certification (it is not needed to wait for it).<br />
<br />
<br />
=== Downloading the certificate ===<br />
<br />
An email is going to arrive after the valid certificate has been completed (to the given email address during the request), and clicking on the URL in the email, the certificate can be downloaded. The saved certificate does not contain the private key.<br />
<br />
If the certificate is installed into the browser, it is advised to export it with the private key in PKCS#12 format, so there will be a common backup with the private key and the certificate. Handle this backup carefully! If the private key lost, or gets into unauthorized hands, immediately request a certificate cancellation at the registration interface "Tanúsítvány visszavonása" (certificate cancellation) or at the Registration Office, and inform the concerned people!<br />
<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2630PRACE User Support2013-06-24T07:48:59Z<p>Herbert(AT)niif.hu: /* User Guide to obtain a digital certificate */</p>
<hr />
<div>This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
== User Guide to obtain a digital certificate ==<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2629PRACE User Support2013-06-24T07:25:03Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
== User Guide to obtain a digital certificate ==<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
How to send the PKCS#10 to the CA:<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2628PRACE User Support2013-06-24T07:24:46Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
== User Guide to obtain a digital certificate ==<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''For example: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
How to send the PKCS#10 to the CA:<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2627PRACE User Support2013-06-24T07:24:16Z<p>Herbert(AT)niif.hu: /* User Guide to create a digital certification request with openssl */</p>
<hr />
<div>This document gives a short overview about how to require a digital certificate from NIIF CA for users, if the pre-registration form has been filled.<br />
<br />
== User Guide to obtain a digital certificate ==<br />
=== Installing NIIF CA root certificate ===<br />
<br />
: The first step is to download the "[https://www.ca.niif.hu/en/node/4 root certificate]" ("NIIF CA Root Certificate" part), in the the format, which is known for the used browser or other SSL-using program. The browser asks wether to install/accept the certificate or not - accept or install the certificate in any cases. In addition, activate or allow the option which permits the browser to use the certificate to authenticate websites. Without that, it is not possible to reach the CA's web interface with secure protocol (https). The downloaded/installed certificate can be found in the certificate management modul of the browser. <br />
<br />
=== Request a certificate ===<br />
<br />
==== Request a certificate with openssl ====<br />
*: Sing in into the certification registration website of the NIIF CA with our email address and password stored in the directory.<br />
<br />
*: This site uses secure protocol (https), which the browser often indicates with a warning window - they should be acknowledged implicitly. <br />
<br />
*: In the opening page - which is the public web surface of the CMS certificate management software - choose the "OpenSSL kliens kérelem benyújtása (PKCS#10)" (request an OpenSSL client) option. This leads to the datasheet, which must be filled in accordance with the printed datasheet. First, according to the purpose of the request, the corresponding field must be choosen (CSIRT, GRID, NIIF felhasználó, Független kutató, HBONE).<br />
<br />
*: Copy the public part of our certificate in the field "PKCS#10". You can find a user guide about ''How to create a PKCS#10 certificate with openssl, which suitable for the NIIF CA requirements'' below.<br />
<br />
*: A Challenge and a Request passwords must be given - both of them must be at least 8 characters long. Note them, because they needed for cancellation the certificate, or for the personal authentication.<br />
<br />
*: Fill the other fields (name, email address, phone, organisation), and if there is anything, the CA operator should know, fill the last field with it. If everything is done, after a last check, click on the Elküld ("send") button on the bottom of the page.<br />
<br />
<br />
*: In case of a successful PKCS#10 key-uploading, a page is opening with the confirmation of the successful certification request.<br />
<br />
==== User Guide to create a PKCS#10 digital certification request with openssl ====<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''Ezek lehetnek: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
How to send the PKCS#10 to the CA:<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2626PRACE User Support2013-06-21T11:50:57Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>== User Guide to create a digital certification request with openssl ==<br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''Ezek lehetnek: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
How to send the PKCS#10 to the CA:<br />
<br />
== Access with GSI-SSH ==<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
== GridFTP file transfer ==<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2625PRACE User Support2013-06-21T11:50:17Z<p>Herbert(AT)niif.hu: /* User Guide to create a digital certification request with openssl */</p>
<hr />
<div>==== User Guide to create a digital certification request with openssl ==== <br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
<nowiki>#</nowiki>''purpose of the certificate''<br/><br />
{| class="wikitable" border="0"<br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
|-<br />
|1.organizationalUnitName_default <br />
|= GRID # ''Ezek lehetnek: GRID, HBONE, General Purpose''<br/><br />
|-<br />
|2.organizationalUnitName <br />
| = Second Organizational Unit Name<br/><br />
|-<br />
|2.organizationalUnitName_default <br />
|= NIIF # ''For example: BME, ELTE, SZFKI, SZTAKI, NIIF, ...''<br/><br />
|-<br />
|commonName <br />
|= Common Name (YOUR name) # ''User Name.''<br/><br />
|-<br />
|commonName_max <br />
|= 64A<br />
|}<br />
<br />
<br />
:2. Create PKCS#10 reqquest<br />
<br />
:* No existing secret key:<br />
Run the<br />
<code> <br />
openssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pem <br />
</code><br />
command, and answer the appearing questions at the prompt. The Institute (NIIF CA) and country (HU) datas should not be changed, or the request is going to be invalid. The certification request and the corresponding private key will be saved in the new_csr.pem and privkey.pem files. To gain acces to the private key, during the generating given "pass phrase" password must be used. In case of a forgotten password, the certificate will be unusable. <br />
<br />
:* Existing private key (extend)<br />
<br />
If there is an existing, previously generated private key (it must be at least a 1024 bit RSA key), which can be found in the old_key.pem file, then the following command creates the CSR<br />
<code><br />
openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pem<br />
</code><br />
<br />
<br />
How to send the PKCS#10 to the CA:<br />
<br />
==== Access with GSI-SSH ====<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
==== GridFTP file transfer ====<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2624PRACE User Support2013-06-21T11:26:26Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>==== User Guide to create a digital certification request with openssl ==== <br />
This paragraph gives a short overview about how to require a digital certificate from NIIF CA for users using openssl with the PKCS#10 format.The latest version of the openssl program can be downloaded from: [http://www.slproweb.com/products/Win32OpenSSL.html Windows], [http://www.openssl.org/source/ Linux].<br />
:1. Download the openssl configuration file<br />
<br />
: To generate the CSR, there is a prewritten [http://www.ca.niif.hu/sites/ca.niif.hu/files/niif_ca_user_openssl.cnf niif_ca_user_openssl.cnf] file on the NIIF CA website.<br />
: The following modifications must be done in the config:<br />
<br />
<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
|<nowiki>#</nowiki>purpose of the certificate<br/><br />
|-<br />
|1.organizationalUnitName <br />
|= Organizational Unit Name<br/><br />
1.organizationalUnitName_default = GRID # Ezek lehetnek: GRID, HBONE, General Purpose<br/><br />
2.organizationalUnitName = Second Organizational Unit Name<br/><br />
2.organizationalUnitName_default = NIIF # Például: BME, ELTE, SZFKI, SZTAKI, NIIF, ...<br/><br />
commonName = Common Name (YOUR name) # A felhasználó neve ékezet nélkül.<br/><br />
commonName_max = 64A<br />
|}<br />
<br />
<br />
PKCS#10 kérés elkészítéseMég nincs titkos kulcsFutassuk le aopenssl req -newkey rsa:1024 -config ./niif_ca_user_openssl.cnf -out new_csr.pemparancsot és értelemszerűen válaszoljunk a prompt-nál feltett kérdésekre. A szervezet (NIIF CA) és ország (HU) adatokat ne változtassuk meg, mert ebben az esetben érvénytelen lesz a kérésünk.A tanusítvány kérésünk a new_csr.pem és a hozzátartozo privátkulcs a privkey.pem file-ban lesz eltárolva. A privát kulcs-hoz a generálás során megadott "pass phrase" jelszóval tudunk hozzáférni. Ha ezt jelszót elfelejtjük, akkor a tanusítványunk használhatatlan lesz.Már van korábbról titkos kulcs (hosszabbítás)Ha már rendelkezünk korábban generált titkos kulccsal (legalább 1024 bites RSA kulcs legyen!), ami az old_key.pem file-ban található, akkor az alábbi paranccsal készíthetjük el a CSR-t openssl req -new -key ./old_key.pem -config ./niif_ca_user_openssl.cnf -out new_csr.pemA PKCS#10 eljuttatása CA hozKövessük a Felhasználói digitális tanúsítvány kérelem benyújtása leírás PKCS#10 formátúnú tanúsítványról szóló részét.<br />
<br />
<br />
==== Access with GSI-SSH ====<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
==== GridFTP file transfer ====<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2623NIIF szuperszámítógépek használata2013-06-21T10:47:11Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
<br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
Az alapértelmezettől eltérő azonosító fájlok is használhatóak az ssh kapcsolódás során a -i kapcsolóval:<br />
<br />
<code><br />
ssh -i home/.ssh/id_file felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
<br />
'''Adatátvitel rsync segítségével<br />
<br />
Szintaxis:<br />
<br />
* letöltés<br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
* feltöltés <br />
<br />
<code><br />
rsync [option] helyi_file username@szerver:file <br />
</code><br />
<br />
* Példa:<br />
<br />
:* Aktuális könyvtárból a távoli gép /home/user mappájába történő másolás:<br />
<code><br />
rsync -e ssh *.c username@login.budapest.hpc.niif.hu:/home/user <br />
</code><br />
<br />
(Az ssh kapcsoló használata kötelezően használandó).<br />
<br />
A fenti példa az aktuális könyvtárban levő .c fájlokat másolja át a távoli gépre. Ha a távoli gépen már léteznek ezek a .c fájlok, akkor az rsync protokoll szerint csak a fájlok közötti különbséget másolja át program.<br />
<br />
<br />
Általánosan használt opciós kapcsolók [option]<br />
<br />
<br />
* --delete : azon fájlok törlése, melyek a forrás gépen nem léteznek<br />
* -v : részletesen tájékoztat a futó folyamatokról (Verbose; a -vv kapcsoló még részletesebbé teszi)<br />
* -a : archiválás<br />
* -r : rekurzív másolás <br />
* -z : fájlok tömörítése<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2622NIIF szuperszámítógépek használata2013-06-21T09:33:46Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
Az alapértelmezettől eltérő azonosító fájlok is használhatóak az ssh kapcsolódás során a -i kapcsolóval:<br />
<br />
<code><br />
ssh -i home/.ssh/id_file felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
<br />
'''Adatátvitel rsync segítségével<br />
<br />
Szintaxis:<br />
<br />
* letöltés<br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
* feltöltés <br />
<br />
<code><br />
rsync [option] helyi_file username@szerver:file <br />
</code><br />
<br />
* Példa:<br />
<br />
:* Aktuális könyvtárból a távoli gép /home/user mappájába történő másolás:<br />
<code><br />
rsync -e ssh *.c username@login.budapest.hpc.niif.hu:/home/user <br />
</code><br />
<br />
(Az ssh kapcsoló használata kötelezően használandó).<br />
<br />
A fenti példa az aktuális könyvtárban levő .c fájlokat másolja át a távoli gépre. Ha a távoli gépen már léteznek ezek a .c fájlok, akkor az rsync protokoll szerint csak a fájlok közötti különbséget másolja át program.<br />
<br />
<br />
Általánosan használt opciós kapcsolók [option]<br />
<br />
<br />
* --delete : azon fájlok törlése, melyek a forrás gépen nem léteznek<br />
* -v : részletesen tájékoztat a futó folyamatokról (Verbose; a -vv kapcsoló még részletesebbé teszi)<br />
* -a : archiválás<br />
* -r : rekurzív másolás <br />
* -z : fájlok tömörítése<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2621PRACE User Support2013-06-21T09:01:49Z<p>Herbert(AT)niif.hu: /* GridFTP file transfer */</p>
<hr />
<div> <br />
==== Access with GSI-SSH ====<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
==== GridFTP file transfer ====<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
* Example:<br />
<br />
<code><br />
globus-url-copy file://task/myfile.c gsiftp://login.budapest.hpc.hu/home/task/myfile.c <br />
</code><br />
<br />
This command uploads the myfile.c file from the locak task folder to the remote machine's home/task folder.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2620PRACE User Support2013-06-21T08:45:45Z<p>Herbert(AT)niif.hu: /* Access with GSI-SSH */</p>
<hr />
<div> <br />
==== Access with GSI-SSH ====<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
or<br />
<br />
<code><br />
arcproxy<br />
</code><br />
<br />
commands.<br />
<br />
By default, the proxies are valid for 12 hours.<br />
It is possible to modify this default value with the following commands:<br />
<br />
<code><br />
arcproxy -c validityPeriod=86400<br />
</code><br />
<br />
or<br />
<br />
<code><br />
grid-proxy-init -hours 24<br />
</code><br />
<br />
Both of the previous commands set the validation of the proxies to 24 hours.<br />
Using the arcproxy, the validation time must be given is seconds.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
==== GridFTP file transfer ====<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2619NIIF szuperszámítógépek használata2013-06-21T07:33:26Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
<br />
'''Adatátvitel rsync segítségével<br />
<br />
Szintaxis:<br />
<br />
* letöltés<br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
* feltöltés <br />
<br />
<code><br />
rsync [option] helyi_file username@szerver:file <br />
</code><br />
<br />
* Példa:<br />
<br />
:* Aktuális könyvtárból a távoli gép /home/user mappájába történő másolás:<br />
<code><br />
rsync *.c username@login.budapest.hpc.niif.hu:/home/user <br />
</code><br />
<br />
<br />
A fenti példa az aktuális könyvtárban levő .c fájlokat másolja át a távoli gépre. Ha a távoli gépen már léteznek ezek a .c fájlok, akkor az rsync protokoll szerint csak a fájlok közötti különbséget másolja át program.<br />
<br />
<br />
Általánosan használt opciós kapcsolók [option]<br />
<br />
<br />
* --delete : azon fájlok törlése, melyek a forrás gépen nem léteznek<br />
* -v : részletesen tájékoztat a futó folyamatokról (Verbose; a -vv kapcsoló még részletesebbé teszi)<br />
* -e "ssh kapcsoló" : ssh-t jelöli ki távoli shell-ként<br />
* -a : archiválás<br />
* -r : rekurzív másolás <br />
* -z : fájlok tömörítése<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2618NIIF szuperszámítógépek használata2013-06-21T07:32:42Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
<br />
'''Adatátvitel rsync segítségével<br />
<br />
Szintaxis:<br />
<br />
* letöltés<br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
* feltöltés <br />
<br />
<code><br />
rsync [option] helyi_file username@szerver:file <br />
</code><br />
<br />
* Példa:<br />
<br />
:* Aktuális könyvtárból a távoli gép /home/user mappájába történő másolás:<br />
<code><br />
rsync *.c username@login.budapest.hpc.niif.hu:/home/user <br />
</code><br />
<br />
<br />
A fenti példa az aktuális könyvtárban levő .c fájlokat másolja át a távoli gépre. Ha a távoli gépen már léteznek ezek a .c fájlok, akkor az rsync protokoll szerint csak a fájlok közötti különbséget másolja át program.<br />
<br />
Általánosan használt opciós kapcsolók [option]<br />
<br />
<br />
* --delete : azon fájlok törlése, melyek a forrás gépen nem léteznek<br />
* -v : részletesen tájékoztat a futó folyamatokról (Verbose; a -vv kapcsoló még részletesebbé teszi)<br />
* -e "ssh kapcsoló" : ssh-t jelöli ki távoli shell-ként<br />
* -a : archiválás<br />
* -r : rekurzív másolás <br />
* -z : fájlok tömörítése<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2617NIIF szuperszámítógépek használata2013-06-21T07:06:47Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
<br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
<br />
'''Adatátvitel rsync segítségével<br />
<br />
Szintaxis:<br />
<br />
letöltés<br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
feltöltés <br />
<br />
<code><br />
rsync [option] username@szerver:file helyi_file<br />
</code><br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=HPC-GYIK&diff=2616HPC-GYIK2013-06-20T15:01:03Z<p>Herbert(AT)niif.hu: Új oldal, tartalma: „== GY.I.K == ====Ki használhatja a szuperszámítógépet?==== <br /> A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is a…”</p>
<hr />
<div>== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2614NIIF szuperszámítógépek használata2013-06-20T15:00:11Z<p>Herbert(AT)niif.hu: /* GY.I.K */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
<br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /></div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2613NIIF szuperszámítógépek használata2013-06-20T14:09:24Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br /><br />
For PRACE Users: please follow this link: [[PRACE_User_Support]]<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
<br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2612NIIF szuperszámítógépek használata2013-06-20T14:07:32Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
<br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2611NIIF szuperszámítógépek használata2013-06-20T13:51:42Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>| TípusEz a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| CPU-k / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| Core-ok / CPU <br />
| 12<br />
| 12<br />
| 6<br />
| 6<br />
|- <br />
| Memória / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memória / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| 5 GB<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz<br />
| Intel Xeon X7542 @ 2.66 GHz<br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| OpenMPI (ompi) <br />
| OpenMPI (ompi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br /><br />
<br />
'''SSH belépés'''<br />
<br />
<code><br />
$ ssh felhasznalonev@login.budapest.hpc.niif.hu<br />
</code><br />
<br />
'''Fájlmásolás SCP (Secure Copy - biztonságos másolás) segítségével'''<br />
<br />
Szintaxis:<br />
<br />
<code><br />
<br />
scp [options] username1@source_host:directory1/filename1 username2@destination_host:directory2/filename2<br />
</code><br />
<br />
Egyszerűsített szintaxis:<br />
<br />
* letöltés<br />
<code><br />
<br />
scp username@szerver:file helyi_file <br />
</code><br />
<br />
* feltöltés<br />
<br />
<code><br />
scp helyi_file username@szerver:file<br />
</code><br />
<br />
* Példa:<br />
<br />
:* Adott file másolása a távoli gépen található ~/user könyvtárba: <br />
<br />
<code><br />
scp file.txt username@login.budapest.hpc.niif.hu:home/user/<br />
</code><br />
<br />
:* Adott file letöltése az aktuális könyvtárba: <br />
<br />
<code><br />
scp username@login.budapest.hpc.niif.hu:home/user/file.txt <br />
</code><br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== Java JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
=== Python Numpy és Scipy használat ===<br />
A numerikus Python használatához a következő csomagokat kell betölteni:<br />
<code><br />
module load python numpy scipy<br />
</code><br />
A numpy és a scipy csomagok az Intel MKL OpenMP gyorsítását használják. A jobokat az <code>openmp</code> párhuzamos környezetbe kell elküldeni.<br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=PRACE_User_Support&diff=2610PRACE User Support2013-06-20T13:15:15Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div> <br />
==== Access with GSI-SSH ====<br />
<br />
A user can access to the supercomputers by using the GSI-SSH protocol.<br />
<br />
It requires a machine with a Globus installation that provides the gsissh client.<br />
<br />
The needed credentials (these mean the private and public keys) must be created before entering the machine with the <br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
command.<br />
<br />
<br/><br />
<br />
To enter the site, the <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
command has to be used.<br />
<br />
<br /><br />
<br />
==== GridFTP file transfer ====<br />
<br />
<br />
In order to use GridFTP for file transfer, one needs a GridFTP client program that provides the interface between the user and a remote GridFTP server. There are several clients available for GridFTP, one of which is globus-url-copy, a command line tool which can transfer files using the GridFTP protocol as well as other protocols such as http and ftp. globus-url-copy is distributed with the Globus Toolkit and usually available on machines that have the Globus Toolkit installed.<br />
<br />
<br/><br />
<br />
'''Syntax'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
* [options] The optional command line switches as described later.<br />
<br />
* sourceURL The URL of the file(s) to be copied. If it is a directory, it must end with a slash (/), and all files within that directory will be copied.<br />
<br />
* destURL The URL to which to copy the file(s). To copy several files to one destination URL, destURL must be a directory and be terminated with a slash (/).<br />
<br />
<br />
Globus-url-copy supports multiple protocols, so the format of the source and destination URLs can be either<br />
<br />
<code><br />
file://path <br />
</code><br />
<br />
<br />
when you refer to a local file or directory or<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
<br />
when you refer to a remote file or directory. <br />
<br />
globus-url-copy is supporting other protocols such as http, https, ftp and gsiftp as well.<br />
<br />
<br />
'''Command line options for globus-url-copy [options]'''<br />
<br />
* -help Prints usage information for the globus-url-copy program.<br />
* -version Prints the version of the globus-url-copy program.<br />
* -vb During the transfer, displays: (1) number of bytes transferred (2) performance since the last update (every 5 seconds) (3) average performance for the whole transfer<br />
<br/><br />
'''The following table lists parameters which you can set to optimize the performance of your data transfer:'''<br />
<br/><br />
<br />
* -tcp-bs <size>Specifies the size (in bytes) of the TCP buffer to be used by the underlying GridFTP data channels.<br />
* -p <number of parallel streams> Specifies the number of parallel streams to be used in the GridFTP transfer.<br />
* -stripe Use this parameter to initiate a “striped” GridFTP transfer that uses more than one node at the source and destination. As multiple nodes contribute to the transfer, each using its own network interface, a larger amount of the network bandwidth can be consumed than with a single system. Thus, at least for “big” (> 100 MB) files, striping can considerably improve performance.</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2604NIIF szuperszámítógépek használata2013-06-20T09:26:25Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>| TípusEz a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
====Magyar Szuperszámítógépek összehasonlítása====<br />
<br />
{| class="wikitable" border="1" <br />
|- <br />
| Helyszín<br />
| Budapest<br />
| Szeged<br />
| Debrecen<br />
| Pécs<br />
|- <br />
| Típus<br />
| HP CP4000BL<br />
| HP CP4000BL<br />
| SGI ICE8400EX<br />
| SGI UV 1000<br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
| 4 <br />
| 2 <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12<br />
| 6<br />
| 6<br />
| 6<br />
|- <br />
| Memory / node <br />
| 66 GB <br />
| 132 GB<br />
| 47 GB<br />
| 6 TB<br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
| 2.75 GB<br />
| 3.9 GB<br />
| ?<br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| AMD Opteron 6174 @ 2.2GHz <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on''<br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off''<br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
| Intel (impi) <br />
| SGI MPT (mpt)<br />
| SGI MPT (mpt)<br />
|}<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2601NIIF szuperszámítógépek használata2013-06-20T07:30:08Z<p>Herbert(AT)niif.hu: /* GSI-SSH elérés */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
==== GSI-SSH elérés ====<br />
<br />
A szuperszámítógépekhez GSI-SSH kapcsolattal is hozzá lehet férni.<br />
Ehhez telepített Globus Toolkittel kell rendelkezni a kliens gépen.<br />
<br />
Belépés előtt létre kell hozni a szükséges credentialokat (ami a publikus és privát kulcspárokat jelenti) a <br />
<br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
paranccsal.<br />
<br />
Belépni a <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
paranccsal lehet.<br />
<br />
==== GridFTP adatátvitel ====<br />
<br />
<br />
A szuperszámítógépeken a GridFTP eszköz is használható adatátvitelre.<br />
Ehhez többféle GridFTP kliens is létezik, a Globus Toolkit szintén tartalmazza ezt az eszközt.<br />
<br />
<br />
'''Szintaxis'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
<br />
* [options] Ez a kiegészítő parancs később lesz részletezve.<br />
* sourceURLThe A másolandó fájlok elérési útja. Ha ez egy könyvtárra mutat, akkor egy perjellel kell végződnie (/), és így minden fájl a könyvtárból másolásra kerül.<br />
* destURLThe Az elérései útvonal, ahova a másolandó fájlok kerülnek. Több fájl egy helyre való másolásához a destURL -nek könyvtárnak kell lennie, és perjellel kell végződnie(/).<br />
<br />
<br />
A globus-url-copy többféle protokollt támogat, így a forrás és cél URL-ek lehetnek helyi fájl vagy könyvtárra vonatkozás esetén:<br />
<br />
<code><br />
file://path<br />
<br />
</code><br />
<br />
illetve távoli hely vagy könyvtár esetén:<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
'''Kiegészítő, opciós parancsok [options]'''<br />
<br />
* -help Felhasználói információk kijelzése<br />
* -version A globus-url-copy program verziójának kijelzése<br />
* -vb Adatátvitel alatt a következő információkat mutatja: (1) az átvitt adatok mennyiségét bájtokban (2) átviteli sebesség a legutóbbi frissítés óta (5 másodpercenként) (3) átlagos átviteli sebesség az adott adatátvitelre<br />
<br />
A következő parancsokkal az adatátvitel sebességét lehet optimalizálni:<br />
<br />
* -tcp-bs <méret> Specifikálja a TCP buffer méretét (bájtokban) a használandó GridFTP adatcsatornákra. <br />
* -p <párhuzamos átviteli folyamatok száma> Specifikálja a párhuzamosan használt GridFTP adatátviteli folyamatok számát.<br />
* -stripe Ezt a paramétert akkor érdemes használni, ha az adatátvitel több mint egy node-ot használ forrásként és célként.Ha az adatátvitelben több node vesz részt, használva a saját hálózati eszközeit, nagyobb hálózati teljesítmény érhető el, mint az egy node-os rendszeren. Így nagy fájlok esetén (>100MB), érezhetően nagyobb teljesítmény érhető el<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type | HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 66 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2600NIIF szuperszámítógépek használata2013-06-20T07:29:39Z<p>Herbert(AT)niif.hu: /* GSI-SSH elérés */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
==== GSI-SSH elérés ====<br />
<br />
A szuperszámítógépekhez GSI-SSH kapcsolattal is hozzá lehet férni.<br />
Ehhez telepített Globus Toolkittel kell rendelkezni a kliens gépen.<br />
<br />
Belépés előtt létre kell hozni a szükséges credentialokat (ami a publikus és privát kulcspárokat jelenti) a <br />
<br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
parancssal.<br />
<br />
Belépni a <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
paranccsal lehet.<br />
<br />
==== GridFTP adatátvitel ====<br />
<br />
<br />
A szuperszámítógépeken a GridFTP eszköz is használható adatátvitelre.<br />
Ehhez többféle GridFTP kliens is létezik, a Globus Toolkit szintén tartalmazza ezt az eszközt.<br />
<br />
<br />
'''Szintaxis'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
<br />
* [options] Ez a kiegészítő parancs később lesz részletezve.<br />
* sourceURLThe A másolandó fájlok elérési útja. Ha ez egy könyvtárra mutat, akkor egy perjellel kell végződnie (/), és így minden fájl a könyvtárból másolásra kerül.<br />
* destURLThe Az elérései útvonal, ahova a másolandó fájlok kerülnek. Több fájl egy helyre való másolásához a destURL -nek könyvtárnak kell lennie, és perjellel kell végződnie(/).<br />
<br />
<br />
A globus-url-copy többféle protokollt támogat, így a forrás és cél URL-ek lehetnek helyi fájl vagy könyvtárra vonatkozás esetén:<br />
<br />
<code><br />
file://path<br />
<br />
</code><br />
<br />
illetve távoli hely vagy könyvtár esetén:<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
'''Kiegészítő, opciós parancsok [options]'''<br />
<br />
* -help Felhasználói információk kijelzése<br />
* -version A globus-url-copy program verziójának kijelzése<br />
* -vb Adatátvitel alatt a következő információkat mutatja: (1) az átvitt adatok mennyiségét bájtokban (2) átviteli sebesség a legutóbbi frissítés óta (5 másodpercenként) (3) átlagos átviteli sebesség az adott adatátvitelre<br />
<br />
A következő parancsokkal az adatátvitel sebességét lehet optimalizálni:<br />
<br />
* -tcp-bs <méret> Specifikálja a TCP buffer méretét (bájtokban) a használandó GridFTP adatcsatornákra. <br />
* -p <párhuzamos átviteli folyamatok száma> Specifikálja a párhuzamosan használt GridFTP adatátviteli folyamatok számát.<br />
* -stripe Ezt a paramétert akkor érdemes használni, ha az adatátvitel több mint egy node-ot használ forrásként és célként.Ha az adatátvitelben több node vesz részt, használva a saját hálózati eszközeit, nagyobb hálózati teljesítmény érhető el, mint az egy node-os rendszeren. Így nagy fájlok esetén (>100MB), érezhetően nagyobb teljesítmény érhető el<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type | HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 66 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2599NIIF szuperszámítógépek használata2013-06-20T07:27:48Z<p>Herbert(AT)niif.hu: /* Hozzáférés a szuperszámítógépekhez */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
==== GSI-SSH elérés ====<br />
<br />
A szuperszámítógépekhez GSI-SSH kapcsolattal is hozzá lehet férni.<br />
Ehhez telepített Globus Toolkittel kell rendelkezni a kliens gépen.<br />
<br />
Belépés előtt létre kell hozni a szükséges credentialokat (ami a publikus és privát kulcspárokat jelenti) a <br />
<br />
<br />
<code><br />
grid-proxy-init<br />
</code><br />
<br />
<br />
Belépni a <br />
<br />
<code><br />
gsissh -p 2222 login.budapest.hpc.niif.hu<br />
</code><br />
<br />
paranccsal lehet.<br />
<br />
==== GridFTP adatátvitel ====<br />
<br />
<br />
A szuperszámítógépeken a GridFTP eszköz is használható adatátvitelre.<br />
Ehhez többféle GridFTP kliens is létezik, a Globus Toolkit szintén tartalmazza ezt az eszközt.<br />
<br />
<br />
'''Szintaxis'''<br />
<br />
<code><br />
globus-url-copy [options] sourceURL destinationURL<br />
</code><br />
<br />
<br />
* [options] Ez a kiegészítő parancs később lesz részletezve.<br />
* sourceURLThe A másolandó fájlok elérési útja. Ha ez egy könyvtárra mutat, akkor egy perjellel kell végződnie (/), és így minden fájl a könyvtárból másolásra kerül.<br />
* destURLThe Az elérései útvonal, ahova a másolandó fájlok kerülnek. Több fájl egy helyre való másolásához a destURL -nek könyvtárnak kell lennie, és perjellel kell végződnie(/).<br />
<br />
<br />
A globus-url-copy többféle protokollt támogat, így a forrás és cél URL-ek lehetnek helyi fájl vagy könyvtárra vonatkozás esetén:<br />
<br />
<code><br />
file://path<br />
<br />
</code><br />
<br />
illetve távoli hely vagy könyvtár esetén:<br />
<br />
<code><br />
protocol://host[:port]/path<br />
</code><br />
<br />
'''Kiegészítő, opciós parancsok [options]'''<br />
<br />
* -help Felhasználói információk kijelzése<br />
* -version A globus-url-copy program verziójának kijelzése<br />
* -vb Adatátvitel alatt a következő információkat mutatja: (1) az átvitt adatok mennyiségét bájtokban (2) átviteli sebesség a legutóbbi frissítés óta (5 másodpercenként) (3) átlagos átviteli sebesség az adott adatátvitelre<br />
<br />
A következő parancsokkal az adatátvitel sebességét lehet optimalizálni:<br />
<br />
* -tcp-bs <méret> Specifikálja a TCP buffer méretét (bájtokban) a használandó GridFTP adatcsatornákra. <br />
* -p <párhuzamos átviteli folyamatok száma> Specifikálja a párhuzamosan használt GridFTP adatátviteli folyamatok számát.<br />
* -stripe Ezt a paramétert akkor érdemes használni, ha az adatátvitel több mint egy node-ot használ forrásként és célként.Ha az adatátvitelben több node vesz részt, használva a saját hálózati eszközeit, nagyobb hálózati teljesítmény érhető el, mint az egy node-os rendszeren. Így nagy fájlok esetén (>100MB), érezhetően nagyobb teljesítmény érhető el<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type | HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 66 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2598NIIF szuperszámítógépek használata2013-06-20T06:28:21Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type | HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 66 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
====Ki használhatja a szuperszámítógépet?====<br />
<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
====Mire használható a szuperszámítógép-rendszer?====<br />
<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
<br />
====Hogyan lehet a szuperszámítógépekhez hozzáférni?====<br />
<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
<br />
====Melyek a felhasználás feltételei?====<br />
<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
<br />
====Hogyan kerülnek elosztásra az erőforrások?====<br />
<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
<br />
====Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?====<br />
<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
<br />
====Milyen felhasználói támogatás/segítség vehető igénybe?====<br />
<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
<br />
====Mennyit kell fizetni a szuperszámítógépek használatáért?====<br />
<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2597NIIF szuperszámítógépek használata2013-06-19T14:33:05Z<p>Herbert(AT)niif.hu: /* HP Budapest */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type | HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 66 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2596NIIF szuperszámítógépek használata2013-06-19T14:30:52Z<p>Herbert(AT)niif.hu: /* HP Szeged */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| HP CP4000BL <br />
|- <br />
| # of CPUs / node <br />
| 4 <br />
|- <br />
| # of cores / CPU <br />
| 12 <br />
|- <br />
| Memory / node <br />
| 132 GB <br />
|- <br />
| Memory / core <br />
| 2.75 GB <br />
|- <br />
| CPU <br />
| AMD Opteron 6174 @ 2.2GHz <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| Intel (impi) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2595NIIF szuperszámítógépek használata2013-06-19T14:28:19Z<p>Herbert(AT)niif.hu: /* SGI UV Pécs */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI UV 1000 <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory <br />
| 6 TB <br />
|- <br />
| CPU <br />
| Intel Xeon X7542 @ 2.66 GHz ''SMT off'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE]<br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2594NIIF szuperszámítógépek használata2013-06-19T14:25:18Z<p>Herbert(AT)niif.hu: /* Specification */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specifikációk === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2593NIIF szuperszámítógépek használata2013-06-19T14:24:59Z<p>Herbert(AT)niif.hu: /* SGI ICE Debrecen */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
<br />
== SGI ICE Debrecen ==<br />
=== Specification === <br />
{| class="wikitable" border="1" <br />
|- <br />
| Type <br />
| SGI ICE8400EX <br />
|- <br />
| # of CPUs / node <br />
| 2 <br />
|- <br />
| # of cores / CPU <br />
| 6 <br />
|- <br />
| Memory / node <br />
| 47 GB <br />
|- <br />
| Memory / core <br />
| 3.9 GB <br />
|- <br />
| CPU <br />
| Intel Xeon X5680 @ 3.33 GHz ''SMT on'' <br />
|- <br />
| Architecture <br />
| x86_64 / intel64 / em64t ''little-endian'' <br />
|- <br />
| Scheduler <br />
| [http://wikis.sun.com/display/gridengine62u5/Using SGE] <br />
|- <br />
| MPI <br />
| SGI MPT (mpt) <br />
|- <br />
| ESZR <br />
| local <br />
|}<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2592NIIF szuperszámítógépek használata2013-06-19T14:18:21Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
<br />
== SGI ICE Debrecen ==<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2591NIIF szuperszámítógépek használata2013-06-19T14:17:45Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== HP Szeged ==<br />
<br />
== SGI ICE ==<br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2590NIIF szuperszámítógépek használata2013-06-19T14:13:25Z<p>Herbert(AT)niif.hu: /* GY.I.K */</p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
<br />
:1. Ki használhatja a szuperszámítógépet?<br /><br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
<br />
:2. Mire használható a szuperszámítógép-rendszer?<br /><br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
<br />
:3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br /><br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
<br />
:4. Melyek a felhasználás feltételei?<br /><br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
<br />
:5. Hogyan kerülnek elosztásra az erőforrások?<br /><br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
<br />
:6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br /><br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
<br />
:7. Milyen felhasználói támogatás/segítség vehető igénybe?<br /><br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
<br />
:8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br /><br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2589NIIF szuperszámítógépek használata2013-06-19T14:10:07Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
==A szuperszámítógépekről== <br />
<br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
<br />
# Ki használhatja a szuperszámítógépet?A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
# Mire használható a szuperszámítógép-rendszer?A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
# Hogyan lehet a szuperszámítógépekhez hozzáférni?A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
# Melyek a felhasználás feltételei?A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
# Hogyan kerülnek elosztásra az erőforrások?A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
# Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
# Milyen felhasználói támogatás/segítség vehető igénybe?A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
# Mennyit kell fizetni a szuperszámítógépek használatáért?A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.huhttps://wiki.niif.hu/index.php?title=NIIF_szupersz%C3%A1m%C3%ADt%C3%B3g%C3%A9pek_haszn%C3%A1lata&diff=2588NIIF szuperszámítógépek használata2013-06-19T13:56:49Z<p>Herbert(AT)niif.hu: </p>
<hr />
<div>== Az oldal célja ==<br />
Ez a wiki oldal a NIIF Intézet (Nemzeti Információs Infrastruktúra Fejlesztési Intézet) szuperszámítógépes szolgáltatásához kapcsolódó információkat tartalmazza.<br />
<br />
== A szuperszámítógépekről == <br />
<br />
Az NIIF Intézet szuperszámítógép szolgáltatása tudományos számítási feladatok futtatására, valamint tudományos célú adattárolásra szolgál. A jelenleg integrált szuperszámítógép-rendszer komponensei négy helyszínen találhatók:<br />
<br />
* Debreceni Egyetem<br />
* NIIFI központ<br />
* Pécsi Tudományegyetem<br />
* Szegedi Tudományegyetem<br />
<br />
A tudományos számítási feladatok különböző típusainak minél szélesebb körű lefedettsége érdekében az egyes helyszíneken különböző felépítésű gépek találhatók: egy helyszínen SMP/ccNUMA, három helyszínen pedig "fat-node" fürtözött megoldás. Az alrendszereket az NIIFI nagy sávszélességű, alacsony késleltetésű HBONE+ adathálózatán keresztül, ARC grid köztesréteg, valamint harmonizált felhasználói azonosítás segítségével integráljuk egységes elvek mentén elérhető számítási egységgé. Az erőforrás jelenleg Magyarország legnagyobb tudományos számítás céljára felhasználható erőforrása, amely összesen 50 billió lebegőpontos művelet elvégzését teszi lehetővé másodpercenként.<br />
A szuperszámítógép-rendszert az NIIFI üzemelteti és fejleszti. A rendszerhez regisztrációt követően, minden olyan személy vagy kutatócsoport hozzáférhet, amely tagintézményi szerződéses kapcsolatban áll az NIIF Intézettel.<br />
A gépen megtalálhatók és futtathatók a legkorszerűbb fejlesztőeszközök és tudományos számításra szolgáló alkalmazások, valamint, az NIIF adatközpontban elhelyezett alrendszer kivételével, valamennyi alrendszer kiegészül a számítási feladatok eredményeit megjelenítő vizualizációs eszközökkel.<br />
<br />
== Hozzáférés a szuperszámítógépekhez == <br />
A szuperszámítógépekhez kulcsos SSH használatával lehet hozzáférni. Ajánlott UTF-8 képes terminált használ az ékezetes betűk megjeelenítése érdekében. PUTTY terminál esetén a ''Window/Translation'' beállítás alatt a character set-et kell UTF-8-ra állítani.<br />
<br />
=== Hozzáférés a Shell Framework használatával ===<br />
A Shell Framework egy összetett Bash alapú keretrendszer, ami kifejezetten a HPC felhasználók igényei alapján lett kifejlesztve. Jelentősen egyszerűsíti az SSH-val és a jobok kezelésével kapcsolatos teendőket. Támogatott operációs rendszerek: OS X, Linux.<br />
<br />
==== Telepítés és frissítés ====<br />
A keretrendszer a github.com-ról telepíthető és frissíthető. A telepítéséhez a következő parancsokat kell futtatni a terminálban:<br />
<code><br />
cd $HOME<br />
git clone git://github.com/hornos/shf3.git<br />
echo 'source $HOME/shf3/bin/shfrc' >> $HOME/.profile<br />
source .profile<br />
</code><br />
<br />
A frissítéseket a következő paranccsal tudjuk letölteni:<br />
<code><br />
shfmgr -u<br />
</code><br />
<br />
==== SSH elérés beállítása ====<br />
Az SSH modul független a <tt>$HOME/.ssh</tt> könyvtárban található konfigurációtól. Minden SSH login/gép pároshoz tartozik egy MID fájl. Ebben a fájlban vannak tárolva az SSH paraméterei <tt>kulcs=érték</tt> formában. A MID fájl Bash formátumú szkript fájl, amelyet más programokban a <tt>source</tt> paranccsal tudunk beolvasni. A <tt>$HOME/shf3</tt> könyvtár tartalmazza a teljes keretrendszert és a beállításokat is, ezért ezt a könyvtárat tehetjük egy titkosított USB meghajtóra is és symlinkelhetjük a home könyvtárunkba.<br />
<br />
Új SSH MID-et a következő paranccsal tudunk létrehozni:<br />
<code><br />
sshmgr -n <MID><br />
</code><br />
A következő beállításokat kell beleírni a MID fájlba:<br />
<code><br />
# a távoli gép IP címe vagy DNS neve<br />
mid_ssh_fqdn="skynet.cyberdy.ne"<br />
# távoli felhasználói név<br />
mid_ssh_user="$USER"<br />
# SSH port<br />
mid_ssh_port=22<br />
# explicit ellenőrzés<br />
mid_ssh_port_check="ping"<br />
</code><br />
Amennyiben nincs még SSH kulcsunk a szkript létrehozza ezt. Az SSH kulcsokat a <br />
<tt>$HOME/shf3/key/ssh</tt> könyvtár alatt találjuk: privát kulcs: <tt><MID>.sec</tt>, publikus kulcs: <tt><MID>.pub</tt>. A publikus részt kell eljuttatni a távoli gépre ill. elküldeni a regisztráció során. Ha vannak már kulcsaink, akkor ebbe a könyvtárba kell másolni az előbb említett nevekkel. Az SSH MID-ek a <tt>$HOME/shf3/mid/ssh</tt> könyvtár alatt vannak a <tt><MID></tt> nevű fájlokban. Minden SSH-val kapcsolatos parancs ezekt a fájlokat olvassa és használja a kulcsokat, ha elérhetők.<br />
<br />
<br />
== Felhasználói felület ==<br />
A szupergépek elsődleges felhasználói felülete a Bash shell. Az automatikusan betöltődő NIIF Common Environment (NCE) a PS1 promptot a következőképp állítja be:<br />
<code><br />
rövid CWD<br />
|<br />
BUDAPEST[login] ~ (0)$<br />
| | |<br />
HPC állomás | |<br />
rövid gép név |<br />
korábbi parancs exit kódja<br />
</code><br />
<br />
== Általános jellemzők ==<br />
A frontend gépeken felhasználói limitek vannak beállítva. Ezekről a következő paranccsal kapunk információt:<br />
<code><br />
ulimit -a<br />
</code><br />
A limitek a compute node-okon és az UV-n nincsenek beállítva.<br />
<br />
=== JVM heap méret ===<br />
A memória limit miatt a Java virtuális gépen és fordító nem jól működik, ezért meg kell adni a maximális heap méretét, ami a frontend gépeken maximum 3500m:<br />
<code><br />
java -Xmx512m -version<br />
javac -J-Xmx512m -version<br />
</code><br />
<br />
== HP Budapest ==<br />
=== Fordítás ===<br />
Elérhető fordítók listája<br />
{| class="wikitable" border="1"<br />
|-<br />
! Forító<br />
! Soros<br />
! Párhuzamos<br />
|-<br />
| Intel Fortran<br />
| ifort<br />
| mpiif90<br />
|-<br />
| Intel C<br />
| icc<br />
| mpiicc<br />
|-<br />
| GNU Fortran<br />
| gfotran<br />
| mpif90<br />
|-<br />
| GNU C<br />
| gcc<br />
| mpicc<br />
|}<br />
<br />
A fordítási paramétereket az NCE környezeti változókból érdemes kiolvasni:<br />
<code><br />
NCE_OFLAGS - optimalizációs kapcsolók C és Fortran<br />
NCE_FFLAGS - Fortran kapcsolók<br />
NCE_CFLAGS - C kapcsolók<br />
NCE_LDFLAGS - könyvtárak C és Fortran<br />
</code><br />
Az NCE környezeti változó listáját az <code>nce</code> paranccsal kérhetjük le.<br />
<br />
A budapesti gépen elérhető a PRACE környezet is, amely tartalmaz egy ajánlott kapcsoló és könyvtár összeállítást tartalmaz. A PRACE környezet betöltése:<br />
<code><br />
module load prace<br />
</code><br />
A PRACE környezet az AMD ACML matematikai könyvtárakat használja, amennyiben az Intel MKL-re van szükségünk, akkor a PRACE környezetet nem kell betölteni. A megfelelő MKL kapcsolókat az [http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor Intel Link Advisor] szerint kell beállítani, pl.:<br />
<code><br />
FFLAGS=-openmp -I$(MKLROOT)/include<br />
CFLAGS=-openmp -I$(MKLROOT)/include<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_openmpi_lp64.a \<br />
-Wl,--end-group -lpthread -lm<br />
</code><br />
<br />
=== Párhuzamos környezet ===<br />
==== OpenMP ====<br />
Az OpenMP paraméterket környezeti változókon keresztül kell beállítani. Az <code>openmp</code> párhuzamos SGE környezet az OpenMP szálak számát beállítja. Tovább környezeti változókat az [https://computing.llnl.gov/tutorials/openMP/#EnvironmentVariables LLNL OpenMP oldalán] találtok.<br />
<br />
==== MPI ====<br />
Az alapértelmezett MPI könyvtár az Open MPI. Ajánlott optimalizációs kapcsolók (CPU binding):<br />
<code><br />
<br />
--bind-to-core --bycore<br />
</code><br />
<br />
== SGI UV Pécs ==<br />
A pécsi gépen csak SMP vagy MPI programok futtatása engedélyezett. Minimálisan 12 szálat lehet lefoglalni. A foglalás alapegysége a numa node, ami 2x6 processzort és 60GB memóriát tartalmaz. Érdemes 12 többszörösével számolni a lefoglalalndó szálakat, pl.: 12, 24, 48, 96... Ha 2 hatványaira van szükségünk, akkor az SGE foglalást a legközelebbi 12-es szálszámmal kérjük, és az MPI-t vagy az OMP paraméterezzük 2^n szerint.<br />
<br />
Az alapértelmezett MPI könyvtár az SGI MPT. Ez a könyvtár biztosítja a legjobb teljesítményt az UV gépen. A felhasználói programokat ehhez a könyvtárhoz kell fordítani. Fordításhoz az Intel Link Advisor-t érdemes használni. Az ajánlott fordítás opciók:<br />
<br />
=== MPI fordítási opciók ===<br />
<code><br />
CFLAGS=-O2 -xSSE4.2<br />
FFLAGS=-O2 -xSSE4.2<br />
LDFLAGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_sequential.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-lpthread -lm<br />
</code><br />
<br />
=== MPI és OpenMP fordítási opciók ===<br />
Ebben az esetben az MKL műveletek OpenMP szálasíthatók, a program hibrid MPI és OMP módban is tud üzemelni.<br />
<code><br />
CFLAGS=-O2 -xSSE4.2 -openmp<br />
FFLAGS=-O2 -xSSE4.2 -openmp<br />
LDFALGS=$(MKLROOT)/lib/intel64/libmkl_scalapack_lp64.a \<br />
-Wl,--start-group $(MKLROOT)/lib/intel64/libmkl_intel_lp64.a \<br />
$(MKLROOT)/lib/intel64/libmkl_intel_thread.a \<br />
$(MKLROOT)/lib/intel64/libmkl_core.a \<br />
$(MKLROOT)/lib/intel64/libmkl_blacs_sgimpt_lp64.a -Wl,--end-group \<br />
-liomp5 -lpthread -lm -openmp<br />
</code><br />
<br />
=== MPI SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N MPITEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 384 szál lefoglalása az<br />
# mpi párhuzamos környezetben<br />
#$ -pe mpi 384<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=1<br />
### MPI<br />
# MPI beállítások<br />
export MPI_MEMMAP_OFF=1<br />
# saját szkript vagy az mpirun közvetlen meghívás<br />
# 384 MPI szál fog elindulni<br />
mpirun $NSLOTS dplace -s 1 <APP><br />
</code><br />
Az `<APP>` helyére kell írni a futtatandó programot és paramétereit. A `dplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== OMP SGE job szkript példa ===<br />
<code><br />
#!/bin/bash<br />
### SGE<br />
#$ -N OMPTEST<br />
# 12 órás walltime limit <br />
#$ -l h_rt=12:00:00<br />
# 192 szál lefoglalása az<br />
# openmp párhuzamos környezetben<br />
#$ -pe openmp 192<br />
# az uv.q sor használatával<br />
#$ -q uv.q<br />
# a standard kimenet ide íródik<br />
#$ -o StdOut<br />
# a hibakimenet ide íródik<br />
#$ -e StdErr<br />
# a jelenlegi shell környezet exportálódik<br />
#$ -V<br />
### NUMA<br />
# az StdOut-ba írja a numa node információt<br />
numactl --show<br />
### OMP<br />
# OMP beállítások<br />
export OMP_NUM_THREADS=$NSLOTS<br />
omplace <APP><br />
</code><br />
Az `omplace` egy SGI előtétprogram, ami az MPI szálak ideális CPU elosztását végzi, megadása javasolt, mert általában javítja a teljesítményt.<br />
<br />
=== Monitorozás ===<br />
A jobhoz rendelt cpusetet (CPU és memória szelet) a következő parancsokkal lehet megfigyelni. A grafikonokhoz <code>ssh -X</code> átirányítás szükséges. A processzorterhelés grafikonján négy adat szerepel: <span style="color:#00FF00">zöld - hasznos, felhasználói terhelés</span>, <span style="color:#FFFF00;background-color:#DDDDDD;">sárga - üresjárat</span>, <span style="color:#0000FF">kék</span> és <span style="color:#FF0000">piros - káros rendszerterhelés</span>. Egy HPC program akkor fut "jól", ha a zöld, felhasználói terhelés maximális, a többi pedig minimális. Ideális esetben a grafikonon egyenes zöld vonalak láthatók. Nem egyenes ("ugráló") grafikon a terhelés nem egyenletes elosztására utal, ezen a CPU binding (dplace, omplace parancsok használata) általában segít.<br />
<br />
Processzor terhelés numa node-onként (6 core), az ideális terhelés 6-nál (600%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Processzor terhelés CPU-nként, az ideális terhelés 1-nél (100%) van:<br />
<code><br />
sgemon -g -n <JOBID><br />
</code><br />
<br />
Memória terhelés numa node-onként, a maximális terhelés 30 GB-nál van, ami core-onként 5GB-nak felel meg:<br />
<code><br />
sgemmon -g -m <JOBID><br />
</code><br />
<br />
<br />
==== Tesztelés Linpack-kal ====<br />
A monitorozást egy Linpack teszt segítségével érdemes kipróbálni. A következő parancsokkal előkészítjünk egy Linpack teszt futást a <code>test.q</code> sorban:<br />
<code><br />
cd $HOME<br />
mkdir linpack<br />
module load hpl/2.0.mpt<br />
cd linpack<br />
cp $LINPACK_HPL_HOME/bin/{xhpl.sh,HPL.dat} .<br />
qsub xhpl.sh<br />
</code><br />
A visszakapott jobid-vel hívjuk meg a monitor parancsot:<br />
<code><br />
sgemon -g -n <JOBID><br />
sgemon -g -m <JOBID><br />
</code><br />
A képen látható ábráknak megfelelő terhelési grafikonokat kell kapnunk. A grafikonok jellege más HPC alkalmazások esetén is ilyennek kell legyen ("egyenes" zöld vonal).<br />
<br /><br />
[[File:Linpack_cpu.jpg|frame|left|320px|Linpack teszt processzorterhelés]]<br />
<br /><br />
[[File:Linpack_mem.jpg|frame|left|320px|Linpack teszt memóriaterhelés]]<br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br /><br />
<br />
<br /><br />
<br />
== GY.I.K ==<br />
<br />
1. Ki használhatja a szuperszámítógépet?<br />
A szuperszámítógép-rendszert felhasználói a magyar akadémiai körből, azon belül is az NIIF tagintézmények köréből kerülhetnek ki. A szuperszámítógépek tényleges felhasználói ezen intézmények munkatársai ill. hallgatói, valamint - indokolt esetben - egy NIIF tagintézmény és egy magyar vagy külföldi nem NIIF tagintézmény közötti tudományos kooperáció esetén a nem NIIF tagintézmény munkatársai lehetnek. Speciális esetben, egyéb indokokra való tekintettel (pl. nagy jelentőségű, az ország számára kiemelten fontos kutatás/fejlesztés/alkalmazás stb.) a fenti szabály alól az NIIF Program vezetése egyedi elbírálás alapján felmentést adhat.<br />
2. Mire használható a szuperszámítógép-rendszer?<br />
A szuperszámítógép üzemeltetésének célja a magyar kutatás és felsőoktatás nagysebességű ill. kapacitású számítási igényeinek kiszolgálása. A gépek tehát felhasználhatók az alkalmazására jogosult intézmények bármelyikében folyó olyan kutatási és/vagy oktatási célra, amelyhez ilyen teljesítményű számítástechnikai kapacitás szükséges. Elsősorban az extrém számítási mennyiséget vagy sebességet igénylő vagy igen nagy memóriaigényű alkalmazások kiszolgálása a cél.<br />
A szuperszámítógépek nem használhatók a fentiektől eltérő célokra (pl. profitérdekelt tevékenység keretében folyó fejlesztésekhez, alkalmazásokhoz, vagy más, hagyományos eszközökkel is kielégítően megoldható feladatokhoz, stb.), vagy hagyományos értelemben vett hálózati szolgáltatások (pl. web-, ftp-, adatbázis- vagy file szerver) üzemeltetésére sem.<br />
3. Hogyan lehet a szuperszámítógépekhez hozzáférni?<br />
A szuperszámítógép-rendszer mindegyik alrendszere az NIIF központban, illetve NIIF regionális központokban üzemelnek, ott ahol a magyar akadémiai Internet gerinchálózat (HBONE+) nagysebességű vonalai összefutnak. Az alrendszerek többször 10GB/s sebességű, dedikált lambda-kapcsolatokon keresztül kapcsolódnak egymáshoz, illetve a hálózathoz. Igénybevételük távolról, a hálózaton keresztül lehetséges, tetszőleges kliens számítógépről, alfanumerikus vagy grafikus terminál, ill. terminál emuláció valamint biztonságos kapcsolatot lehetővé tevő protokollok (ssh, scp), köztesréteg felhasználásával.<br />
A kitűnő hálózati kapcsolódás biztosítja, hogy a rendszert a gerinchálózat bármelyik pontjáról nagy sebességgel el lehet érni, és így még nagy mennyiségű adat mozgatása sem jelent problémát.<br />
A szuperszámítógép-rendszerhez való hozzáféréshez témaszám(ok)ra van szükség, amit az üzemeltetőtől kell igényelni. A témaszám igényléshez egy kérdőívet kell kitölteni, amelyen megadott információk alapján dönt az NIIF Intézet az igénylés jogosságáról. Szükség esetén az NIIFI konzultálhat is az igénylővel mielőtt döntést hoz. A témaszám személyre szóló és át nem ruházható. A témaszám átvételével a felhasználó deklarálja, hogy megismerte, és magára nézve kötelezőnek tartja a szuperszámítógép használatára vonatkozó szabályokat.<br />
4. Melyek a felhasználás feltételei?<br />
A szuperszámítógépeket csak érvényes témaszám birtokában, a témaszám igénylésekor megjelölt feladatokra lehet használni a kapott kvóták keretein belül.<br />
A szuperszámítógépek felhasználásával elért tudományos eredmények, tapasztalatok hazai és nemzetközi publikációiban meg kell említeni az NIIF infrastruktúra alkalmazásának tényét.<br />
A szuperszámítógépeket felhasználó projektek státuszáról, előrehaladásáról, elért eredményeiről évente legalább egyszer rövid összegzést kell küldeni az NIIF Intézetnek.<br />
5. Hogyan kerülnek elosztásra az erőforrások?<br />
A szuperszámítógép erőforrásai (gépidő, processzorszám, memória, háttértár) korlátozottak. Az alapvető cél az, hogy mindenki hozzájusson a számára szükséges kapacitáshoz. Amennyiben egy adott pillanatban az igények meghaladják a rendelkezésre álló kapacitást, úgy a felhasználható kvóták, és az egyes projektekhez rendelt prioritások alapján osztjuk fel az erőforrásokat. A szuperszámítógépen a CPU igényes jobok futtatása helyi ütemező és erőforrás elosztó rendszeren, illetve grid erőforrás brókeren keresztül lehetséges.<br />
6. Milyen alkalmazások, felhasználói szoftverek ill. fejlesztő eszközök állnak rendelkezésre?<br />
A szuperszámítógépeken elérhetők az elterjedt számítógép programozási nyelvek fordítóprogramjai, könyvtárai ill. egyéb fejlesztőeszközei (pl. C, C++, Fortran), a párhuzamos alkalmazások futtatásához szükséges különféle szoftver környezetek (pl. PVM, MPI, OpenMP), egyéb, Linux környezetben használható HPC (High Performance Computing) eszközök, optimalizált párhuzamos matematikai könyvtárak, valamint különféle célalkalmazások.<br />
7. Milyen felhasználói támogatás/segítség vehető igénybe?<br />
A szuperszámítógépek üzemeltetői helpdesk szolgáltatás keretében a gép felhasználói számára szakmai segítséggel, konzultációval, tanácsadással szolgálnak. Szervezünk továbbá a szuperszámítógéppel és felhasználásával kapcsolatos tanfolyamokat, workshopokat és szemináriumokat is. A projekt weboldalai szintén hasznos információkkal szolgálnak.<br />
8. Mennyit kell fizetni a szuperszámítógépek használatáért?<br />
A szuperszámítógépek használata ingyenes a jogosult felhasználók számára.<br />
<br />
[[Category: HPC]]<br />
[[Category: HOWTO]]</div>Herbert(AT)niif.hu