Návody


Užívateľský manuál

Stiahnúť (.doc)

Prihlásenie

Pred prvým prihlásením na klaster musí používateľ najskôr požiadať o vytvorenie používateľského účtu a evidenciu projektu/úlohy.

Po získaní autentifikačných údajov je prihlásenie možné prostredníctvom ssh, kde prebehne autentifikácia pomocou prihlasovacieho mena a hesla.

ssh [username@]login.________.sk

Enviroment moduly

V prostredí klastra sú k dispozícii moduly, pomocou ktorých je možné rýchle nastavenie ciest k vybraným knižniciam, programom, kompilátorom, alebo nastavenie rôznych "env" premenných.

Príkaz na zistenie aktuálne dostupných modulov:

% module avail

------------------------------ /etc/modulefiles -----------------------------------------
cuda/5.0   nwchem/6.1.1  openmpi/1.4.5    openmpi/1.4.5-int8   openmpi/1.6.5(default)  
gcc/4.7.3  dirac/12.4    mvapich2/1.9     openmpi/1.6.5-int8   orca/2.9.1
...

Načítanie modulu:

% module show openmpi
-------------------------------------------------------------------
/apps/modulefiles/openmpi/1.6.5:

module-whatis    GCC473 Open MPI v1.6.5 library
prepend-path     PATH /apps/mpi/gnu/openmpi/1.6.5/bin/
prepend-path     LD_LIBRARY_PATH /apps/mpi/gnu/openmpi/1.6.5/lib
prepend-path     MANPATH /apps/mpi/gnu/openmpi/1.6.5/share/man
...
-------------------------------------------------------------------

% module load openmpi

Ďalšie možnosti:

module unload < modulename > -> vypnúť modul
module purge                 -> vypnúť všetky moduly
module list                  -> zobraziť načítané moduly
module whatis                -> zobraziť dostupné moduly aj s popisom 

Spustenie úlohy

Na clusteri je instalovaný SLURM manažer front úloh.

Okamžité spustenie úloh je príkazom srun

srun [voľby] príkaz [parameter]

Kompilácia aplikácií

Kompilácia paralelnej aplikácie GCC kompilátorom s využitím OpenMPI knižnice

% module load openmpi
% mpicc -O2 /apps/examples/hello-world.c -o hello-world

// alebo napr.

% module load gcc/4.7.3    // volba kompilátora iného ako default Redhat GCC 4.4.7
% gcc -march=native -O2 hello-world.c -I/apps/mpi/gnu/openmpi/1.6.5/include -L/apps/mpi/gnu/openmpi/1.6.5/lib -lmpi -o hello-world

Zadávanie úloh do výpočtovej fronty

Na spustenie úlohy je nutné najprv vytvoriť spustiteľný skript, ktorý sa zaradí do fronty príkazom

sbatch [volby] skript [argumenty]


Fronty úloh:
  1. express
  2. short
  3. long


Príklad jednoduchého skriptu sériovej úlohy

Skript opakovane spusta program run, pre vstupne parametre programu 0,1,2 ... 9
a vysledky pre jednotlive vstupne hodnoty parametrov zapisuje do vystupnych suborov
data_0.out, data_1.out, ... data_9.out. 


Príklad:
Skript sa spusta prikazom: sbatch test.sh

#!/bin/bash
#SBATCH --job-name=run
#SBATCH --output=data_%a.out
#SBATCH --array=0-9   
#SBATCH --partition=all
#SBATCH --ntasks=1
array_h_p=(0
1
2
3
4
5
6
7
8
9)
$(pwd)/run ${array_h_p[$SLURM_ARRAY_TASK_ID]//:/

Príklad skriptu paralelnej úlohy aj s načítaním MPI knižnice

#!/bin/bash

#!/bin/bash
#SBATCH --job-name=TEST
#SBATCH --output=TEST_output.txt
#
#SBATCH -n 16
#SBATCH -p test
#SBATCH --mail-type=ALL
#SBATCH --mail-user=meno2saske.sk
module load openmpi TEST
cd ~/test
mpirun ./hw

Spustenie interaktívnej úlohy

% srun  -u bash -i


Kontrola spustených úloh

Zobrazenie zoznamu úloh vo frontách a základných informácii o ich stave.

% squeue

squeue ponúka aj podrobné informácie o všetkých, alebo jednej konkrétnej úlohe. squeue -u meno aplikovateľný iba na vlastné úlohy používateľa je užitočný pri hladaní rôznych príčin nespustenia a zablokovania úlohy vo fronte. 

% squeue -u tom for user tom
% 

Výpis úloh, o frontách, nodoch

% sinfo -lNe 

Fri Mar 17 09:55:07 2017
NODELIST                                                     NODES PARTITION       STATE CPUS    S:C:T MEMORY TMP_DISK WEIGHT FEATURES REASON              
comp[01,04-07,10,13-15,19,21,23-24,27,29,31,35-36,42,45]        20      all*   allocated   12    2:6:1  48387   469324      1   (null) none                
comp[02-03,08-09,11-12,16-18,22,28,30,32-34,38-41,43-44,46]     22      all*       down*   12    2:6:1      1        0      1   (null) Not responding      

Zrušenie úlohy:

scancel [volby] job_identifikátor

Monitorovanie klastra

Celkový prehľad o využití/zaťažení jednotlivých uzlov klastra je možné získať pomocou príkazu 

% sreport -v -t seconds user topusage start=11/01 format=used 

--------------------------------------------------------------------------------
Top 10 Users 2016-11-01T00:00:00 - 2017-03-28T23:59:59 (12783600 secs)
Time reported in CPU Seconds
--------------------------------------------------------------------------------
      Used
----------
1852530783
     72532
         3

Vymazanie úlohy z fronty a jej zastavenie

% scancel 1121 to delete job with ID 1121

Viac informácií

Ďalšie informácie je možné získať z manuálov priamo v systéme, alebo zo stránok dodávateľa programového vybavenia https://slurm.schedmd.com/

© 2013 Ústav experimentálnej fyziky SAV, Watsonova 47, 040 01 Košice. HPC-Team: webmaster [at] saske.sk