CZ / EN

Výpočetní servery

Informace k serverům převzatým z VIC

Vážení uživatelé,

po vyřešení všech problémů spojených s přestěhováním serverů flex a ferretgpu do jiného prostředí jsou stroje připraveny k zahájení provozu.

Souhrn hlavních změn:

  • Stroje jsou přístupné pod názvy flex.fsid.cvut.cz a ferretgpu.fsid.cvut.cz
  • Přihlásíte se standardně pomoci ssh, jménem (usermapID) a heslem do usermapu. Pokud nejste na pracovních počítačích (v síti ČVUT), užijte VPN.
  • Váš lokální domovský adresář usermapID  je přístupný v /home/flex (analogicky pro ferretgpu), nikoliv v /home
  • Pro uživatele z FS jsou přístupné taktéž jejich adresáře v /home/fsh (pokud jim byl založen)
  • Standardně si ukládejte větší data při výpočtech do adresářů /scratch resp. /storage/shared  (je přístupný z flexe i z ferretu). Zápis do /scratch je mnohem rychlejší. Nepotřebná data mažte! Hlídejte si místo ( du,   df  -h), zatím jsme nezavedli kvóty.
  • Úlohy spouštějte pomoci PBS, jak jste byli zvyklí. Vzor skriptu si můžete eventuálně stáhnout z /home/flex/pospipe6/PBS_vzory. Pro připomenutí tam je i PBS skript pro interaktivní spuštění úlohy.
  • Zachovali jsme standardní omezení celkového počtu jader na uživatele a to 36 jader, jinak po domluvě.
  • Pro naše uživatele z VIC: neměnili jsme cesty u nainstalovaných aplikací, takže byste neměli mít problém s jejich spouštěním.

Pokud se vyskytnou problémy, mailujte kdykoliv, resp. užijte helpdesk FS.

Technické vybavení

Hardwarové vybavení se sestává z počítače HPE Superdome Flex, který umožnuje výpočty s velkou sdílenou pamětí a HPE ProLiant DL380.

Architektura ccNUMA umožňuje procesoru alokovat lokální paměť napříč systémem. Paměť počítačů je logicky globálně sdílena, ale fyzicky distribuována. Systém souběžně podporuje programovací prostředí MPI a OpenMP.

FLEX – HPE Superdome Flex, 20 procesorů Intel Xeon Gold, 18-jádrové, 3.0 GHz, paměť 3898 GB RAM

HPE Superdome Flex – flex.fsid.cvut.cz

  • 20 18-jádrových procesorů Intel Xeon Gold 3,0 GHz ,
  • 3898 GB RAM,
  • Diskové pole 15,6 TB
  • Grafická karta pro vzdálenou vizualizaci OpenGL.

FERRETGPU – HPE ProLiant DL 380 G10, 2 procesory Intel Xeon Gold, 12-jádrové, 2.6 GHz, paměť 188 GB RAM

HPE ProLiant DL380 Gen10 – ferretgpu.fsid.cvut.cz
  • 2 12-jádrové procesory Intel Xeon Gold 2,6 GHz ,
  • 188 GB RAM,
  • Diskové pole  8 TB
  • 2x grafická karta  Tesla V100-PCIE-32GB pro testování výpočtů s akcelerací.

Přehled nainstalovaného programového vybavení

  flex
HPE SUPERDOME FLEX
ferretgpu
HPE ProLiant DL380
Operační systém SLES 15, SP3
 
SLES 15, SP3
 
Aplikační programové vybavení ANSYS (různé verze)
STAR-CCM, OpenFOAM,
Mathematica Matlab, Maple,
Julia, abaqus
Matlab, Maple
Mathematica
Ansys, cuda-11.6
Překladače Intel 2019, 2020  

Pravidla užívání počítačů HPE

Každý uživatel počítačů HPE  je povinen dodržovat "Pravidla  ČVUT"  a "Pravidla  FS". Kromě toho je povinen dodržovat i následující pravidla:

  • Rozsáhlé a časté mezivýsledky vašich úloh není dovoleno zapisovat do domovského adresáře, ale je třeba používat lokální adresář /scratch (NIKOLI /tmp !).
  • Uklízejte svá nepotřebná data ze /scratch prostoru. Soubory starší než 3 měsíce nemusí být zachovány.
  • Nepoužívejte počítač pro síťové služby (pošta, internet).
  • Úlohy  spouštějte  pomocí dávkového systému PBS
  • Soubory ve /storage/shared/vaseuserID  jsou přístupné v obou počítačích.

Pro připojení k počítačích HPE používejte služby SSH - Secure Shell.
Příklad přihlášení: ssh vaseuzivatelskejmeno@flex.fsid.cvut.cz   -X
Pro přihlášení z operačního systému Microsoft Windows je možno použít ssh klient PuTTY, (+ Xming pro grafiku), resp MobaXterm.


Aktuality

Konfigurace jednotlivých serverů

Na výpočetních serverech běží operační systém Linux (distribuce Centos 6 nebo 7). Lze se na ně přihlásit standardním fakultním uživatelským jménem. Celkový počet momentálně dostupných procesorových jader je 288 (1/2/2021), 2128 GB paměti RAM a cca 20 TB celkové diskové kapacity.

  • ELA - HP ProLiant DL560 G9, 4 procesory Intel Xeon E5-4627 v3, 10-jádrové, 2.60 GHz, paměť 256 GB RAM
  • ELB - HP ProLiant DL580 G8, 4 procesory Intel Xeon E7-4880 v2, 15-jádrové, 2.50 GHz, paměť 512 GB RAM - zápůjčka od HPE
  • ELF - HP ProLiant DL560 G8, 4 procesory Intel Xeon E5-4620 v2, 8-jádrové, 2.60 GHz, paměť 256 GB RAM
  • ELE - HP ProLiant DL580 G7, 4 procesory Intel Xeon E7-4830, 8-jádrové, 2.13 GHz, paměť 256 GB RAM
  • ELD - HP ProLiant DL580 G7, 4 procesory Intel Xeon X7560, 8-jádrové, 2.27 GHz, paměť 256 GB RAM - zápůjčka od HPE
  • ELH - cluster 5 x HP ProLiant DL380 G7, 5x2 procesory Intel Xeon E5645, 6-jádrové, 2.40GHz, 96 GB RAM (master uzel 144 GB) - zápůjčka od HPE
  • ELC - HP ProLiant DL380 G8, 8 procesorů Intel Xeon E5-4640, 8-jádrové, 2.4 GHz, paměť 256 GB RAM - zápůjčka od HPE

Domovské adresáře, scratch adresáře

Na všech výpočetních serverech jsou sdílené domovské adresáře, které jsou v současné době fyzicky umístěny na počítači ELC. Cesta k nim vede přes

  • /home/elc/uzivatelske_jmeno

Na ostatních počítačích jsou tyto adresáře sdíleny po síti pomocí NFS, což může zpomalovat přístup k datům. Navíc je u nich aplikována poměrně restriktivní kvóta na množství dat, protože hlavní domovské adresáře mají uživatelé na úložiště FSH - ty jsou i na těchto (výpočetních) serverech přístupné pod cestou

  • /home/fsh/uzivatelske_jmeno

a nebo na ně vede z domovského adresáře každého uživatele odkaz (link) FSH.

Na všech počítačích jsou lokálně přístupné tzv. scratch adresáře, kam si uživatelé mohou data dočasně přesunout a po dobu nezbytně nutnou je tam schraňovat. Cestu ke scratch adresářům získate složením názvu scratch a názvu (hostname) příslušného počítače, tedy

  • /scratch/ela
  • /scratch/elc
  • ...

Tyto adresáře mají přístupová práva odpovídající dočasným adresářům (/tmp) a tak si v nich každý může vytvořit svůj vlastní adresář, do kterého si může ukládat data. Vytvářejte si adresář, jehož název odpovídá Vašemu uživatelskému jménu, např. na počítači ELC to lze udělat následujícím příkazem

  • mkdir /scratch/elc/vase_uzivatelske_jmeno

Pokud nechcete, aby Vám ostatní uživatelé "viděli" do Vašich adresářů (mazat Vaše soubory nemůžou), tak si nastavte jejich přístupová práva následujícím příkazem

  • chmod 700 /scratch/elc/petera

Upozornění: data ve /scratch adresářích nejsou zálohována! Berte je skutečně jen jako dočasné adresáře a nenechávejte v nich dlouho ležet nepoužívaná data.  

Přístup k výpočetním serverům

V počítačových učebnách lze vybrat příslušnou pložku v menu po naběhnutí počítače (ELC, ELD, ...), z jiných počítačů se lze připojit některým z následujících způsobů:

Pro OpenNX je nutné použít certifikát, který lze najít na kterémkoliv z výpočetních serverů ELC, ELD, ... v souboru /etc/nxserver/client.id_dsa.key. 

Využití licencí

Na této adrese lze najít využití licencí programů ABAQUSu, ANSYS CFD (Fluent), COMSOL a MATLAB na fakultním licenčním serveru ELIC. Licence jsou přístupné jen z míst uvnitř domény ČVUT (licence MATLABu jen z počítačových učeben fakulty).

FAQ

 

Zátěž výpočetních serverů

Původní informace k výpočetním serverům

Původní informace k výpočetním serverům lze nalézt na této adrese.