Compute and Storage Systems (CSS) Scientific Computing Leibniz Universität IT Services - Scientific Computing & Forschungscluster-Housing (FCH)
←
→
Transkription von Seiteninhalten
Wenn Ihr Browser die Seite nicht korrekt rendert, bitte, lesen Sie den Inhalt der Seite unten
Scientific Computing & Forschungscluster-Housing (FCH)
Compute and Storage Systems (CSS)
Scientific Computing
Leibniz Universität IT Services
Kundentagung 25.10.2018 Seite 1Inhalt Allgemeine Informationen zu Clustersystem & FCH Zugang zum Clustersystem Konfigurationsskizze des Clustersystems Rechenressourcen & Software Statistik zur Nutzung von Clustersystem & FCH Ausblick Kundentagung 25.10.2018 Seite 2
Allgemeine Informationen zu Clustersystem & FCH
Um den Grundbedarf der Universität an Rechenzeit und Speicher zu decken, bietet das LUIS massiv
parallele Rechnersysteme und zusätzliche Maschinen mit besonders viel Hauptspeicher an
Das Clustersystem steht allen Angehörigen der Leibniz Universität Hannover für rechenintensive
Aufgaben kostenfrei zur Nutzung zur Verfügung
Finanzierung: DFG-Forschungsgroßgeräte & LUIS Haushaltsmittel
Software Lizenzen gelten nur für akademische Zwecke
Mit dem Service Forschungscluster-Housing (FCH) kann einrichtungseigene Rechen-Hardware in
das Clustersystem integriert werden. Die jeweilige Einrichtung erhält im FCH werktags von 8:00
Uhr bis 20:00 Uhr exklusive Rechenzeit auf der eingebrachten Hardware
FCH Vorteile: kein Administrationsaufwand, reduzierte Beschaffungskosten, Mitnutzung des
restlichen Clustersystems, reduzierte «Idle-Times» einzelner Rechner durch faire Verteilung der
Rechenressourcen
Kundentagung 25.10.2018 Seite 3Zugang zum Clustersystem
Noch kein Projekt vorhanden:
ORG.BEN4 ausfüllen
Account über BIAS erstellen
Projekt vorhanden:
Projektleiter verwendet BIAS, um Benutzer anzulegen oder zu löschen
Tipps:
Benutzername soll den Namen des Nutzers abbilden
Mailadresse des Nutzers angeben
Kundentagung 25.10.2018 Seite 4Konfigurationsskizze des Clustersystems
NFS
Services HOME
DNS, LDAP, Torque, usw. SW
Ethernet
Taurus
Lena
Haku
Login-
Tane
FCH
SMP
Knoten
InfiniBand
Scratch-Dateisystem für BIGWORK Projekt-Dateisystem zur
Rechnungen ~ 280TB PROJECT längeren Aufbewahrung
von Daten ~ 400 TB
Lustre
Kundentagung 25.10.2018 Seite 5Verfügbare Rechenressourcen
4 Rechencluster für MPI-Jobs, die viele CPUs benötigen
Cluster Knoten CPU Kerne/ Kerne Speicher/ Speicher
Knoten Total Knoten(GB) Total (GB)
Lena 80 2x Intel Haswell 2.40 GHz 16 1280 64 5120
Tane 96 2x Intel Westmere 2.93 GHz 12 1152 48 4608
Taurus 54 2x Intel Westmere 2.67 GHz 12 648 48 2592
Haku 20 2x Intel Haswell 2.10 GHz 16 320 64 1280
GPU-Rechenknoten
Cluster Knoten CPU/GPU Kerne/ Speicher/
Knoten Knoten(GB)
CPU: 2x Intel Xeon Silver CPU: 24 CPU: 96
GPU 1
GPU: 2x Nvidia Tesla P100 GPU: 7168 GPU: 32
Kundentagung 25.10.2018 Seite 6SMP Knoten für Jobs, die viel Arbeitsspeicher benötigen
Cluster Knoten CPU Kerne/ Kerne Speicher/ Speicher
Knoten Total Knoten(GB) Total(GB)
SMP 9 4x Intel Westmere 2.5 GHz 32 288 256 2304
SMP 9 4x Intel Backton 2.0 GHz 24 216 256 2304
SMP 3 4x Intel Westmere 2.1 GHz 32 96 1024 3072
SMP 4 4x Intel Broadwell 2.5 GHz 32 128 256 1024
Forschungscluster-Housing (FCH) Knoten
Cluster Knoten CPU Kerne/ Kerne Speicher/ Speicher
Knoten Total Knoten(GB) Total(GB)
FCH 42+32 Verschiedene Intel Xeon Versch. 1880 Versch. 13872
Total 350 6032 36272
Kundentagung 25.10.2018 Seite 7SMP Knoten für Jobs, die viel Arbeitsspeicher benötigen
Cluster Knoten CPU Kerne/ Kerne Speicher/ Speicher
Der 1024 Kerne (~6 TB Arbeitsspeicher) Rechencluster
Knotendes Instituts
Total für Angewandte
Knoten(GB) Total(GB)
Mathematik wird im FCH integriert – Nov. 2018
SMP 9 4x Intel Westmere 2.5 GHz 32 288 256 2304
32x Dell PowerEdge C6420 Rechenknoten
SMP 9 Jeweils mit
4x Intel Backton
2x Intel Xeon Gold 2.0
6130GHz 24 16 Kerne216
@ 2.1GHz, CPU und 256 1922304
GB DDR4 RAM
SMP 3 4x Intel Westmere 2.1 GHz 32 96 1024 3072
Knoten sind miteinander mit Intel Omni-Path verbunden
SMP 4 4x Intel Broadwell 2.5 GHz 32 128 256 1024
Forschungscluster-Housing (FCH) Knoten
Cluster Knoten CPU Kerne/ Kerne Speicher/ Speicher
Knoten Total Knoten(GB) Total(GB)
FCH 42+32 Verschiedene Intel Xeon Versch. 1880 Versch. 13872
Total 350 6032 36272
Kundentagung 25.10.2018 Seite 8Verfügbare Software
Abaqus LAMMPS Gaussian Octave
Gurobi CRYSTAL MOLDEN VMD
Octopus LS-DINA GaussView OpenFOAM
Amber EasyBuild MSINDO OpenMPI
Hadoop Maple GNU Comp. ParaView
CPMD Python NAMD POVRay
ANSYS FDS Gnuplot Schroedinger
HDF5 Mathematica NetCDF SciPy
ANSYSEM QuTIP GROMACS Singularity Containers
Java FEKO NumPy STAR-CCM
COMSOL MATLAB TensorFlow Matplotlib
Intel Comp. R GSL GAMS … usw.
Kundentagung 25.10.2018 Seite 9Verfügbare Software
Abaqus LAMMPS Gaussian Octave
Singularity – Containervirtualisierung für HPC-Anwendungen
Gurobi CRYSTAL MOLDEN VMD
Computing Mobility: Portabilität der Anwendungen durch eine reproduzierbare Umgebung. Basiert auf
OctopusImages, welche
verteilbaren LS-DINA GaussView
alle Abhängigkeiten enthalten und damitOpenFOAM
distributionsunabhängig einsetzbar
sind
Amber EasyBuild MSINDO OpenMPI
Benutzerdefinierte und -kontrollierte Umgebungen
Hadoop
Native Unterstützung Maple GNU Comp. (InfiniBand,
leistungsfähiger Verbindungstechnologien ParaView
Intel Omni-Path) und von
Grafikprozessoren (GPU)
CPMD Python NAMD POVRay
Funktioniert ordnungsgemäß mit MPI (OpenMPI, Intel MPI, MPICH) – Parallele Anwendungen können
ANSYSdes Containers
innerhalb FDS
ausgeführt werden Gnuplot Schroedinger
Nahtlose Integration mit Ressourcenmanagern: TORQUE, SLURM, SGE
HDF5 Mathematica NetCDF SciPy
Die Ausführung eines Containers erfordert keine Superuser-Berechtigung
ANSYSEM QuTIP GROMACS Singularity Containers
Zugriff auf Netzwerk-Dateisysteme wie Lustre und NFS
Java
Docker-Images könnenFEKO NumPy oder direkt STAR-CCM
in Singularity-Images konvertiert ausgeführt werden
COMSOL MATLAB TensorFlow Matplotlib
Intel Comp. R GSL GAMS … usw.
Kundentagung 25.10.2018 Seite 10Verfügbare Software
Abaqus LAMMPS auf demGaussian
Hadoop-/Spark-Anwendungen Clustersystem Octave
Gurobi
Apache CRYSTAL
Hadoop/Spark ist ein Framework, das dieMOLDEN
verteilte VerarbeitungVMD
großer Datenmengen ermöglicht
MitOctopus LS-DINA
dem Module hadoop-cluster GaussView
können die Nutzer OpenFOAM
ein Hadoop-/Spark-Cluster innerhalb des Clustersystems
erstellen und starten und es mit Hilfe des Ressourcenmanagers (TORQUE/Maui) verwalten
Amber
Derzeit EasyBuild
unterstützt das Modul MSINDO
die folgenden HDFS-Speichertypen: OpenMPI
➔ permanenter Speicher auf dem shared Lustre-Dateisystem (befindet sich im BIGWORK-Verzeichnis eines
Hadoop
Benutzers) Maple GNU Comp. ParaView
CPMD lokaler Festplattenspeicher
➔ temporärer Python (~100NAMD POVRay
GB) auf den Rechenknoten, die für den Hadoop-Cluster
reserviert sind
ANSYSArbeitsspeicher
➔ temporärer FDSauf den für den Spark-Cluster
Gnuplot reserviertenSchroedinger
Knoten
• Im HDF5 Mathematica
Jahr 2019 kommen ca. NetCDF
60 SMP-Knoten mit lokalem SciPy
Festplattenspeicher (je Knoten 10-20 TB) hinzu
ANSYSEM QuTIP GROMACS Singularity Containers
Java FEKO NumPy STAR-CCM
COMSOL MATLAB TensorFlow Matplotlib
Intel Comp. R GSL GAMS … usw.
Kundentagung 25.10.2018 Seite 11Verfügbare Software
Abaqus LAMMPS und Installations-Framework
EasyBuild - ein Software-Build- Gaussian Octave
Gurobidie strukturierte,
Ermöglicht CRYSTAL
wiederholbare undMOLDEN
robuste Installation vonVMD
Software
Octopus
Unterstützt LS-DINA
mehrere Compiler und BibliothekenGaussView OpenFOAM
zum Erstellen von Software und deren Abhängigkeiten
Verwendet Umgebungsmodule (Lmod) für die Auflösung von Abhängigkeiten und die Bereitstellung der
Amber
Software zur BenutzungEasyBuild MSINDO OpenMPI
Die neueste Version unterstützt mehr als 1.560 verschiedene Softwarepakete
Hadoop Maple GNU Comp. ParaView
Verwendung auf dem Clustersystem:
➔ CPMD Python
EasyBuild-Modul laden: NAMD
module load EasyBuild-custom POVRay
➔ ANSYS FDSSoftware: eb -S mysoft
Suchen der gewünschten Gnuplot Schroedinger
➔ Installieren der Software und Abhängigkeiten: eb mysoft-1.10.eb -r
➔
HDF5 Mathematica
Laden des Software-Moduls: NetCDF
module load mysoft/1.10 SciPy
DieANSYSEM QuTIP
Software und ihre Module werden im HOMEGROMACS Singularity
eines Benutzers installiert Containers
Java FEKO NumPy STAR-CCM
COMSOL MATLAB TensorFlow Matplotlib
Intel Comp. R GSL GAMS … usw.
Kundentagung 25.10.2018 Seite 12Statistik zur Nutzung von Clustersystem & FCH
Die Auslastung des gesamten Clusters beträgt ca. 85%
Kundentagung 25.10.2018 Seite 13Statistik zur Nutzung von Clustersystem & FCH
FCH: 13 (+1) teilnehmende Institute
Jahr 2017: 87 Arbeitsgruppen aus 51 verschiedenen
Einrichtungen hatten 91 registrierte Projekte
Kundentagung 25.10.2018 Seite 14Ausblick
Tane- und Taurus werden ersetzt durch neuen Cluster:
80x Dell PowerEdge M640 Rechenknoten
Je 2x Intel Xeon Gold @ 2.3GHz, 12 Kerne CPU und 96 GB DDR4 Speicher
InfiniBand Fabric
- Insgesamt: 1920 CPU Kerne, 7680 GB RAM
- DFG Großgeräteantrag wird gestellt, sobald die offizielle Aufforderung bei uns eintrifft
SMP-Rechenknoten aus HLRN-3 (kein Herstellersupport mehr) werden integriert
32x Knoten jeweils mit 4x Intel Xeon 10 Core CPU, 512 GB RAM, 21 TB local HDD
32x Knoten jeweils mit 4x Intel Xeon 8 Core CPU, 256 GB RAM, 10 TB local HDD
10 der SMP-Rechenknoten sind mit Nvidia Tesla K40 GPU-Karte ausgestattet
→ GPU-Queue
Die Knoten mit 21 TB lokaler Festplattenspeicherkapazität werden für Big Data
Anwendungen verwendet → Hadoop-/Spark-Cluster
Das Betriebssystem des gesamten Rechenclusters wird auf CentOS 7 aktualisiert
Kundentagung 25.10.2018 Seite 15Kontaktinformationen
Fragen, Anregungen und Problemberichte:
cluster-help@luis.uni-hannover.de
Dokumentation:
https://www.luis.uni-hannover.de/scientific_computing.html
Benutzerverwaltung:
https://bias.luis.uni-hannover.de
Monatliche Einführungsvorträge für neue Cluster-Benutzer
Cluster-Benutzertreffen am ersten Montag jeden Monats um 17 Uhr
Kundentagung 25.10.2018 Seite 16Sie können auch lesen
