Lichtenberg I

Hardware der Ausbaustufe 1 von Lichtenberg I

(in Betrieb von 2013 bis April 2020)

780 Rechenknoten und 4 Loginknoten (abgeschaltet seit 27.4.2020)

  • Prozessoren: Zusammen ~261 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 216 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen ~168 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 119 TFlop/s Rechenleistung mit Linpack
  • Speicherausbau: insgesamt ~32 TByte Hauptspeicher

Login (4 Knoten)

  • 4x Prozessoren „Intel® Xeon® Processor E5-4650“
    • Jeder Prozessor besteht aus 8 Rechenkernen
    • Pro Rechenkern gibt es eine AVX Einheit
  • Insgesamt 32 Rechenkerne pro Rechenknoten – Hyperthreading ist deaktiviert
  • Prozessortakt ist 2,7 GHz – mit Turbotakt bis 3,3 GHz (bei Verwendung von weniger Kernen)
  • Knoten-Speicherausbau: 128 GByte pro Knoten
  • Netzanbindung: 1x FDR-10 InfiniBand und 2x 10GBit-Ethernet
  • Bezeichnung im System: hla0001 … hla0004
  • Von außen erreichbar unter dem Namen: lcluster1 … lcluster4 (ggf. .hrz.tu-darmstadt.de anhängen)

MPI – Sektion (706 Knoten)

MPI – Sektion

15x Inseln (i01-i15): je 32 Knoten (512 Kerne, 1024 GByte Hauptspeicher, 32 GByte pro Knoten verfügbar)
2x Inseln (i16-i17): je 32 Knoten (512 Kerne, 2048 GByte Hauptspeicher, 64 GByte pro Knoten verfügbar)
1x Insel (i18): 162 Knoten (2592 Kerne, 5184 GByte Hauptspeicher, 32 GByte pro Knoten verfügbar)

  • 2x Prozessoren „Intel® Xeon® Processor E5-2670“
    • Jeder Prozessor besteht aus 8 Rechenkernen
    • Hyperthreading ist deaktiviert
    • Pro Rechenkern gibt es eine AVX Einheit
  • Insgesamt 16 Rechenkerne pro Rechenknoten
  • Prozessortakt ist 2,6 GHz – mit Turbotakt bis 3,3 GHz (bei Verwendung von weniger Kernen)
  • Knoten-Speicherausbau: 32 GByte pro Knoten, Insel-16 und -17 mit 64 GByte pro Knoten
  • Netzanbindung: 1x FDR-10 InfiniBand und 1x 1GBit-Ethernet
    • Alle Knoten im Verbund innerhalb einer Insel mit Blockingverhältnis 1:1
    • Inseln übergreifend mit Blockingverhältnis ca. 1:8
  • Bezeichnung im System: hpa0001 … hpa0706

MEM – Sektion (4 Knoten)

4x Rechenknoten: je 64 Kerne (keine AVX-Erweiterung) und 1024 GByte Hauptspeicher pro Knoten

  • 8x Prozessoren „Intel® Xeon® Processor E7-8837“
    • Jeder Prozessor besteht aus 8 Rechenkernen
    • Hyperthreading ist deaktiviert
    • Es gibt keine AVX Einheiten
  • Insgesamt 64 Rechenkerne pro Rechenknoten
  • Prozessortakt ist 2,66 GHz – mit Turbotakt bis 2,8 GHz
  • Knoten-Speicherausbau: 1024 GByte
  • Netzanbindung: 2x FDR-10 InfiniBand und 1x 10GBit-Ethernet
  • Bezeichnung im System: hea0001 … hea0004

ACC – Sektion GPUs (44 Knoten)

44x (nvd) – Rechenknoten: je 16 Kerne, 64 GByte Hauptspeicher verfügbar und je 2x „NVIDIA® Tesla™ K20X“

  • 2x Prozessoren „Intel® Xeon® Processor E5-2670“
  • Prozessoren, Speicher und Netzwerk wie in MPI – Sektion
  • 2x Akzelerator-Karten pro Knoten:
    • NVD: 44x Knoten mit je zwei „NVIDIA® Tesla™ K20X“
      • je ca. 1,31 TFlop/s Rechenleistung Double Precision, peak – theoretisch)
        • 2688 CUDA Recheneinheiten
        • 6 GByte lokaler Arbeitsspeicher
        • 250 GByte/s Speicherbandbreite (peak – theoretisch)
  • Bezeichnung im System: han0001 … han0044

Xeon-Phi

Xeon Phi-Karten seit August 2018 deaktiviert, die Knoten sind daher nur als normale mpi-Knoten nutzbar.
24 x (phi) – Rechenknoten: je 16 Kerne, 32 GByte Hauptspeicher verfügbar und je 2x „INTEL® Xeon Phi™ Coprocessor 5110P“
2 x (phi) – Rechenknoten: je 16 Kerne, 32 GByte Hauptspeicher verfügbar und je 2x „INTEL® Xeon Phi™ Coprocessor 7110P“

24x Knoten mit je zwei „Intel® Xeon Phi™ Coprocessor 5110P“

  • je ca. 1,0 TFlop/s Rechenleistung (Double Precision, peak – theoretisch)
    • 60 Rechenkerne (1,05 GHz)
    • 8 GByte lokaler Arbeitsspeicher
    • 320 GByte/s Speicherbandbreite (peak – theoretisch)
  • Bezeichnung im System: hai0001 … hai0024

2x Knoten mit je zwei „Intel® Xeon Phi™ Coprocessor 7120P“

  • je ca. 1,2 TFlop/s Rechenleistung (Double Precision, peak – theoretisch)
    • 61 Rechenkerne (1,24 GHz, Turbo 1.33 GHz)
    • 16 GByte lokaler Arbeitsspeicher
    • 352 GByte/s Speicherbandbreite (peak – theoretisch)
  • Bezeichnung im System: hai0025 … hai0026

Hardware der Ausbaustufe 2 von Lichtenberg I

(in Betrieb von 2015 bis Mai 2021)

632 Rechenknoten und 8 Loginknoten (abgeschaltet seit 31.5.2021)

  • Prozessoren: Zusammen ~512 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 460 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 11,54 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
  • Speicherausbau: insgesamt ~44 TByte Hauptspeicher

Login (8 Knoten)

  • 2x Prozessoren „Intel® Xeon® Processor E5-2680 v3“
    • Jeder Prozessor besteht aus 12 Rechenkernen
    • Pro Rechenkern gibt es 1x Intel® AVX2-Einheit (2.1 GHz plus Turbo-Mode)
  • Insgesamt 24 Rechenkerne pro Knoten – Hyperthreading ist deaktiviert
  • Prozessortakt ist 2,5 GHz – mit Turbotakt bis 3,3 GHz (bei Verwendung von weniger Kernen)
  • Knoten-Speicherausbau: 128 GByte pro Knoten
  • Netzanbindung: 1x FDR-14 InfiniBand und 2x 10GBit-Ethernet
  • Bezeichnung im System: hlb0001 … hlb0008
  • Von außen erreichbar unter dem Namen: lcluster5 … lcluster12 (ggf. .hrz.tu-darmstadt.de anhängen)

MPI2 – Sektion (596 Knoten)

1x Inseln (i19): 84 Knoten (2016 Kerne, 5376 GByte Hauptspeicher, 64 GByte pro Knoten verfügbar)

16x Insel (i20-i35): je 32 Knoten (768 Kerne, 2048 GByte Hauptspeicher, 64 GByte pro Knoten verfügbar)

1x Insel (nvd2): 23 Knoten (552 Kerne, 1472 GByte Hauptspeicher, 64 GByte pro Knoten verfügbar)

  • 2x Prozessoren „Intel® Xeon® Processor E5-2680 v3“
    • Jeder Prozessor besteht aus 12 Rechenkernen
    • Hyperthreading ist deaktiviert
    • Pro Rechenkern gibt es 1x Intel® AVX2-Einheit (2.1 GHz plus Turbo-Mode)
  • Insgesamt 24 Rechenkerne pro Rechenknoten
  • Prozessortakt ist 2,5 GHz – mit Turbotakt bis 3,3 GHz (bei Verwendung von weniger Kernen)
  • Knoten-Speicherausbau: 64 GByte pro Knoten
  • Netzanbindung: 1x FDR-14 InfiniBand und 1x 1GBit-Ethernet
    • Alle Knoten im Verbund innerhalb einer Insel mit Blockingverhältnis 1:1
    • Inseln übergreifend mit Blockingverhältnis ca. 1:8
  • Bezeichnung im System: hpb0001 … hpb0596

MEM2 – Sektion (4 Knoten)

4 x Rechenknoten: je 60 Kerne (mit 1x Intel® AVX-Erweiterung) und 1024 GByte Hauptspeicher pro Knoten

  • 4 x Prozessoren „Intel® Xeon® Processor E7-4890 v2“
    • Jeder Prozessor besteht aus 15 Rechenkernen
    • Hyperthreading ist deaktiviert
    • Pro Rechenkern gibt es e1x Intel® AVX-Einheit
  • Insgesamt 60 Rechenkerne pro Rechenknoten
  • Prozessortakt 2,8 GHz – mit Turbotakt bis 3,4 GHz
  • Knoten-Speicherausbau: 1024 GByte
  • Netzanbindung: 2 x FDR-14 InfiniBand und 1 x 10GBit-Ethernet
  • Bezeichnung im System: heb0001 … heb0004

ACC2 (GPU) – Sektion (32 Knoten)

2x (nvd2) – Rechenknoten: je 24 Kerne, 64 GByte Hauptspeicher verfügbar und je 2x „NVIDIA® Tesla™ K40m“

1x (nvd2) – Rechenknoten: mit 24 Kernen, 64 GByte Hauptspeicher verfügbar und mit 2x „NVIDIA® Tesla™ K80 – Dual-GPU“

(Restliche Knoten siehe Details.)

  • 2 x Prozessoren „Intel® Xeon® Processor E5-2680 v3“
  • Prozessoren, Speicher und Netzwerk wie in MPI2 – Sektion
  • 2 x Akzelerator-Karten pro Knoten
  • 2x Knoten mit je zwei „NVIDIA® Tesla™ K40m“
    • je ca. 1,43 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • 2880 Stream Cores
    • 12 GByte Arbeitsspeicher
    • 288 GByte/s Speicherbandbreite (peak – theoretisch)
    • Bezeichnung im System: hab0001 … hab0002
  • 1x Knoten mit zwei „NVIDIA® Tesla™ K80 – Dual-GPU“
    • je ca. 2,91 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • 4992 Stream Cores
    • 24 GByte Arbeitsspeicher (2x 12 GByte)
    • 480 GByte/s Speicherbandbreite (peak – theoretisch)
    • Bezeichnung im System: hab0003
  • Die restlichen 29x Knoten ohne Akzeleratoren, daher Nutzung analog zu MPI
    • Bezeichnung im System: hab0004 … hab0032

Weitere Informationen:

Erläuterung der "Insel Topologie " des Lichtenberg I