Hardware
Lichtenberg II Ausbaustufe 1

Hardware der Ausbaustufe 1 von Lichtenberg II

Dieses neue System befindet sich seit 1. Dezember 2020 im Regelbetrieb.

Login (8 Knoten)

  • 2x „Intel® Xeon® Platinum 9242 Processor“ (Cascade Lake)
  • 96 Rechenkerne und 2x Intel® AVX-512 Einheiten pro Rechenkern
  • 768 GByte Hauptspeicher (DDR4-2933)
  • HPC-Netzwerk: InfiniBand HDR100 (100 GBit/s)
  • Bezeichnung im System: logc0001 … logc0008
  • Von außen erreichbar als: lcluster13 … lcluster20.hrz.tu-darmstadt.de
  • 48 Rechenkerne pro Prozessor – Hyperthreading ist deaktiviert
    • Taktfrequenz 2,3 GHz, Turbo 3,8 GHz
    • AVX-512 (Advanced Vector eXtensions, 512 bits)
    • VNNI (Vector Neural Network Instructions)
    • TSX-NI (Transactional Synchronization eXtensions)

MPI – Sektion (630 Knoten)

  • 2x „Intel® Xeon® Platinum 9242 Processor“ (Cascade Lake)
  • 96 Rechenkerne und 2x Intel® AVX-512 Einheiten pro Rechenkern
  • 384 GByte Hauptspeicher (DDR4-2933)
  • HPC-Netzwerk: InfiniBand HDR100 (100 GBit/s)
  • Bezeichnung im System: mpsc0001 … mpsc0630
  • 48 Rechenkerne pro Prozessor – Hyperthreading ist deaktiviert
    • Taktfrequenz 2,3 GHz, Turbo 3,8 GHz
    • AVX-512 (Advanced Vector eXtensions, 512 bits)
    • VNNI (Vector Neural Network Instructions)
    • TSX-NI (Transactional Synchronization eXtensions)

MEM – Sektion (2 Knoten)

  • 2x „Intel® Xeon® Platinum 9242 Processor“ (Cascade Lake)
  • 96 Rechenkerne und 2x Intel® AVX-512 Einheiten pro Rechenkern
  • 1536 GByte Hauptspeicher (DDR4-2933)
  • HPC-Netzwerk: InfiniBand HDR100 (100 GBit/s)
  • Bezeichnung im System: mpqc0001 … mpqc0002
  • 48 Rechenkerne pro Prozessor – Hyperthreading ist deaktiviert
    • Taktfrequenz 2,3 GHz, Turbo 3,8 GHz
    • AVX-512 (Advanced Vector eXtensions, 512 bits)
    • VNNI (Vector Neural Network Instructions)
    • TSX-NI (Transactional Synchronization eXtensions)

ACC – Sektion GPUs (8 Knoten)

  • 4x „Intel® Xeon® Platinum 8260 Processor“ (Cascade Lake)
  • 96 Rechenkerne und 2x Intel® AVX-512 Einheiten pro Rechenkern
  • 384 GByte Hauptspeicher (DDR4-2933)
  • HPC-Netzwerk: InfiniBand HDR100 (100 GBit/s)
  • 4x Knoten mit je 4x „NVIDIA® Tesla® V100“ (Volta-Generation, GV100 Chip)
    Bezeichnung im System: gvqc0001 … gvqc0004
  • 4x Knoten mit je 4x „NVIDIA® A100“ (Ampere-Generation, GA100-Chip)
    Bezeichnung im System: gaqc0001 … gaqc0004
NVIDIA® Volta 100 NVIDIA® Ampere 100
CUDA cores 5120 6912
Tensor cores 640 432
Memory / G-RAM 32 GB CoWoS-HBM2 ECC RAM 40 GB CoWoS-HBM2 ECC RAM
Memory Bandwidth 900 GByte/s 1600 GByte/s
Performance (Double Precision, FP64) 7 TFlop/s 9.7 TFlop/s (19.5 TFlop/s non Std.)
Performance (Single Precision, FP32) 14 TFlop/s 19.5 TFlop/s (156 TFlop/s non Std.)
Tensor Performance 112 TFlop/s 312 TFlop/s (624 TFlop/s with Sparsity)
Hostnames gvqc0001 … gvqc0004 gaqc0001 … gaqc0004

ACC – Sektion DGX A100 (3 Knoten)

  • 2x „AMD EPYC™ 7742“ Processor
  • 128 Rechenkerne und 2x AVX-2 Einheiten pro Rechenkern
  • 1024 GByte Hauptspeicher (DDR4-3200)
  • HPC-Netzwerk: 2x InfiniBand HDR200 (200 GBit/s)
  • Bezeichnung im System: gaoc0001 … gaoc0003
  • 8x „NVIDIA® A100 Tensor Core GPUs“ (Ampere-Generation)
  • 64 Rechenkerne pro Prozessor
    • Taktfrequenz 2,25 GHz, Boost 3,4 GHz
    • AVX-2 (Advanced Vector eXtensions, 256 bits)
    • PCIe® 4.0 x 128
  • Akzelerator-GPU Nvidia A100:
    • 6912 CUDA-Kerne
    • 432 Tensor-Kerne
    • 40 GB CoWoS-HBM2 ECC RAM
    • 1600 GByte/s Speicherbandbreite
    • Double-Precision (64Bit): 9.7 TFlop/s (19.5 TFlop/s non Std.)
    • Single-Precision (32Bit): 19.5 TFlop/s (156 TFlop/s non Std.)
    • Tensor Performance: 312 TFlop/s (624 TFlop/s with Sparsity)

Summe (alle Rechenknoten und Logins)

  • 62.592 Kerne
  • 257 TByte RAM
  • 16x Nvidia Volta V100
  • 40x Nvidia Ampere A100
  • 4x Nvidia Tesla T4