In allen Hochleistungs- und Supercomputern spielt der HPC-Interconnect eine entscheidende Rolle. Im Gegensatz zu Serverfarmen oder Cloud-Computing sorgt er bei HPC-Systemen für die schnelle, latenzarme und durchsatzstarke Kommunikation aller Rechenknoten untereinander.

MPI-Programme nutzen diesen Interconnect, um für aufwendige parallele Berechnungen viele Rechenknoten gleichzeitig zu verwenden, wobei die MPI-Tasks über den Interconnect Daten, Zustände und Zwischenergebnisse austauschen.

Im Lichtenberg-HPC läuft auch der Zugriff auf das Storage/Dateisystem über den Interconnect.

Da ein HPC-Cluster aus mehreren Teilen bzw. Ausbaustufen bestehen kann, bezeichnet man solche unterschiedlichen Gruppen von Rechenknoten auch als „Inseln“ (islands) – insbesondere dann, wenn der HPC-Interconnect nur innerhalb solch einer Insel voll „vermascht“ ist (siehe unten).

Die oberste Ebene des HPC-Interconnects ist das Infiniband HDR des Storagesystems (Home, Projects, Scratch) – es bildet den Kern der Fabric und steuert das Gesamtnetzwerk auf Basis von HDR = „High Data Rate“ = 100 GBit/s (früher EDR).

Infiniband HDR: Bei dieser Ausbaustufe („Insel“) i02 sind die Rechen- und Loginknoten mit Mellanox ConnectX-Karten des Standards „HDR100“ ausgestattet: „High Data Rate 100“ = 100 GBit/s.

Während HDR Infiniband eigentlich eine maximale Datenrate von 200 GBit/s bietet, sind die Knoten dieser Ausbaustufe mit der HDR100-Ausführung angebunden. Nur die Infiniband-Switches zwischen ihnen kommunizieren untereinander mit „HDR 200“.

Die interne Topologie dieser Ausbaustufe („Insel“) ist 1:1 non-blocking angelegt: jedwede Kommunikation zwischen beliebigen Rechenknoten bleibt völlig unbeeinflusst von der Netzwerklast anderer zeitgleich kommunizierender Rechenknoten.

Anders ausgedrückt, ist die Anzahl der Interconnect-Links an keiner Stelle im internen IB-Netzwerk der Ausbaustufe (Insel) geringer als „einer pro Rechenknoten“.

Infiniband HDR: die Rechen- und Loginknoten dieser Ausbaustufe („Insel“) i01 sind mit Mellanox ConnectX-Karten des Standards „HDR100“ ausgestattet: „High Data Rate 100“ = 100 GBit/s.

Während HDR-Infiniband eigentlich eine maximale Datenrate von 200 GBit/s bietet, sind die Knoten dieser Ausbaustufe mit der HDR100-Ausführung angebunden – nur die Infiniband-Switches zwischen ihnen kommunizieren untereinander mit HDR200.

Die interne Topologie dieser Ausbaustufe („Insel“) ist 1:1 non-blocking angelegt: jedwede Kommunikation zwischen beliebigen Rechenknoten bleibt völlig unbeeinflusst von der Netzwerklast anderer zeitgleich kommunizierender Rechenknoten.

Anders ausgedrückt, ist die Anzahl der Interconnect-Links an keiner Stelle im internen IB-Netzwerk der Ausbaustufe (Insel) geringer als „einer pro Rechenknoten“.

Mehr Details zu den Komponenten des Lichtenberg HLR finden Sie in unserer Hardware-Übersicht.