Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in der Praxis

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch in der Praxis.

Hintergrund und Herausforderungen: Wenn RDMA-Cluster den Engpass des Netzwerks erreichen

In einer typischen gemischten HPC- und KI-Workloadumgebung führen Rechencluster oft CFD-Simulationen, molekulare Dynamik und verteiltes Großmodelltraining nebeneinander durch.Diese Workloads sind stark auf RDMA für die Kommunikation zwischen Knoten angewiesen und sind extrem empfindlich gegenüber BandbreiteWenn ein Cluster von Dutzenden von Knoten auf Hunderte wächst, kann die ursprüngliche Verbindung schnell zum begrenzenden Faktor werden.

Zu den häufigsten Symptomen gehören eine lange Latenzzeit während AllReduce, eine ungleichmäßige Verknüpfungsauslastung im gesamten Netzwerk und abgeschwächte Bearbeitungszeiten, sobald mehrere Mieter das Netzwerk teilen.Für Netzwerkingenieure und Architekten, ist die Herausforderung nicht einfach Bandbreite hinzuzufügen, sondern ein Gewebe aufzubauen, das die Latenzzeit unter Staus vorhersehbar hält.

Lösung und Einsatz: Aufbau des Gewebes um den MQM8790-HS2F

Um diese Probleme zu beheben, wurde das Cluster-Gewebe um den Mellanox (NVIDIA Mellanox) MQM8790-HS2F, einen 200Gb/s HDR InfiniBand-Switch für Hochdichte, Low-Latency-Umgebungen, neu konzipiert.Der MQM8790-HS2F 200Gb/s HDR 40-Port QSFP56-Formfaktor ermöglicht 40 Ports in 1U, die natürlich in eine zwei-Stufen-Fettbaum-Topologie passt.

Die Bereitstellung erfolgte in mehreren Schichten:

• Rückenwirbelschicht:NVIDIA Mellanox MQM8790-HS2F-Switches wurden als Rückgratgeräte eingesetzt, die 200Gb/s Uplinks und einen nicht blockierenden Ost-West-Verkehr zwischen Blattgruppen bereitstellten.
• Blattlag:Leaf-Switches verbinden Rechenknoten mit ConnectX-6- oder ConnectX-7-Adaptern und bilden einen End-to-End-HDR-Pfad, der mit MQM8790-HS2F kompatibel ist.
• Netzwerkrechner:Die SHARP-Technologie auf dem MQM8790-HS2F entlastet kollektive Operationen wie AllReduce auf den Switch und reduziert GPU- und CPU-Overhead.
• Management und Telemetrie:MLNX-OS, UFM und NetQ wurden für Stoffbereitstellung, Überwachung und Staussicht verwendet.

Während der Planung überprüfte das Team das Datenblatt MQM8790-HS2F und die MQM8790-HS2F-Spezifikationen, um das Strombudget, die Kühlanforderungen und die Port-Split-Optionen wie 2 × 100 Gb / s Breakout zu validieren.Kabel und Optik wurden auf QSFP56 standardisiert, um Sparen und zukünftige Erweiterung zu vereinfachen.

Ergebnisse und Vorteile: Was sich nach dem Einsatz geändert hat

Nach der Migration auf die MQM8790-HS2F InfiniBand-Switch-Lösung zeigte der Cluster messbare Verbesserungen in der Kommunikationseffizienz und Arbeitsstabilität.

Das Team konnte das Verhalten der Stoffe besser kontrollieren, Adaptive Routing und SHARP reduzierten die Auswirkungen von Hot Spots.Während die Telemetrie es einfacher machte, langsame Knoten und falsch konfigurierte Verbindungen zu identifizierenFür Architekten, die den Preis von MQM8790-HS2F oder die Verkaufsmöglichkeiten von MQM8790-HS2F bewerten, ist die wichtigste Erkenntnis, dass sich der Wechsel durch eine höhere Clusternutzung und nicht nur durch die Anzahl der Rohporte auszahlt.

Schlussfolgerung und Aussichten

Der MQM8790-HS2F zeigt, wie ein speziell entwickelter InfiniBand-Switch Engpässe bei der Vernetzung in RDMA-, HPC- und KI-Clustern beseitigen kann.und ein ausgereiftes Management-Stack, bietet der NVIDIA Mellanox MQM8790-HS2F eine vorhersehbare geringe Latenzzeit in großem Maßstab.die auf dem MQM8790-HS2F InfiniBand-Switch gebauten Stoffe sind gut positioniert, um die nächste Expansionswelle zu unterstützen.