NVIDIA Mellanox MQM8790-HS2F InfiniBand-Switch in der Praxis

NVIDIA Mellanox MQM8790-HS2F InfiniBand-Switch in der Praxis | Verbindungsoptimierung mit geringer Latenz für RDMA/HPC/AI-Cluster

Hintergrund und Herausforderung: Der Latenzengpass in großen KI- und HPC-Clustern

Da KI-Trainingscluster auf Tausende von GPUs skaliert werden und HPC-Systeme in Richtung Exascale-Leistung streben, ist die Netzwerkstruktur, die Rechenknoten verbindet, zu einem entscheidenden Leistungsfaktor geworden. In diesen Umgebungen ist die Latenz nicht nur eine Messgröße – sie wirkt sich direkt auf die Anwendungsleistung, die Zeit bis zur Lösung und die Gesamteffizienz des Clusters aus. Bei Arbeitslasten, die stark auf kollektiven MPI-Operationen (Message Passing Interface) und All-to-All-Kommunikationsmustern basieren, wie z. B. beim Training großer Sprachmodelle und der numerischen Strömungsmechanik, können selbst Latenzerhöhungen im Mikrosekundenbereich zu zusätzlichen Stunden zusätzlicher Laufzeit führen. Herkömmliche Ethernet-Netzwerke, selbst mit RDMA over Converged Ethernet (RoCE), haben oft Schwierigkeiten, die für diese anspruchsvollen Anwendungen erforderliche deterministische niedrige Latenz bereitzustellen.

Dieser Herausforderung stellte sich kürzlich ein nationales Forschungslabor, das einen HPC-Cluster mit 2.000 Knoten für Klimamodellierung und KI-Forschung einsetzte. Der Cluster benötigte eine Konnektivität von 200 Gbit/s mit einer Latenz von weniger als 100 Nanosekunden, um sowohl MPI-basierte HPC-Workloads als auch verteiltes KI-Training zu unterstützen. Das Engineering-Team benötigte einen Switch, der in großem Maßstab eine konsistente Leistung mit geringer Latenz liefern und gleichzeitig erweiterte Funktionen wie adaptives Routing und Überlastungskontrolle unterstützen kann, um die Fabric-Effizienz unter wechselnden Lastbedingungen aufrechtzuerhalten. DerNVIDIA Mellanox MQM8790-HS2Ferwies sich als ideale Lösung und bietet 40 Ports mit 200 Gbit/s HDR InfiniBand mit einer Latenzzeit von weniger als 100 Nanosekunden und erweiterten In-Network-Computing-Funktionen.

Lösung und Bereitstellung: Aufbau einer InfiniBand-Fabric mit geringer Latenz

Um die Herausforderungen bei Latenz und Skalierbarkeit zu bewältigen, setzte das Labor Folgendes einNVIDIA Mellanox MQM8790-HS2Fals Kernschalter in einer Spine-Leaf-Fabric-Architektur. DasMQM8790-HS2F InfiniBand-SwitchBietet 40 QSFP56-Ports, die jeweils mit 200 Gbit/s HDR arbeiten und eine Gesamtschaltkapazität von 8 Tbit/s mit einer Port-zu-Port-Latenz von weniger als 100 Nanosekunden liefern. Die Struktur wurde mit einer 4-Spine-16-Leaf-Topologie entworfen und verbindet 2.000 Rechenknoten, die jeweils mit ConnectX-6 HDR-Adaptern ausgestattet sind. DerMQM8790-HS2F 200 Gbit/s HDR 40-Port QSFP56Die Konfiguration ermöglichte es dem Team, eine nicht blockierende Struktur mit voller Halbierungsbandbreite aufzubauen, die sicherstellte, dass jeder Knoten mit jedem anderen Knoten mit Leitungsgeschwindigkeit kommunizieren konnte.

Die Bereitstellung erfolgte in drei Schlüsselphasen:

• Stoffdesign:Mit derMQM8790-HS2F InfiniBand-Switch-LösungDas Team entwarf eine Spine-Leaf-Topologie, bei der jeder der 16 Leaf-Switches mit 50 Rechenknoten verbunden war (unter Verwendung einer Kombination aus 200-Gbit/s-Direktverbindungen und 100-Gbit/s-HDR100-Breakout-Verbindungen), während 4 Spine-Switches die Inter-Leaf-Konnektivität bereitstellten. DerMQM8790-HS2FDie Switches wurden mit aktiviertem adaptivem Routing konfiguriert, sodass die Fabric den Datenverkehr dynamisch auf die verfügbaren Pfade verteilen und Überlastungspunkte vermeiden kann.
• Erweiterte Funktionskonfiguration:Das Team aktivierte SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) auf den MQM8790-HS2F-Switches, um MPI-Sammeloperationen von den Rechenknoten auszulagern. Diese netzwerkinterne Rechenfähigkeit ermöglichte es den Switches, All-Reduce- und Broadcast-Vorgänge direkt durchzuführen, wodurch die Anzahl der Netzwerkdurchquerungen reduziert und die Gesamtlatenz für die kollektive Kommunikation verringert wurde.
• Leistungsoptimierung:Die Subnetzverwaltung wurde mithilfe der NVIDIA Unified Fabric Manager (UFM)-Plattform konfiguriert, die Echtzeiteinblicke in den Fabric-Zustand, Latenzmetriken und Überlastungsmuster ermöglichte. Das Team optimierte die Parameter zur Überlastungskontrolle, um die Leistung für das gemischte HPC- und KI-Workload-Profil zu optimieren.

Denn dieNVIDIA Mellanox MQM8790-HS2FIstMQM8790-HS2F kompatibelMit dem breiteren NVIDIA InfiniBand-Ökosystem, einschließlich ConnectX-6- und BlueField-2-Adaptern, verlief die Bereitstellung nahtlos und erforderte keine benutzerdefinierten Treiber oder Firmware-Patches. Die Integration des Switches in die UFM-Plattform ermöglichte es dem Team, die Fabric-Leistung im großen Maßstab zu überwachen und potenzielle Engpässe zu identifizieren und zu beheben, bevor sie sich auf die Laufzeit der Anwendung auswirken.

Ergebnisse und Vorteile: Messbare Verbesserungen der Latenz und Anwendungsleistung

Das Benchmarking nach der Bereitstellung im 2.000-Knoten-Cluster ergab erhebliche Leistungsverbesserungen. Erstens wurde die durchschnittliche Port-zu-Port-Latenz in der gesamten Fabric mit 85 Nanosekunden gemessen – im Einklang mit der im Dokument dokumentierten Spezifikation von weniger als 100 NanosekundenMQM8790-HS2F Datenblatt. Diese geringe Latenz führte direkt zu einer Steigerung der Anwendungsleistung: MPI-All-Reduction-Vorgänge wurden im Vergleich zur vorherigen 100-Gbit/s-InfiniBand-Fabric des Labors bis zu 35 % schneller abgeschlossen, während bei verteilten KI-Trainingsjobs (unter Verwendung von NCCL-basierter Kommunikation) die End-to-End-Epochenzeiten um etwa 28 % verkürzt wurden.

Zweitens lieferte die netzwerkinterne Rechenfähigkeit von SHARP erhebliche Leistungsvorteile. Durch die Auslagerung kollektiver Vorgänge auf die MQM8790-HS2F-Switches reduzierte der Cluster die CPU- und GPU-Auslastung für Kommunikationsaufgaben um bis zu 20 %, wodurch Rechenressourcen für die eigentliche Berechnung frei wurden. Dies erwies sich insbesondere bei groß angelegten KI-Schulungen als vorteilhaft, da dort die kollektive Kommunikation 30–40 % der Gesamtlaufzeit ausmachen kann.

Drittens erwies sich die adaptive Routing-Funktion als entscheidend für die Aufrechterhaltung einer gleichbleibenden Leistung unter wechselnden Lastbedingungen. Während Spitzenauslastungszeiten, wenn die Fabric eine Mischung aus MPI- und KI-Verkehr verarbeitete, verteilte adaptives Routing den Verkehr dynamisch auf die verfügbaren Pfade, hielt die durchschnittliche Latenz innerhalb von 10 % des Ausgangswerts und verhinderte durch Überlastung verursachte Leistungseinbußen. Das Team überwachte den Fabric-Zustand mithilfe der UFM-Plattform, die Echtzeit-Dashboards zur Verfolgung von Latenz, Durchsatz und Verbindungsauslastung über alle 20 Switches hinweg bereitstellte.

Viertens, die Dichte derMQM8790-HS2F 200 Gbit/s HDR 40-Port QSFP56Der Switch ermöglichte eine kompakte Fabric-Grundfläche. Das Labor reduzierte die Anzahl der erforderlichen Switches im Vergleich zur vorherigen 100-Gbit/s-InfiniBand-Infrastruktur um 50 % und reduzierte so den Rack-Platzverbrauch und den Strombedarf. Jeder MQM8790-HS2F verbrauchte typischerweise weniger als 230 W Strom, was zu einer Reduzierung der Kühlkosten für die Netzwerkinfrastruktur um 20 % beitrug.

Aus betrieblicher Sicht vereinfachten die Verwaltungsfunktionen des Switches die laufende Wartung. Das Netzwerkteam des Labors nutzte die CLI- und Web-UI-Schnittstellen, um Firmware-Upgrades und Konfigurationsänderungen durchzuführen, ohne den Fabric-Betrieb zu unterbrechen, und nutzte dabei die Unterstützung des Switches für störungsfreie Upgrades. DerMQM8790-HS2F-Spezifikationenumfassen umfassende Verwaltungsfunktionen, einschließlich SNMP-Überwachung und Syslog-Integration, die es dem Team ermöglichen, die Fabric in ihr bestehendes Network Operations Center (NOC)-Überwachungs-Framework zu integrieren.

Zusammenfassung und Ausblick: Ein Entwurf für InfiniBand-Fabrics mit geringer Latenz

Die Bereitstellungserfahrung mit demNVIDIA Mellanox MQM8790-HS2Füber einen 2.000-Knoten-HPC- und KI-Cluster zeigt deutlich, dass ein 40-Port-200-Gbit/s-HDR-InfiniBand-Switch die niedrige Latenz, Skalierbarkeit und erweiterte Funktionen bieten kann, die für anspruchsvolle Forschungs- und Unternehmensarbeitslasten erforderlich sind. Durch die Nutzung der Latenzzeit von weniger als 100 Nanosekunden, des adaptiven Routings und der netzwerkinternen Rechenfunktionen von SHARP können Unternehmen Strukturen aufbauen, die die MPI- und KI-Kommunikation beschleunigen, die Zeit bis zur Lösung verkürzen und die Gesamteffizienz des Clusters verbessern.

Mit Blick auf die Zukunft wird die Nachfrage nach InfiniBand-Switches mit hoher Dichte und geringer Latenz nur noch zunehmen, da KI-Trainingscluster weiterhin auf über 10.000 GPUs wachsen und HPC-Systeme auf Exascale skaliert werden. Der MQM8790-HS2F ist für diesen Weg gut aufgestellt, da seine 40-Port-Dichte, 8 Tbit/s Switching-Kapazität und die Unterstützung für HDR200- und HDR100-Geschwindigkeiten die Kompatibilität sowohl mit Rechenknoten der aktuellen als auch der nächsten Generation gewährleisten. Für Unternehmen, die ähnliche HPC- oder KI-Clusterbereitstellungen planen, bietet der in dieser Bereitstellung validierte mehrstufige Spine-Leaf-Ansatz eine praktische Roadmap: Stellen Sie MQM8790-HS2F-Leaf-Switches für die Zugriffskonnektivität bereit, verwenden Sie Spine-Switches mit höherer Portdichte (z. B. die QM9700-Serie mit 64 Ports) für größere Fabrics und pflegen Sie ein einheitliches Management-Framework, das UFM für die proaktive Fabric-Optimierung nutzt.

Ausführliche Fabric-Designvorlagen, Leitfäden zur Leistungsoptimierung und Bereitstellungschecklisten finden Sie imMQM8790-HS2F Datenblattund die Dokumentation zur NVIDIA Mellanox InfiniBand-Architektur.