NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch technische Lösung

Technische Lösung für den NVIDIA Mellanox MQM8790-HS2F InfiniBand-Switch | Verbindungsoptimierung mit geringer Latenz für RDMA/HPC/AI-Cluster

1. Projekthintergrund und Anforderungsanalyse

Da Trainingscluster für künstliche Intelligenz (KI) auf Tausende von GPUs skaliert werden und Hochleistungsrechnersysteme (HPC) in Richtung Exascale-Leistung streben, ist die Netzwerkstruktur, die Rechenknoten verbindet, zu einem entscheidenden Leistungsfaktor geworden. In diesen Umgebungen ist die Latenz nicht nur eine Messgröße – sie wirkt sich direkt auf die Anwendungsleistung, die Zeit bis zur Lösung und die Gesamteffizienz des Clusters aus. Bei Arbeitslasten, die stark auf kollektiven MPI-Operationen (Message Passing Interface) und All-to-All-Kommunikationsmustern basieren – wie z. B. das Training großer Sprachmodelle, numerische Strömungsmechanik und Simulationen der Quantenchemie – können selbst Latenzerhöhungen im Mikrosekundenbereich zu zusätzlichen Stunden zusätzlicher Laufzeit führen. Herkömmliche Ethernet-Netzwerke, selbst mit RDMA over Converged Ethernet (RoCE), haben oft Schwierigkeiten, die für diese anspruchsvollen Anwendungen erforderliche deterministische niedrige Latenz und einen überlastungsfreien Betrieb bereitzustellen.

Diese Herausforderung wird durch drei gleichzeitige Trends verstärkt. Erstens erfordert der wachsende Umfang von KI-Modellen (inzwischen mehr als Billionen von Parametern) eine massive Parallelität über Tausende von GPUs hinweg und erfordert eine Struktur, die einen hohen Durchsatz bei minimaler Latenzvarianz aufrechterhalten kann. Zweitens bedeutet die Konvergenz von HPC- und KI-Workloads, dass eine einzelne Fabric sowohl MPI-basierte Kommunikationsmuster als auch NCCL-basierte GPU-Sammeloperationen effizient unterstützen muss. Drittens erfordert die betriebliche Effizienz, dass die Struktur im großen Maßstab verwaltet werden kann und über umfassende Überwachungs- und automatisierte Optimierungsfunktionen verfügt. Es ist eine strukturierte technische Lösung erforderlich – eine, die einen leistungsstarken InfiniBand-Switch mit Weiterleitung mit geringer Latenz, erweitertem Überlastungsmanagement und netzwerkinterner Rechenbeschleunigung nutzt, um vorhersehbare Leistung in großem Maßstab bereitzustellen.

2. Gesamtentwurf der Netzwerk-/Systemarchitektur

Die vorgeschlagene Architektur verwendet eine Spine-Leaf-TopologieNVIDIA Mellanox MQM8790-HS2FSwitches als Leaf-Tier, verbunden mit Spine-Switches mit höherer Portdichte (z. B. der QM9700-Serie mit 64 Ports mit 400 Gbit/s NDR) für große Fabrics. Die Architektur ist darauf ausgelegt, nicht blockierende Kommunikation mit voller Halbierungsbandbreite zu unterstützen und sicherzustellen, dass jeder Rechenknoten ohne Konflikte mit jedem anderen Knoten mit Leitungsgeschwindigkeit kommunizieren kann.

Bei einer typischen Bereitstellung für einen Cluster mit 2.000 Knoten umfasst die Architektur Folgendes:

• Blattstufe:20MQM8790-HS2F InfiniBand-SwitchEinheiten mit jeweils 40 QSFP56-Ports, die mit 200 Gbit/s HDR betrieben werden. Jeder Leaf-Switch stellt eine Verbindung zu 50 Rechenknoten her (mit einer Mischung aus 200-Gbit/s-Direktverbindungen und 100-Gbit/s-HDR100-Breakout über QSFP56-zu-2×QSFP56-Kabel).
• Wirbelsäulenstufe:4 QM9700-Switches (oder gleichwertige Switches mit hoher Dichte), jeweils mit 64 Ports mit 400 Gbit/s NDR, die Inter-Leaf-Konnektivität bieten.
• Rechenknoten:Jeder Knoten ist mit einem oder mehreren ConnectX-6 HDR- oder ConnectX-7 NDR-Adaptern ausgestattet, die über passive Kupfer- oder aktive optische Kabel mit Leaf-Switches verbunden sind.
• Managementnetzwerk:Ein separates Out-of-Band-Ethernet-Netzwerk für die Switch-Verwaltung, integriert in die NVIDIA Unified Fabric Manager (UFM)-Plattform für zentralisierte Fabric-Überwachung und -Optimierung.

Die Architektur nutzt dieMQM8790-HS2F 200 Gbit/s HDR 40-Port QSFP56Konfiguration, um eine Gesamt-Leaf-Switching-Kapazität von 8 Tbit/s pro Switch bereitzustellen. Die Verwendung von HDR100 Breakout ermöglicht flexible Konnektivitätsoptionen: Jeder 200-Gbit/s-Port kann entweder einen einzelnen 200-Gbit/s-Endpunkt oder zwei 100-Gbit/s-Endpunkte unterstützen und so heterogene Rechenknoten mit unterschiedlichen Schnittstellengeschwindigkeiten aufnehmen.

3. Rolle und Hauptmerkmale des NVIDIA Mellanox MQM8790-HS2F in der Lösung

Innerhalb dieser Architektur ist dieMQM8790-HS2Fdient als grundlegender Leaf-Switch und bietet Konnektivität mit geringer Latenz und hoher Bandbreite zu Rechenknoten und unterstützt gleichzeitig erweiterte Funktionen, die für HPC- und KI-Workloads unerlässlich sind. Seine wichtigsten technischen Merkmale sind entscheidend für den Erfolg der Gesamtlösung:

• Port-zu-Port-Latenz von unter 100 Nanosekunden:Bietet eine deterministische niedrige Latenz, die für latenzempfindliche MPI-Kollektive und All-Reduction-Operationen unerlässlich ist.
• 40 Ports mit 200 Gbit/s HDR InfiniBand:Bietet eine Gesamt-Switching-Kapazität von 8 Tbit/s in einem kompakten 1-HE-Formfaktor, maximiert die Portdichte und reduziert den Platzbedarf im Rack.
• SHARP-Unterstützung (Scalable Hierarchical Aggregation and Reduction Protocol):Ermöglicht eine netzwerkinterne Rechenbeschleunigung für MPI-Sammeloperationen und entlastet CPU/GPU um bis zu 20 % der Kommunikationsarbeitslast.
• Adaptives Routing:Verteilt den Datenverkehr basierend auf Echtzeit-Überlastungsmetriken dynamisch auf verfügbare Fabric-Pfade, optimiert den Durchsatz und minimiert Latenzschwankungen.
• Staukontrolle:Implementiert erweiterte Überlastungsmanagementmechanismen (einschließlich Flusskontrolle auf Paketebene und Überlastungsbenachrichtigung), um zu verhindern, dass Netzwerk-Hotspots die Leistung beeinträchtigen.
• HDR100-Breakout-Unterstützung:Ermöglicht die Konfiguration jedes 200-Gbit/s-Ports als zwei unabhängige 100-Gbit/s-Ports und bietet so Bereitstellungsflexibilität für Umgebungen mit unterschiedlichen Geschwindigkeiten.
• Umfangreiche Verwaltungsschnittstellen:Unterstützt IBTA-konformes Subnetzmanagement (SM), SNMP, CLI, Web-UI und Integration mit UFM für zentralisiertes Fabric-Management.
• Energieeffizienz:Typischer Stromverbrauch unter 230 W, was zu einem geringeren Kühlbedarf und einem verbesserten PUE beiträgt.

Diese Funktionen sind im ausführlich dokumentiertMQM8790-HS2F Datenblatt, das detaillierte Leistungskurven, thermische Spezifikationen und mechanische Zeichnungen zur Integration in Rack-Layout-Tools enthält.

4. Bereitstellungs- und Skalierungsempfehlungen (mit typischer Topologiebeschreibung)

Für die Erstbereitstellung empfehlen wir eine modulare Erweiterungsstrategie basierend auf einer Pod-Level-Architektur. Jeder Pod besteht aus 4 Leaf-Switches und 2 Spine-Switches und unterstützt etwa 400 Rechenknoten mit voller Halbierungsbandbreite. DerMQM8790-HS2F InfiniBand-Switch-Lösungermöglicht eine inkrementelle Skalierung durch das Hinzufügen von Pods, wenn die Rechenkapazität wächst, wobei die Spine-Ebene die Konnektivität zwischen Pods für eine einheitliche Struktur bereitstellt.

Typische Topologie für einen einzelnen Pod (400 Rechenknoten):

• Blattschalter:4 × MQM8790-HS2F, jeweils mit 40 Ports bei 200 Gbit/s. 36 Ports pro Blatt werden für die Konnektivität der Rechenknoten verwendet (unterstützt bis zu 72 Knoten pro Blatt mit HDR100-Breakout), während 4 Ports pro Blatt für Spine-Uplinks verwendet werden.
• Wirbelsäulenschalter:2 × QM9700 (oder gleichwertige 64-Port-NDR-Switches), die jeweils über 400-Gbit/s-Uplinks mit allen 4 Leaf-Switches verbunden sind (unter Verwendung von 4 × 200-Gbit/s-QSFP56-zu-QSFP-DD-Kabeln).
• Rechenknoten:400 Knoten, die jeweils über eine einzelne 200-Gbit/s- oder zwei 100-Gbit/s-HDR100-Verbindungen mit einem Leaf-Switch verbunden sind.

Skalierung über einen einzelnen Pod hinaus:

• Fügen Sie je nach Rechenkapazität zusätzliche Pods (jeweils mit 4 Leaf-MQM8790-HS2F-Switches) hinzu.
• Verbinden Sie Pods über eine übergeordnete Spine-Schicht (Superspine) mit zusätzlichen QM9700- oder NDR-Switches.
• Behalten Sie die Stoffkonsistenz bei, indem Sie das verwendenMQM8790-HS2Füber alle Blattpositionen hinweg und sorgt so für eine einheitliche Latenz und Verwaltung im gesamten Fabric.

Beim Einsatz derMQM8790-HS2FIm HDR100-Breakout-Modus gelten die folgenden Verkabelungsrichtlinien:

Für große Fabrics mit mehr als 2.000 Knoten empfehlen wir die Nutzung der Fabric-Simulationsfunktionen von UFM, um das Topologiedesign und das Überlastungsverhalten vor der Bereitstellung zu validieren.

5. Betrieb und Wartung: Überwachung, Fehlerbehebung und Optimierung

Der Betriebslebenszyklus der MQM8790-HS2F-basierten InfiniBand-Fabric erfordert einen systematischen Ansatz zur Überwachung, Fehlerbehebung und Optimierung. Wir empfehlen den Einsatz der NVIDIA UFM-Plattform als zentrales Verwaltungs- und Überwachungstool, das Echtzeiteinblick in die Fabric-Leistung, Latenzmetriken und Überlastungsmuster bietet.

Wichtige zu verfolgende Überwachungsmetriken:

• Latenz auf Portebene:End-to-End-Latenz im gesamten Fabric, mit Warnungen für Ports, die Latenzschwellenwerte überschreiten.
• Durchsatz und Auslastung:Aggregieren Sie den Durchsatz pro Port und identifizieren Sie nicht ausreichend oder überausgelastete Links.
• Stauindikatoren:Paketverluste, Pausenrahmen und Überlastungsbenachrichtigungsereignisse.
• Stoffgesundheit:Verbindungsstatus, Fehlerzähler und Temperatur-/Leistungstelemetrie.

Fehlerbehebungsprotokoll für häufige Probleme:

1. Latenzverschlechterung:Verwenden Sie die Latenzanalysetools von UFM, um den spezifischen Pfad oder Port zu identifizieren, bei dem die Latenz erhöht ist. Überprüfen Sie, ob das adaptive Routing überlastet oder falsch konfiguriert ist.
2. Linkfehler oder -abbrüche:Überprüfen Sie die physische Konnektivität (Kabel, Optik) und Port-Fehlerzähler. Überprüfen Sie, ob dieMQM8790-HS2F kompatibelKabel und Optik werden entsprechend verwendetMQM8790-HS2F-Spezifikationen.
3. Probleme bei der Subnetzverwaltung:Stellen Sie sicher, dass der Subnet Manager (SM) ausgeführt wird und die Fabric-Topologie korrekt erkannt wird. Suchen Sie nach SM-Failover-Ereignissen.

Optimierungsempfehlungen:

• Adaptive Routing-Optimierung:Passen Sie die Parameter des Routing-Algorithmus basierend auf beobachteten Verkehrsmustern an – verwenden Sie UFM, um verschiedene Routing-Richtlinien zu simulieren, bevor Sie sie auf die Produktionsstruktur anwenden.
• Konfiguration der Überlastungskontrolle:Aktivieren und optimieren Sie Mechanismen zur Überlastungskontrolle (z. B. Pakettaktung und Prioritätsflusskontrolle) basierend auf Workload-Eigenschaften – KI-Training profitiert von einer aggressiveren Überlastungskontrolle im Vergleich zu HPC-Workloads.
• Firmware- und Software-Updates:Aktualisieren Sie die Switch-Firmware und die UFM-Software regelmäßig, um auf Leistungsverbesserungen und neue Funktionen zuzugreifen.
• Regelmäßige Stoffaudits:Führen Sie regelmäßige Audits der Verkabelung, Stromversorgung und Kühlung durch, um die Betriebszuverlässigkeit im großen Maßstab sicherzustellen.

6. Zusammenfassung und Wertbewertung

DerNVIDIA Mellanox MQM8790-HS2F-basierte technische Lösung bietet eine umfassende, feldvalidierte Methodik zur Optimierung von Verbindungen mit geringer Latenz in RDMA/HPC/KI-Clustern. Durch die Nutzung der 40 Ports des Switches mit 200 Gbit/s HDR InfiniBand, einer Latenz von weniger als 100 Nanosekunden, SHARP-In-Network-Computing und adaptiven Routing-Funktionen können Unternehmen Strukturen aufbauen, die vorhersehbare Leistung in großem Maßstab liefern und gleichzeitig die Verwaltung vereinfachen und den Betriebsaufwand reduzieren.

Zu den wichtigsten Wertkennzahlen vergleichbarer Bereitstellungen gehören:

• Latenzreduzierung:Die Port-zu-Port-Latenz von weniger als 100 Nanosekunden reduziert die MPI-Gesamtabschlusszeiten im Vergleich zu Fabrics der vorherigen Generation um bis zu 35 %.
• Anwendungsbeschleunigung:Die netzwerkinterne Rechenauslagerung von SHARP reduziert den CPU/GPU-Kommunikationsaufwand um bis zu 20 % und beschleunigt die Epochenzeiten des KI-Trainings um 25–30 %.
• Stoffeffizienz:Adaptives Routing und Überlastungskontrolle sorgen für eine gleichbleibende Leistung bei unterschiedlicher Auslastung und reduzieren die Leistungsschwankungen um bis zu 60 %.
• Betriebsvereinfachung:Die UFM-Integration bietet umfassende Transparenz und Automatisierung und reduziert die MTTR für Fabric-Vorfälle um bis zu 50 %.
• Kosteneffizienz:DerMQM8790-HS2F PreisIn Kombination mit der hohen Portdichte werden die Kosten pro Port im Vergleich zu alternativen InfiniBand-Lösungen gesenkt und gleichzeitig der Platzbedarf im Rack und der Strombedarf reduziert.

Für Netzwerkarchitekten und technische Leiter bietet der MQM8790-HS2F eine skalierbare, leistungsstarke Grundlage für HPC- und KI-Cluster der nächsten Generation. Die Lösung empfiehlt sich besonders für Unternehmen, die große GPU-beschleunigte Umgebungen einsetzen, sowie für traditionelle HPC-Zentren, die von 100 Gbit/s auf 200 Gbit/s-Fabrics aufrüsten. Während sich InfiniBand weiter in Richtung NDR (400 Gbit/s) und

Ausführliche Fabric-Designvorlagen, Leitfäden zur Leistungsoptimierung und Bereitstellungschecklisten finden Sie imMQM8790-HS2F Datenblattund die Dokumentation zur NVIDIA Mellanox InfiniBand-Architektur.