NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Technische Lösung

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter.MQM9790-NS2F- ein 400Gb/s-NDR-InfiniBand-Switch, der detaillierte Leitlinien für die Architekturgestaltung, Schlüsseltechnologien, Bereitstellung und Skalierung sowie Betrieb und Überwachung enthält,speziell für die Optimierung von RDMA/HPC/AI-Cluster-Low-Latency-Verbindungen.

1. Projekthintergrund und Bedarfsanalyse

Moderne KI-Ausbildungen und HPC-Workloads treiben Cluster von Tausenden bis zu Zehntausenden von GPUs voran.Traditionelle Ethernet-Fabriken haben Probleme mit Latenz und CPU-Overhead, während ältere InfiniBand-Bereitstellungen möglicherweise nicht über ausreichende Portdichte und Bandbreite verfügen.effiziente RDMA-Unterstützung, und nahtlose Skalierbarkeit auf Hunderte von Schaltern.NVIDIA Mellanox MQM9790-NS2FDiese Anforderungen werden durch die NDR-Kapazität von 400 Gb/s und die fortschrittlichen Rechenfunktionen im Netzwerk direkt erfüllt.

2. Gesamter Netzwerk- und Systemarchitekturentwurf

Die empfohlene Architektur verwendet eine zweischichtige Fat-Tree-Topologie (auch als gefalteter Clos bekannt), die Bisection-Bandbreite, Kosten und Skalierbarkeit ausgleicht.GPU-Server mit ConnectX-7-NDR-Adaptern verbinden sich mit Leaf-SwitchesIn der Wirbelsäulen-Schicht,MQM9790-NS2F InfiniBand SchalterDiese Konstruktion gewährleistet eine volle Spaltbandbreite: jeder Blattschalter kann mit jedem anderen Blatt mit Drahtgeschwindigkeit kommunizieren.eine Drei-Schicht-Topologie (Blatt-Rücken-Super-Rücken) eingesetzt werden kann, unterstützt bis zu Zehntausende von GPU-Knoten.

• Schalter für Blätter:64-Port-OSFP-Modelle, die jeweils eine Verbindung zu 32 Servern (Dual-Port) sowie Uplinks zu Spines herstellen.
• Rückenwirbelschicht: MQM9790-NS2F 400Gb/s NDR 64-Port OSFPEin vollständig nicht blockierendes Design erfordert Spine-Ports, die der Anzahl der Leaf-Switches entsprechen.
• Unternetzverwaltung:Ein dedizierter oder redundanter Subnetzmanager übernimmt die Pfadberechnung, adaptive Routing und Failover.

3. Rolle und Hauptmerkmale des NVIDIA Mellanox MQM9790-NS2F in der Lösung

Als Kernwirbelsäule und optional Blattvorrichtung, dieMQM9790-NS2Fbietet mehrere kritische Fähigkeiten:

• Leistung bei NDR-Linienrate von 400 Gb/s:Jeder der 64 OSFP-Anschlüsse arbeitet mit einer vollen Duplexgeschwindigkeit von 400 Gbit/s und verfügt über eine Gesamtschalkapazität von 51,2 Tb/s.
• Ultra-niedrige Latenzzeit und adaptive Routing:Durchschnittliche Schaltzeiten halten die Port-to-Port-Latenz unter 130 ns. Adaptive Routing balanciert den Traffic dynamisch über mehrere Pfade hinweg und vermeidet Hotspots.
• Netzwerkrechner (SHARPv3):Unterstützt skalierbare hierarchische Aggregation und Reduktion, die kollektive Operationen von der CPU/GPU entladen und die Datenbewegung um bis zu 10x reduzieren.
• RDMA-native Konstruktion:Hardware-beschleunigte RDMA ermöglicht direkten Zugriff auf GPU-Speicher, wodurch die CPU-Beteiligung beseitigt und die Kommunikationskosten drastisch gesenkt werden.
• Umfassende Telemetrie und Qualitätssicherung:Feinkörnige Überlastungskontrolle, Pufferüberwachung und Strömungsklassifizierung sorgen für eine deterministische Leistung bei gemischten Arbeitsbelastungen.

Nach Angaben derDatenblatt MQM9790-NS2F, unterstützt der Schalter auch warmwechselbare Stromversorgungen und Ventilatoren, redundante Management-Ports und eine vollständige Suite von Diagnostiken, so dass er für 7×24 Produktionsumgebungen geeignet ist.

4. Empfehlungen für die Bereitstellung und Skalierung (mit typischer Topologie)

Ein typischer 2.048-GPU-Cluster kann mit 64 Leaf-Switches und 32 Spine-Switches aufgebaut werden. Jeder Leaf verbindet sich mit 32 GPU-Servern (Dual-Port) und stellt 32 Uplinks zu Spines zur Verfügung.MQM9790-NS2F kompatibelFür die Erweiterung auf 8.192 GPUs wird eine Super-Spin-Schicht hinzugefügt, die mehrere Pods miteinander verbindet.

Beim Skalieren sollten Sie Folgendes beachten:

• Verkabelung und Optik:Verwenden Sie OSFP-zu-OSFP-DACs für kurze Intra-Rack-Verbindungen und OSFP-zu-4xOSFP-Ausbruchskabel oder optische Module für längere Distanzen.Spezifikationen MQM9790-NS2FWir haben eine Reihe von Vorschlägen.
• Größe des Subnetzes:Ein einzelner Subnetzmanager kann bis zu 2.000 Knoten verwalten; darüber hinaus können mehrere Subnetze bereitgestellt oder ein verteiltes Subnetzmanager-Design verwendet werden.
• Entlassungen:Bei zwei-Hosting-Servern und redundanten Spine-Switches werden einzelne Ausfallpunkte eliminiert.MQM9790-NS2F InfiniBand-Schalterlösungunterstützt einen schlagfreien Failover mit der richtigen SM-Konfiguration.

5. Betrieb, Überwachung, Fehlerbehebung und Optimierung

Wirksame Abläufe erfordern Sichtbarkeit und Automatisierung.

• Überwachung:Verwenden Sie den Fabric Manager und die Telemetrie-APIs von NVIDIA, um Portfehler, Temperatur, Stromverbrauch und Linknutzung zu verfolgen.
• Fehlerbehebung:DieMQM9790-NS2Fbietet Portzähler, Histogramme der Bufferbeschäftigung und Überlastungsprotokolle. Im Falle einer Leistungsabnahme überprüfen Sie die adaptive Routing-Konfiguration, stellen Sie sicher, dass alle Stoffverbindungen symmetrisch sindund überprüfen, ob die SHARP-Aggregation für unterstützte Gruppen aktiviert ist.
• Optimierung:Anpassungsfähige Routing-Parameter auf Basis der Arbeitsbelastung anpassen (z. B. latenz-empfindlich vs. durchsatzempfindlich). Für große KI-Modelle können Sie die Stausregelung aktivieren und Puffergrenzen festlegen, um PFC-Stallstörungen zu vermeiden.Regelmäßige Überprüfung derMQM9790-NS2F PreisIm Vergleich zu Leistungsausgleichsmaßnahmen bei der Planung von Kapazitätserweiterungen oftmals bringt die Erweiterung von Spines einen besseren ROI als das Hinzufügen von mehr Blättern.

Für Organisationen, dieMQM9790-NS2F zum Verkauf, stellen Sie sicher, dass Ihr Software-Stack (z. B. NCCL, OpenMPI) NDR-Funktionen wie SHARPv3 und hardwarebasierte Reduktion unterstützt.

6. Zusammenfassung und Wertbewertung

DieMQM9790-NS2F InfiniBand-Schalterlösungbietet einen klaren Weg zum Aufbau von Low-Latency- und High-Bandwidth-Fabrics für anspruchsvolle RDMA/HPC/AI-Cluster.und in-network-computing-Fähigkeiten direkt die Skalierbarkeit und Leistung Herausforderungen der modernen Workloads. Durch die Annahme der oben beschriebenen Architektur - Fat-Tree-Topologie, NDR-Kernschalter und RDMA-native Bedienung - können Organisationen eine lineare GPU-Skalierung erreichen und die Arbeitszeit um über 30% reduzieren,Für eine detaillierte Planung wenden Sie sich an die offizielleDatenblatt MQM9790-NS2FSie können sich mit der Kommission über eine Anpassung an die Anforderungen derMQM9790-NS2F Preisund Verfügbarkeit, wenden Sie sich bitte an einen autorisierten NVIDIA Partner.