NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch technische Referenz

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter.NVIDIA Mellanox MQM8790-HS2FInfiniBand-Switch, bietet eine detaillierte Referenz für die Konzeption, Bereitstellung,und Betrieb von Hochleistungsgeweben, die für groß angelegte KI-Ausbildungen und HPC-Simulationen dienen, mit Schwerpunkt auf RDMA-Beschleunigung und deterministischer Kommunikation mit geringer Latenzzeit.

Moderne KI- und HPC-Workloads treiben GPU-Cluster auf Zehntausende von Knoten zu.Leistungsunterschiede unter Incasts und höhere CPU-ÜberlastungenZu den wichtigsten Anforderungen an Cluster-Verbindungen der nächsten Generation gehören:

• Punkt-zu-Punkt-Latenzzeit unter einer Mikrosekunde für synchronisierte kollektive Operationen
• Verlustfreier, verkehrsfreier Transport zur Verhinderung der Rückzugszeit
• Vollständige Entlastung der Kommunikationsverarbeitung von CPU/GPU-Kernen
• Skalierbare Fat-Tree- oder Libelle+-Topologien mit nicht blockierender Bandbreite
• Kostenwirksamer Übergangspfad von bestehenden 100G/200G-Optiken

Diese Ansprüche werden durch dieMQM8790-HS2F InfiniBand-Schalterbietet 200 Gb/s HDR pro Port, 40 QSFP56-Ports pro Einheit und native Unterstützung für RDMA und In-Network-Computing.Diese Lösung wurde speziell für Umgebungen entwickelt, in denen sich die Effizienz der Vernetzung direkt auf die Arbeitszeit und die TCO.

Die empfohlene physikalische Topologie für KI/HPC-Cluster unter Verwendung derNVIDIA Mellanox MQM8790-HS2Fist ein zweistufiges oder dreistufiges Fat-Tree (auch als Leaf-Spin bekannt). Jeder Leaf-Switch verbindet sich über HDR- oder HDR100-Verbindungen mit GPU-Servern, während Spine-Switches eine vollmaschige Verbindung zwischen Blättern bieten.Eine typische 800-GPU-Konfiguration verwendet:

• 20 Blattschalter: jeweilsMQM8790-HS2F 200Gb/s HDR 40-Port QSFP56mit einer Leistung von bis zu 20 Servern (Doppelbahnverbindungen)
• 4 Spine-Switches: vollständig miteinander verbunden mit Blättern mit 200Gb/s Uplinks
• Nicht-blockende Verhältnis von 1:1 für jede Stufe

Für größere Cluster (2.000+ GPUs) fügt eine dreistufige Architektur eine Super-Spin-Schicht hinzu.Alle Stoffverwaltungen werden vom Subnetzmanager (SM) verwaltet, der entweder auf einem dedizierten Controller ausgeführt wird oder in die Switch-Firmware für kleinere Stoffe eingebettet ist.

Innerhalb dieser ArchitekturMQM8790-HS2FEs dient sowohl als Blatt- als auch als Rückgratelement.

• 200 Gb/s HDR pro Port:Volle bidirektionale Durchsendung mit 16Tb/s nicht blockierender Gesamtschaltkapazität
• Adaptive Routing (AR):Dynamische Verteilung des Verkehrs über mehrere Bahnen, um Hotspots zu vermeiden, was für die Effizienz des Fettbaums von entscheidender Bedeutung ist
• SHARPv2 (skalierbares Hierarchieaggregations- und Reduktionsprotokoll):Entlastet kollektive Vorgänge (All-Reduce, Reduce-Scatter) direkt in das Switch-Netzwerk und reduziert die Leerlaufzeit der GPU
• Kontrolle der Staus:Die Feinkörnchenflussregelung mit FECN/BECN-Mechanismen sorgt für verlustfreie Stoffe
• Hohe Hafendichte:40 QSFP56-Anschlüsse pro 1U-Chassis, die Rack-Layout vereinfachen und die Komplexität der Rackkabelung reduzieren

Ingenieure können sich auf dieDatenblatt MQM8790-HS2FundSpezifikationen MQM8790-HS2FDie Plattform ist auch für die Bereitstellung vonMQM8790-HS2F kompatibelmit einer breiten Palette von HDR-, HDR100- und sogar EDR-Optiken, die schrittweise Upgrades ermöglichen.

Für einen ausgewogenen 1.000-GPU-KI-Cluster wird folgende Bereitstellungsfolge empfohlen:

• Schritt 1 - BlattschichtInstallieren 25xMQM8790-HS2FVerbindet jeden GPU-Server (8 GPUs pro Server) über zwei HDR-Ports zu zwei verschiedenen Blättern für Redundanz und Bandbreite.
• Schritt 2 - RückenwirbelschichtEinsatz 8xNVIDIA Mellanox MQM8790-HS2FAls Spine-Switches. Verbinden Sie jedes Blatt mit jedem Spine mithilfe von 200Gb/s-Verbindungen (40 Uplinks pro Blatt, aber in der Regel eine Teilmenge, die ausreicht, um das Blockierungsverhältnis ≤1:1 aufrechtzuerhalten.
• Schritt 3 Unternetzmanager-Platzierung:Laufen Sie redundante SM-Instanzen auf zwei leichten Servern aus oder verwenden Sie die eingebettete SM für Cluster unter 2.000 Ports.
• Schritt 4 - Partitionierung:Verwenden Sie InfiniBand-Partitionen, um Produktions-, Entwicklungs- und Speicherverkehrsströme über den gleichen physischen Stoff zu isolieren.

Für die Erweiterung auf 2.500+ GPUs wird eine Super-Spin-Schicht mit zusätzlichen MQM8790-HS2F-Einheiten hinzugefügt und die Leaf-to-Spin-Uplink-Dichte erhöht.MQM8790-HS2F InfiniBand-SchalterlösungEs wird linear skaliert, ohne den Kern neu zu konstruieren.

Täglicher Betrieb eines aufMQM8790-HS2FSchlüsselpraktiken umfassen:

• Überwachung:Verwenden Sie `ibdiagnet` für die Topologievalidierung, `perfquery` für Hafenzähler und Grafana-Dashboards mit Prometheus-Exportern für Echtzeit-Telemetrie (Verknüpfungsauslastung, Symbolfehler, Überlastungsmarker).
• Firmware und Software:Sie müssen die Firmware für alle Schalter konsistent halten.Datenblatt MQM8790-HS2Ffür die Versionskompatibilität.
• Fehlerbehebung:Häufige Probleme, wie z. B. Linkschlag, fehlerhafte MTU oder Partitionskonfiguration, werden schnell mit Hilfe von `ibstatus`, `smpquery` und Switch-Syslog gelöst.
• Optimierung:Schalten Sie adaptive Routing-Schwellenwerte und Überlastungskontrollparameter basierend auf der Workload-Profilierung ein. Für die groß angelegte KI-Ausbildung aktivieren Sie SHARP in den entsprechenden MPI-Bibliotheken (z. B. NCCL mit SHARP-Plugin).

Bei der Planung des Budgets oder der ErweiterungMQM8790-HS2F PreisZuschläge von autorisierten Partnern undMQM8790-HS2F zum VerkaufDie Kompatibilität der Plattform mit der vorhandenen QSFP56-Verkabelung reduziert das Beschaffungsrisiko.

DieMQM8790-HS2Fist nicht nur ein Schalter ­ es ist ein Grundbaustein für deterministische, langfristige HPC- und KI-Fabriken.und SHARP-In-Network-Computing adressiert direkt die wichtigsten Schmerzpunkte moderner Cluster-VerbindungenIm Vergleich zu alternativen 200G Ethernet-Lösungen bietet das InfiniBand-Ökosystem:

• Niedrigerer CPU-Overhead (echte RDMA mit Hardware-Transport-Auslastung)
• Deterministische Mikrosekunden-Latenz bei echter Last
• Vereinfachte Fabric-Verwaltung mit zentralisiertem Subnet Manager
• Nachgewiesene Skalierbarkeit auf Zehntausende von Endpunkten

Für Unternehmen, die GPU-Cluster errichten oder erweitern,NVIDIA Mellanox MQM8790-HS2Fbedeutet, höhere effektive FLOPS pro Dollar zu erzielen, die Arbeitszeit zu verkürzen und die Vernetzung für HDR200-Upgrades der nächsten Generation (400 Gb/s) zukunftssicher zu machen.einschließlich vollständigerSpezifikationen MQM8790-HS2Fund Verkabelungsmatrizen, sind über das NVIDIA Partnerportal verfügbar.