Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch Technische Lösung

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand-Switch-Technische Lösung

Dieses technische Whitepaper stellt eine umfassende Lösungsarchitektur vor, die sich auf dieMellanox (NVIDIA Mellanox) MQM9790-NS2FDas Dokument richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter und beschreibt detailliert, wie dieMQM9790-NS2FWir behandeln Konstruktionsprinzipien, Bereitstellungstopologien,beste Betriebspraxis, und Leistungsvalidierung.

1. Projekthintergrund und Bedarfsanalyse

Moderne KI-Ausbildungen und wissenschaftliche Simulationsarbeiten erfordern Netzwerkgewebe, die massive All-Reducing-, All-Gathering- und Punkt-zu-Punkt-Kommunikationsmuster mit Sub-Mikrosekunden-Jitter unterstützen können.Traditionelle Ethernet-basierte Lösungen, auch mit RoCEv2, führt Komplexität im Congestion-Management, PFC-Tuning und Tail-Latency-Kontrolle ein, was oft zu einer ineffizienten GPU-Auslastung und unvorhersehbaren Arbeitsdurchlaufzeiten führt.

Zu den wichtigsten Anforderungen, die in typischen HPC/KI-Projekten identifiziert wurden, gehören:

• End-to-end-Latenz < 1 μs (Schalter von Port zu Port) bei voller Last
• Verlustfreier Stoff mit null Verpackungsabfällen aufgrund von Staus
• Skalierbarkeit von 64 bis über 2.000 GPU-Knoten ohne Architekturänderungen
• Vereinfachte Abläufe mit umfangreicher Telemetrie und automatisierter Fehlerwiederherstellung

DieNVIDIA Mellanox MQM9790-NS2FDiese Anforderungen werden direkt durch die Integration von NDR 400 Gb/s-Technologie, adaptivem Routing und In-Network Computing in eine 1U, 64-Port-OSFP-Plattform erfüllt.

2. Gesamter Netzwerk- / Systemarchitekturentwurf

Die empfohlene Architektur verwendet eine zweistufige Blattwirbelsäule (oder Fat-Tree) -Topologie, um eine vollständige Durchtrennungsbandbreite und hohe Widerstandsfähigkeit zu gewährleisten.mit einem Gehäuse für jedes Regal von zweiMQM9790-NS2F InfiniBand-SchalterDie Spinal-Layer aggregiert den Datenverkehr aller Leaf-Switches und sorgt so für eine nicht blockierende Kommunikation zwischen zwei beliebigen Endpunkten.

DieMQM9790-NS2F 400Gb/s NDR 64-Port OSFPSchalter fungiert sowohl als Blatt als auch als Rückgrat und bietet eine einheitliche Hardware über den gesamten Stoff hinweg, die Spar- und Wartung vereinfacht.Ein typisches Design verwendet 16 Blattschalter (jeder verbindet 64 GPUs) und 8 Spine-SchalterDas Gewebe unterstützt sowohl Fat-Tree- als auch Dragonfly+-Topologien mit adaptivem Routing, das den Verkehr auf mehreren Pfaden dynamisch ausbalanciert.

3. Rolle und wesentliche Merkmale derMellanox (NVIDIA Mellanox) MQM9790-NS2Fin der Lösung

DieNVIDIA Mellanox MQM9790-NS2Fist der Eckpfeiler dieser Lösung, indem

• 64 OSFP-Anschlüssejeweils mit einer Geschwindigkeit von 400 Gb/s (NDR) ‡ Gesamtübergangskapazität von 25,6 Tb/s mit einer Durchschnittsverzögerung von weniger als 600 ns.
• Anpassungsfähige Routing-  dynamisch den am wenigsten überlasteten Pfad pro Paket auswählt, Hotspot-Verbindungen vermeidet und eine gleichbleibende Latenzzeit auch bei asymmetrischen Verkehrsmustern aufrechterhält.
• SHARPv3 (Skalierbares Hierarchisches Aggregation- und Reduktionsprotokoll)- die kollektive Kommunikation (all-reduced, broadcast) von den Host-CPUs ablastet, wodurch das Netzwerk-Chatter reduziert und die Ausbildung von KI um bis zu 20-30% beschleunigt wird.
• Netzwerkrechner- unterstützt Datenreduktion, Segmentierung und sogar kleine MPI-Operationen direkt am Switch, wodurch wertvolle GPU-Ressourcen für die Berechnung freigesetzt werden.
• Telemetrie und Verkehrsüberlastung integrierte erweiterte Überwachung einschließlich Zählern pro Fluss, Histogramme für die Bufferbesetzung und Latenzmessungen auf Pfadebene, die alle über UFM- oder REST-APIs exportiert werden können.

Diese Fähigkeiten ermöglichen dieMQM9790-NS2F InfiniBand-SchalterlösungDie Ergebnisse der Studie zeigen, dass dieSpezifikationen MQM9790-NS2FDarüber hinaus sollen sowohl passive Kupfer-DACs als auch aktive optische Module unterstützt werden, die Flexibilität für Entfernungen von bis zu 100 m (mit 400G SR4-Optik) und darüber hinaus bieten.

4. Empfehlungen für die Bereitstellung und Skalierung (typische Topologie)

Für einen Greenfield-Einsatz empfehlen wir den folgenden schrittweisen Ansatz:

• Phase 1 Pilotprojekt:Verwenden Sie 2 Blattschalter (jederMQM9790-NS2FDie Datenbank wird von der E-Mail-Verbindung mit der E-Mail-Verbindung übermittelt.Datenblatt MQM9790-NS2FParameter.
• Phase 2 Scale-out:Hinzufügen von Blattschaltern in Schritten von 2 pro Rack und von Rückenschaltern, soweit erforderlich, um eine Überabonnementquote ≤ 1 zu erhalten:1Die 64-Port-Dichte ermöglicht es einem einzigen Switch, ein volles Rack von 64 GPU-Knoten zu hosten (wenn jeder Knoten einen einzigen 400G-Uplink hat).
• Stufe 3 Mehrfachflugzeug:Für Cluster mit mehr als 2.000 Knoten müssen mehrere unabhängige Stoffe (z. B. 2×- oder 4×-Ebenen) mit routebasierter Lastbilanz implementiert werden.Nutzung der Unterstützung des Switches für virtuelle Strecken und Partitionsschlüssel.

Bei der typischen Verkabelung werden OSFP-zu-OSFP-DACs für Rackverbindungen (≤ 3 m) und OSFP-zu-400G-SR4-Optikmodule für Spin-Leaf-Distanzen von bis zu 100 m verwendet.MQM9790-NS2F kompatibelDie Transceiver werden mit dem Ökosystem der optischen Anbieter von NVIDIA validiert, was eine nahtlose Interoperabilität gewährleistet.

5. Betrieb, Überwachung, Fehlerdiagnose und Optimierung

Wirksames Arbeiten ist von entscheidender Bedeutung, um eine geringe Latenzzeit in der Produktion zu erhalten.NVIDIA UFM (Unified Fabric Manager), die Folgendes vorsieht:

• Echtzeit-Dashboard- Bandbreite pro Port, Fehlerzähler und Überlastungskernkarten.
• Automatisierte Optimierung des Weges- wenn sich eine Verbindung verschlechtert oder ausfällt, berechnet UFM die Routen neu und konfiguriert adaptive Routingtabellen ohne Eingreifen des Betreibers.
• Historische Telemetrie- Speichert Latenz- und Strömungsdaten für die Post-Mortem-Analyse und Kapazitätsplanung.

Empfohlene Fehlerbehebungsvorgänge:

1. Überwachung von Pausen und Abwurfen pro Anschlusspunkt ∼ null Abwurf wird erwartet; Abwurf zeigt eine falsche Konfiguration oder eine fehlerhafte Optik an.
2. Validieren Sie den SHARPv3-Betrieb über die kollektiven Statistiken der UFM – stellen Sie sicher, dass die Reduktionsoperationen abgeschaltet werden.
3. Verwendung eingebauter Diagnosewerkzeuge (z. B.Infektionskrankheit,IBSstatus) zur Überprüfung der Verbindungs- und Signalintegrität.

Für die Optimierung wird der Schwellenwert des adaptiven Routing-Algorithmus (z. B. Lastmessintervall) anhand der Arbeitsbelastungsmuster ′′ derMQM9790-NS2F InfiniBand SchalterRegelmäßige Firmware-Updates (verfügbar über das NVIDIA Support-Portal) beinhalten Leistungsverbesserungen und Sicherheitspatches.

6. Zusammenfassung und Wertbewertung

DieMellanox (NVIDIA Mellanox) MQM9790-NS2Fbietet eine zukunftssichere, leistungsstarke Basis für RDMA/HPC/AI-Cluster.Es beseitigt traditionelle Engpässe und bietet lineare Skalierbarkeit bis zur Exaskala-KlasseDie Lösung reduziert die Gesamtbetriebskosten durch geringere Leistung pro Port (≈1,5 W), vereinfachte Verkabelung und reduzierte CPU-Overhead durch SHARP-Auslastungen.

Für Organisationen, die dieMQM9790-NS2F Preis, ist die Investition durch messbare Erhöhungen der GPU-Auslastung (oft über 90% in der Produktion) und bis zu 40% reduzierte Arbeitszeit im Vergleich zu RoCEv2-Geweben gerechtfertigt.Datenblatt MQM9790-NS2FundSpezifikationen MQM9790-NS2FDie Daten sind ausführlich, und die Einheiten sind leicht verfügbar (MQM9790-NS2F zum VerkaufDarüber hinaus sorgt die Kompatibilität des Switches mit bestehenden NVIDIA-Adaptern für einen reibungslosen Migrationsweg für Benutzer, die bereits in das Mellanox-Ökosystem investiert haben.

Zusammenfassend kann gesagt werden, daß diese technische Lösung auf der GrundlageMQM9790-NS2F InfiniBand Schalterbietet eine robuste, betriebswirtschaftlich effiziente Struktur, die den anspruchsvollsten Anforderungen an die Verbindung mit geringer Latenzzeit entspricht – ein Eckpfeiler für die nächste Generation von KI-Supercomputing.