NVIDIA Mellanox MQM9790-NS2F Technisches Referenzdokument: Optimierung von Low-Latency-Interconnects für RDMA/HPC/AI-Cluster

NVIDIA Mellanox MQM9790-NS2F Technische Referenz: Optimierung von Interkonnektionen mit geringer Latenzzeit für RDMA/HPC/AI-Cluster

1. Projekthintergrund und Bedarfsanalyse

Moderne KI-Ausbildungen und HPC-Simulationsarbeiten zeichnen sich durch intensive, alles-zu-alles-Kommunikationsmuster aus, die extreme Anforderungen an das zugrunde liegende Netzwerkstruktur stellen.Da GPU-Cluster über 1 skalierenIn diesem Zusammenhang ist es wichtig, dass die Datenverarbeitung in den verschiedenen Bereichen der Netzwerktechnik und der Netzwerktechnik erleichtert wird, und zwar insbesondere im Bereich der Datenübertragung.

• Deterministische ultra-niedrige Latenzzeit:Untermikrosekunden-Port-zu-Port-Latenz, um die MPI-Arbeitszeit zu minimieren.
• mit einem Durchmesser von mehr als 50 cm3Zero-Pakete fallen unter Staus, um TCP-Incasts und Leistungskollaps zu verhindern.
• Auslastung des Netzwerkrechners:Verringerung des Host-CPU-Overheads für kollektive Operationen (z. B. All-Reducing, Broadcast).
• Skalierbare Topologie:Unterstützung von Fat-Tree- und Libelle+-Topologien mit einer vollen Bisection-Bandbreite von bis zu tausenden Endpunkten.

DieNVIDIA Mellanox MQM9790-NS2Fist als 400Gb/s NDR InfiniBand-Switch mit 64 OSFP-Anschlüssen entwickelt worden, um die für Exascale-Klasse-Bereitstellungen erforderliche Dichte und Leistung zu liefern.

2. Gesamtarchitekturentwurf

Die vorgeschlagene Lösung verwendet eine zweistufige Leaf-Spin-Topologie, die eine Balance zwischen Skalierbarkeit, Überabonnementkontrolle und Kabelsimplizität bietet.Jedes Rechnerrack beherbergt ein oder zweiMQM9790-NS2F InfiniBand SchalterAuf der Rückenlage verbindet eine zweite Schicht von MQM9790-NS2F-Switches alle Blätter, wodurch ein nicht blockierendes Gewebe entsteht.

Für großflächige Bereitstellungen mit mehr als 2.000 GPU-Knoten kann eine dreistufige Folded-Clos-Architektur verwendet werden.MQM9790-NS2F 400Gb/s NDR 64-Port OSFPDiese Konstruktion stellt sicher, dass jeder Server mit jedem anderen Server mit der Linie-Rate kommunizieren kann,mit einer Breite von nicht mehr als 20 mm,.

Die folgende Tabelle fasst die typischen Skalierungsparameter für ein 2-stufiges Blattwirbelschichtgewebe zusammen, das um den MQM9790-NS2F herum gebaut wurde:

3. Rolle und Hauptmerkmale des NVIDIA Mellanox MQM9790-NS2F

Innerhalb dieser ArchitekturNVIDIA Mellanox MQM9790-NS2Fdient als grundlegender Baustein und bietet mehrere kritische Fähigkeiten:

• 400 Gbit/s NDR pro Port:Jeder der 64 OSFP-Anschlüsse unterstützt bidirektionale 400Gb/s mit Vorwärtsfehlerkorrektur (FEC) für eine zuverlässige Fernverbindung.
• Integriertes SHARPv3 (skalierbares Hierarchieaggregation- und Reduktionsprotokoll):Entlastet kollektive Kommunikationsoperationen von Host-CPUs und reduziert die MPI-All-Reducing-Latenz um bis zu 40% bei groß angelegten Arbeiten.
• Adaptive Routing- und Überlastungskontrolle:Dynamische Umleitung des Verkehrs, um Hotspots zu vermeiden, um eine vorhersehbare Leistung auch bei widersprüchlichen Verkehrsmustern zu gewährleisten.
• Fortgeschrittene Telemetrie:Die Zähler pro Fluss und Port sowie die Überwachung der Bufferbesetzung ermöglichen eine tiefe Sichtbarkeit der Stoffgesundheit.

Nach Angaben derDatenblatt MQM9790-NS2F, bietet der Switch eine Durchschnittsverzögerung von unter 100 ns und unterstützt bis zu 51,2 Tb/s Gesamtübergangskapazität.Diese Spezifikationen machen es zu einer idealen Wahl sowohl für Greenfield-Einführungen als auch für schrittweise Upgrades der HDR-Infrastruktur (200 Gb/s).

4. Empfehlungen für Bereitstellung und Skalierbarkeit

Für Organisationen, die dieMQM9790-NS2F InfiniBand-Schalterlösung, werden folgende Einsatzrichtlinien empfohlen:

• Kabelstrategie:Verwenden Sie OSFP-OSFP-Direct-Attachment-Kupferkabel (DAC) für Anschlüsse innerhalb des Racks (bis zu 3 m) und aktive optische Kabel (AOC) oder optische Transceiver für Anschlüsse zwischen den Racks und dem Rückenblatt (bis zu 100 m).
• Entlassungen:Sie müssen zwei Stromversorgungen und warm austauschbare Ventilatormodule einsetzen und jede Stromversorgung für eine Fehlertoleranz an separate PDUs anschließen.
• Firmware-KonsistenzStellen Sie sicher, dass alle Schalter die gleiche NVIDIA-Firmware-Version ausführen, um Funktionsunterschiede zu vermeiden.
• SkalierbarkeitFür Cluster mit mehr als 4.000 Knoten sollten Sie eine dreistufige Folded-Clos Topologie oder Libelle+ mit aktiviertem adaptivem Routing in Betracht ziehen.MQM9790-NS2F kompatibelDas Ökosystem umfasst eine breite Palette von Optiken und Kabeln zur Unterstützung dieser Topologien.

Bei der Berechnung der Gesamtbetriebskosten ist die reduzierte Anzahl von Schaltstufen und vereinfachte Verkabelung im Vergleich zu Alternativen mit niedrigerem Radix zu berücksichtigen.MQM9790-NS2F Preisdie Kosten pro Port und pro GPU-Netzwerk sind bei groß angelegten Implementierungen deutlich niedriger,Dies ist eine kostengünstige Wahl für Exascale-Projekte..

5. Betrieb, Überwachung und Fehlerbehebung

NVIDIAs Unified Fabric Manager (UFM) bietet eine einzige Glaswand für die gesamte NDR-Fabrik.NVIDIA Mellanox MQM9790-NS2F- aus Gewebe, das folgende Waren anbietet:

• Visualisierung der Topologie:Automatische Entdeckung und grafische Darstellung aller Schalter, Verbindungen und Endpunkte.
• Leistungstabellen:Echtzeit-Ansichten der Hafennutzung, Fehlerraten und Stausindikatoren.
• Proaktive Warnung:Alarmschwellen für Verletzungen der Verbindung, Temperaturanomalien und Stromversorgungsfehler.
• Fehlerisolierung:Geführte Fehlerbehebungs-Workflows, die fehlerhafte Kabel, Transceiver oder Schalterorte identifizieren.

Für die fortgeschrittene Fehlerbehebung wird dieSpezifikationen MQM9790-NS2Fumfasst detaillierte Pufferüberwachung und Daten über den Durchfluss, die über die REST-API für die Integration in benutzerdefinierte Überwachungsstapel exportiert werden können.Netzwerkingenieure sollten auch die eingebauten Diagnosewerkzeuge des Schalters nutzen, wie z. B. Loopback-Tests und BER-Analysen (Bit Error Rate), um die Verbindungsintegrität vor der Bereitstellung von Produktionsbelastungen zu validieren.

Zu den häufigsten Problemen bei frühen Einsätzen gehören suboptimale Routen, die durch ungleiche Verbindungsgeschwindigkeiten oder nicht übereinstimmende Kabeltypen verursacht werden.Durch die Aktivierung von adaptivem Routing und die Überprüfung, ob alle Verbindungen mit 400 Gb/s (mit aktiviertem FEC) funktionieren, werden die meisten Leistungsstörungen behoben. DieMQM9790-NS2F InfiniBand-Schalterlösungenthält auch Unterstützung für die Redundanz des Subnetzmanagers, um sicherzustellen, dass die Fabric-Neukonfiguration im Falle eines Ausfalls eines Management-Knoten ohne manuelle Eingriffe erfolgen kann.

6. Zusammenfassung und Wertbewertung

DieMQM9790-NS2Fstellt einen bedeutenden Fortschritt bei Hochleistungsnetzwerken dar und bietet 400 Gb/s NDR-Bandbreite, 64-Port-Dichte und Berechnungsbeschleunigung im Netzwerk in einer einzigen, überschaubaren 1U-Plattform.Für Architekten und Ingenieure, die KI- und HPC-Cluster entwerfen, bietet dieser Schalter einen bewährten Weg zur Exaskala-Leistung, der es ermöglicht:

• Bis zu 30% Ermäßigungin der Arbeitszeit für groß angelegte Ausbildungsarbeiten durch SHARPv3-Auslastung.
• Niedrigere TCOIm Vergleich zu alternativen Lösungen, die durch einen höheren Radix und eine geringere Anzahl von Schaltschichten angetrieben werden.
• Vereinfachte Vorgängeüber UFM-Integration und umfassende Telemetrie für ein proaktives Fehlermanagement.
• Zukunftssichere SkalierbarkeitUnterstützung von GPU- und Beschleunigerverbindungen der nächsten Generation.

Für Organisationen, die dieMQM9790-NS2F zum VerkaufWir empfehlen Ihnen, die detailliertenDatenblatt MQM9790-NS2FSie können sich mit einem zertifizierten Lösungsarchitekten beschäftigen, um die Bereitstellung an Ihre spezifischen Anforderungen an Arbeitslast und Maßstab anzupassen.NVIDIA Mellanox MQM9790-NS2Fist jetzt bereit, als leistungsstarkes Netzwerk für die nächsten zehn Jahre wissenschaftlicher Entdeckungen und KI-Innovationen zu dienen.