M

Mellanox 920-9B210-00FN-0D0 InfiniBand Switch | Technische Lösung für RDMA, HPC und KI-Cluster-Low-Latency-Interconnect-Optimierung

Ein umfassender Leitfaden für die technische Architektur und Bereitstellung, der NVIDIA Quantum-2 NDR InfiniBand-Netzwerke, RDMA-Beschleunigung, skalierbare GPU-Cluster-Interconnects, Fabric-Management und Leistungsoptimierung abdeckt.

Produkt: NVIDIA QM9790 / MQM9790-NS2F   |   SKU: 920-9B210-00FN-0D0   |   Technologie: 400 Gbit/s NDR InfiniBand

Künstliche Intelligenz, High-Performance Computing (HPC) und verteilte GPU-Workloads stellen beispiellose Anforderungen an die Rechenzentrums-Netzwerkinfrastruktur. Mit wachsender Größe von Computing-Clustern bestimmt die Effizienz der Netzwerkkommunikation zunehmend, ob teure GPU-Ressourcen ihr volles Potenzial entfalten können. Der NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand-Switch bietet eine Switching-Plattform mit hoher Bandbreite und geringer Latenz für den Aufbau skalierbarer, beschleunigter Computing-Netzwerke.

Angetrieben von der NVIDIA Quantum-2-Technologie unterstützt der QM9790 64 nicht-blockierende 400-Gbit/s-NDR-InfiniBand-Ports über 32 OSFP-Anschlüsse mit einem aggregierten bidirektionalen Durchsatz von bis zu 51,2 Tbit/s. Dieses technische Whitepaper erklärt, wie der Switch in RDMA-fähige Netzwerkarchitekturen integriert wird, wie die verteilte KI-Kommunikation optimiert wird, wie ausfallsichere HPC-Fabrics entworfen werden und wie effektive Bereitstellungs- und Betriebspraktiken etabliert werden.

01. Projekt-Hintergrund und Anforderungsanalyse

Moderne KI-Trainingsplattformen verbinden üblicherweise mehrere GPU-Server zu verteilten Computing-Clustern. Während des Modelltrainings tauschen GPUs häufig Gradienten, Parameter und Zwischenergebnisse über Kommunikationsbibliotheken wie NVIDIA NCCL aus. HPC-Anwendungen sind ebenfalls auf latenzarme Nachrichtenübermittlung über MPI und andere parallele Computing-Frameworks angewiesen.

Mit zunehmender Anzahl von Rechenknoten wird der Kommunikationsverkehr komplexer. Anwendungen können Bandbreitensättigung, Engpässe, Verzögerungen bei der kollektiven Kommunikation und inkonsistente Leistung aufgrund von Netzwerküberlastung erfahren.

Eine Hochleistungs-InfiniBand-Lösung sollte die folgenden technischen Anforderungen erfüllen:

• Hohe Bandbreite: Bereitstellung ausreichender Interconnect-Kapazität für die groß angelegte Datenbewegung zwischen GPU-Servern und Rechenknoten.
• Geringe Kommunikationslatenz: Minimierung von Verzögerungen bei häufiger Synchronisation und dem Austausch kleiner Nachrichten.
• RDMA-Unterstützung: Ermöglichung effizienter Speicher-zu-Speicher-Kommunikation mit reduziertem CPU-Aufwand.
• Netzwerkskalierbarkeit: Unterstützung der Erweiterung von einzelnen Server-Racks auf Multi-Rack-KI- und HPC-Fabrics.
• Verkehrsoptimierung: Verbesserung der Netzwerkauslastung durch adaptive Routenwahl und Stau-Management.
• Betriebliche Zuverlässigkeit: Einrichtung von Überwachungs-, Fehlerisolations- und Leistungsvalidierungsverfahren.

Designziel: Aufbau eines skalierbaren InfiniBand-Fabrics mit hoher Bandbreite, das netzwerkbezogene Engpässe minimiert und eine vorhersagbare RDMA-Leistung für verteiltes KI-Training, wissenschaftliches Rechnen und datenintensive HPC-Anwendungen unterstützt.

02. Gesamtnetzwerk- und Systemarchitektur

Die vorgeschlagene Architektur verwendet den 920-9B210-00FN-0D0 InfiniBand-Switch OPN als Kernbaustein innerhalb eines Hochgeschwindigkeits-NDR-Fabrics. Abhängig vom Bereitstellungsumfang können die Switches in einem einstufigen Design oder einer mehrstufigen Leaf-Spine-Topologie betrieben werden.

Für Multi-Rack-GPU-Cluster ist eine zweistufige Fat-Tree-Architektur ein praktischer Ausgangspunkt. Leaf-Switches verbinden die Rechenserver, während Spine-Switches die Hochbandbreitenkommunikation zwischen den Racks ermöglichen. Die Zuweisung von Uplinks sollte gemäß den erwarteten Verkehrsmustern, der erforderlichen Bisektionsbandbreite und der akzeptablen Überschreitung berechnet werden.

Referenz-Netzwerktopologie

KI-Training / HPC-Anwendungen
NCCL / MPI / UCX / RDMA
↓
GPU-Server und Rechenknoten
NVIDIA ConnectX InfiniBand-Adapter
↓
Leaf-Ebene
NVIDIA Quantum-2 QM9790 NDR-Switches
↓
Spine-Ebene
NVIDIA Quantum-2 QM9790 NDR-Switches
↓
Andere GPU-Racks / HPC-Rechenknoten
Externer Subnet-Manager / NVIDIA UFM Fabric Management

In dieser Architektur greifen die Rechenknoten über RDMA-fähige Netzwerkadapter auf das InfiniBand-Fabric zu. Die Leaf-Ebene bietet die Server-seitige Konnektivität, während die Spine-Ebene die Kommunikation zwischen verschiedenen Netzwerksegmenten unterstützt. Ein nicht-blockierendes Design erfordert eine ausreichende Uplink-Bandbreite im Verhältnis zu den verbundenen Downlinks.

Große KI-Bereitstellungen können die Kommunikation auch über mehrere unabhängige Netzwerk-Rails verteilen, um die Fehlertoleranz und die Bandbreitennutzung zu verbessern. Die Ausrichtung der Rails, die Platzierung der Adapter, die NUMA-Affinität und die GPU-Topologie sollten gemeinsam berücksichtigt werden, um zu verhindern, dass Host-seitige Einschränkungen die Vorteile des Hochgeschwindigkeits-Switchings beeinträchtigen.

03. Rolle und Hauptmerkmale von NVIDIA Mellanox 920-9B210-00FN-0D0

Der 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gbit/s NDR Switch gehört zur NVIDIA Quantum-2 QM9790-Familie. Es handelt sich um ein unmanaged InfiniBand-Switching-System, das für extern verwaltete Fabrics entwickelt wurde und dichte Konnektivität und Hochgeschwindigkeitskommunikation zwischen beschleunigten Rechenknoten unterstützt.

Die folgenden 920-9B210-00FN-0D0 Spezifikationen fassen die für die Netzwerkarchitektur und Hardwareauswahl relevanten Produkteigenschaften zusammen.

Optimierung der RDMA-basierten Kommunikation

Remote Direct Memory Access ermöglicht teilnehmenden Systemen den Datentransfer zwischen registrierten Speicherbereichen bei gleichzeitiger Reduzierung des CPU-Verarbeitungsaufwands. In KI- und HPC-Umgebungen unterstützt diese Funktion eine effiziente Inter-Knoten-Kommunikation und kann die softwarebedingten Kosten für die Datenübertragung senken.

Mit kompatiblen NVIDIA ConnectX-Adaptern und einem entsprechend konfigurierten Software-Stack können Anwendungen den RDMA-Transport über Frameworks wie UCX, MPI und NCCL nutzen. GPU Direct RDMA kann die Datenbewegung weiter optimieren, wenn die Hardwareplattform, die Treiber und die Anwendungskonfiguration dies unterstützen.

Adaptive Routenwahl und Stau-Management

NVIDIA Quantum-2 unterstützt adaptive Routenwahlmechanismen, die den Verkehr über verfügbare Netzwerkpfade verteilen können. In Kombination mit der InfiniBand-Staukontrolle, Quality-of-Service-Funktionen und dem Virtual-Lane-Management helfen diese Technologien, Verkehrsschwerpunkte zu bewältigen und die Kommunikationsstabilität zu verbessern.

Tatsächliche Vorteile hängen von der Fabric-Topologie, den Routing-Richtlinien, den Firmware-Funktionen und der Subnet-Manager-Konfiguration ab. Netzwerkarchitekten sollten diese Einstellungen unter repräsentativem Anwendungsverkehr validieren, anstatt sich ausschließlich auf die theoretische Switching-Kapazität zu verlassen.

NVIDIA SHARP In-Network Computing

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) ermöglicht die Verarbeitung unterstützter kollektiver Operationen innerhalb des Netzwerk-Fabrics. Durch die Reduzierung des Datenvolumens, das bei unterstützten Reduktionsoperationen ausgetauscht wird, kann SHARP die Kommunikationseffizienz für ausgewählte KI- und HPC-Workloads verbessern. Die Bereitstellung erfordert kompatible Firmware, Managementkomponenten und Anwendungssoftware-Unterstützung.

04. Bereitstellungsstrategie und Netzwerkerweiterung

Die Bereitstellung der 920-9B210-00FN-0D0 InfiniBand-Switch OPN-Lösung sollte einem strukturierten Implementierungsprozess folgen, der Hardwarekompatibilität, Fabric-Planung, Netzwerkkontrolle und zukünftige Kapazitätsanforderungen abdeckt. Ein phasenweiser Ansatz reduziert Konfigurationsrisiken und erleichtert die Identifizierung von Leistungsproblemen.

Phase 1: Hardware und physische Infrastruktur

• Überprüfen Sie den Switch-SKU, die Legacy-OPN, die Rack-Abmessungen, die Stromversorgungsanforderungen und die P2C-Luftstromrichtung.
• Wählen Sie kompatible ConnectX-Adapter, OSFP-optische Module, DAC-Kabel oder aktive optische Kabel basierend auf Geschwindigkeit und Entfernung der Verbindung aus.
• Planen Sie die Kabelführung, die Rack-Kühlung, die Stromredundanz und die physische Portzuweisung.
• Überprüfen Sie die unterstützten Firmware-Versionen und die Hardware-Interoperabilität vor der Produktionsbereitstellung.

Phase 2: Fabric-Konfiguration und Validierung

Da der QM9790 ein unmanaged Switch ist, ist ein externer InfiniBand Subnet Manager für die Fabric-Initialisierung und Pfadkonfiguration erforderlich. NVIDIA UFM kann zusätzliche Fabric-Management-, Überwachungs- und Betriebsfunktionen bereitstellen, wenn es mit unterstützten Komponenten eingesetzt wird.

Netzwerkadministratoren sollten Port-Link-Status, ausgehandelte Geschwindigkeiten, Subnet-Erkennung, Routing-Konfiguration und End-to-End-RDMA-Konnektivität überprüfen. Konfigurieren Sie gegebenenfalls Partitionierung, Service-Level, virtuelle Lanes, Staukontrollen und adaptive Routenwahl gemäß den Anwendungsanforderungen.

Phase 3: Skalierung und Kapazitätsplanung

Die Cluster-Erweiterung sollte die Switch-Radix, die verfügbare Uplink-Kapazität, die Verkehrsverteilung und die Anzahl der Netzwerk-Tiers berücksichtigen. Obwohl der QM9790 64 logische NDR-Ports bietet, müssen die physische Schnittstellenanordnung und die unterstützten Kabel-Breakout-Konfigurationen genau in den Portzuweisungsplan einfließen.

Für größere Bereitstellungen können zusätzliche Leaf- und Spine-Switches hinzugefügt werden, um neue Server-Racks unterzubringen. Erweiterungspläne sollten Redundanz, Trennung von Netzwerk-Rails, Kabellängen und die Aufrechterhaltung der erforderlichen Bandbreite zwischen Rechengruppen berücksichtigen.

05. Betrieb, Überwachung und Fehlerbehebung

Ein zuverlässiger InfiniBand-Betrieb erfordert kontinuierliche Transparenz über den Link-Status, die Fabric-Gesundheit, das Stauverhalten und die Workload-Leistung. NVIDIA UFM und kompatible InfiniBand-Diagnosetools können zur Überwachung der Netzwerkbedingungen und zur Identifizierung abnormaler Kommunikationsmuster verwendet werden.

Empfohlene Betriebsüberwachung umfasst:

• Link-Gesundheit: Überwachung von ausgehandelten Geschwindigkeiten, physischen Fehlern, Link-Flaps und Port-Down-Ereignissen.
• Bandbreitennutzung: Verfolgung des gesendeten und empfangenen Verkehrs zur Identifizierung überlasteter Links.
• Stau-Indikatoren: Überprüfung von Sende-Warte-Zählern, Flow-Control-Aktivitäten und Verkehrsschwerpunkten.
• Fabric-Management: Überprüfung der Verfügbarkeit des Subnet-Managers, der Routing-Konsistenz, der Topologieänderungen und der erkannten Geräte.
• Anwendungsleistung: Korrelation von Netzwerkmessungen mit NCCL-, MPI- und Produktions-Workload-Metriken.

Für netzwerkseitige Leistungstests können Ingenieure InfiniBand-Dienstprogramme wie ibstat, ibdiagnet, perfquery und RDMA-Leistungstools wie ib_write_bw und ib_send_lat verwenden. NVIDIA NCCL-Tests und MPI-Benchmarks können zusätzliche Einblicke in die Anwendungs-seitige Kommunikationsleistung liefern.

Bei der Fehlerbehebung von Leistungseinbußen überprüfen Sie zuerst die physische Konnektivität, gefolgt von Portgeschwindigkeit, Fehlerzählern, Fabric-Routing und Stau-Indikatoren. Wenn die Netzwerkmetriken weiterhin stabil sind, untersuchen Sie die Host-seitige PCIe-Bandbreite, die NUMA-Platzierung, die GPU-Affinität, die Treiberversionen und die Anwendungs-Kommunikationseinstellungen.

Die Leistungsabnahme sollte effektive Bandbreite, Kommunikationslatenz, Durchsatz kollektiver Operationen und Workload-Abschlusszeit umfassen. P50-, P95- und P99-Latenzmessungen können helfen, Leistungsschwankungen unter anhaltendem oder stark stoßweisem Verkehr aufzudecken. Akzeptanzschwellenwerte sollten anhand projektspezifischer Serviceziele und gemessener Basisdaten definiert werden.

06. Lösungswert und Leistungsbewertung

Der 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gbit/s NDR Switching-Plattform bietet die Netzwerkkapazität und Architektur, die für anspruchsvolle verteilte Computing-Umgebungen erforderlich sind. Ihr Hauptwert liegt in der Ermöglichung von Hochgeschwindigkeitskommunikation, skalierbarem Fabric-Design und effizienter Integration mit RDMA-fähigen Computersystemen.

Aus Infrastruktursicht können 400-Gbit/s-NDR-Konnektivität und hohe Portdichte Netzwerkbeschränkungen bei wachsender Größe von GPU-Clustern reduzieren. Fortschrittliche InfiniBand-Funktionen unterstützen eine effizientere Verkehrsverteilung, während das externe Fabric-Management die betriebliche Transparenz und Fehlerbehebung verbessert.

Eine vollständige Wertbewertung sollte die Bereitstellungskosten mit messbaren Verbesserungen des Anwendungsdurchsatzes, der GPU-Auslastung, der Netzwerkstabilität und der betrieblichen Effizienz vergleichen. Teams, die den 920-9B210-00FN-0D0 Preis bewerten, sollten auch kompatible Adapter, Optiken, Kabel, Management-Software, Strom und Support-Anforderungen berücksichtigen.

Prinzip der technischen Bewertung: Der Erfolg eines InfiniBand-Netzwerk-Upgrades sollte durch reproduzierbares Benchmarking und Validierung von Produktions-Workloads bestimmt werden. Allein die Switching-Bandbreite garantiert keine feste Reduzierung der Trainingszeit oder der Anwendungs-Latenz.

07. Fazit und zukünftige Entwicklung

Der NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand-Switch ist eine hochdichte Netzwerklösung für KI-Training, HPC-Anwendungen und beschleunigte Rechenzentrumsumgebungen. Mit NVIDIA Quantum-2-Technologie, 64 NDR-Ports und einem aggregierten bidirektionalen Durchsatz von bis zu 51,2 Tbit/s bietet er eine Grundlage für den Aufbau skalierbarer, latenzarmer Computing-Fabrics.

Eine erfolgreiche Bereitstellung erfordert mehr als nur die Hardwareinstallation. Eine gut konstruierte Lösung muss Netzwerk-Topologie, RDMA-fähige Adapter, optische Interconnects, Subnet-Manager-Konfiguration, Workload-Tuning und Betriebsüberwachung koordinieren.

Da GPU-Cluster wachsen und verteilte Workloads zunehmend kommunikationsintensiv werden, werden Hochleistungs-InfiniBand-Fabrics weiterhin eine wichtige Komponente der modernen beschleunigten Computing-Infrastruktur sein. Der QM9790 bietet eine praktische Option für Organisationen, die eine zuverlässige NDR-Konnektivität und einen klaren Weg zu größeren Multi-Rack-Netzwerkarchitekturen suchen.

Technischer Verweis: NVIDIA QM97XX 1U NDR 400Gbps InfiniBand Switch Systems Benutzerhandbuch. Die endgültigen Bereitstellungsspezifikationen, unterstützten Funktionen, Firmware-Kompatibilität und physischen Konfigurationen sollten anhand der Dokumentation für die genaue Produkt-SKU überprüft werden.

NVIDIA Mellanox InfiniBand Networking Solutions

Beijing Zhongke Xinyuan Technology Co., Ltd. bietet NVIDIA Mellanox Netzwerk-Hardware und Lösungsunterstützung für KI-Rechenzentren, GPU-Cluster, HPC-Systeme und Unternehmensinfrastrukturen. Unser Produktportfolio umfasst NVIDIA Quantum InfiniBand-Switches, ConnectX-Netzwerkadapter, optische Transceiver und Hochgeschwindigkeits-DAC/AOC-Kabel.

Für Kunden, die 920-9B210-00FN-0D0 kompatible Netzwerkkomponenten, Unterstützung bei der Produktauswahl, Verfügbarkeitsinformationen oder Projektangebote suchen, kann unser Team bei der Modellidentifizierung, Konfigurationsabstimmung und Beschaffungsplanung unterstützen.