NVIDIA Mellanox MCX653105A-HDAT in Aktion: RDMA/RoCE Low-Latency Transport und Serverdurchsatzoptimierung

NVIDIA Mellanox MCX653105A-HDAT in Aktion: RDMA/RoCE Low-Latency Transport und Server-Durchsatzoptimierung

Hintergrund & Herausforderungen: Der Netzwerknadelöhr in einem KI/HPC-Cluster

Ein großes Technologieunternehmen hat kürzlich einen 128-Knoten-GPU-beschleunigten Cluster für das Training großer Sprachmodelle (LLM) implementiert, wobei jeder Knoten mit acht NVIDIA H100 GPUs und Hochleistungs-NVMe-Speicher ausgestattet war. Nach der Skalierung über 32 Knoten hinaus erlebte der Cluster jedoch eine dramatische Leistungsverschlechterung. Die Latenz der All-Reduce-Kollektivkommunikation stieg auf 8-10 Millisekunden an, während der TCP/IP-Netzwerkstack über 45 % der CPU-Ressourcen pro Knoten verbrauchte. Das Netzwerk — aufgebaut auf mehreren 25GbE-Links — war zum primären Engpass geworden und schränkte die GPU-Auslastung stark ein und verlängerte die Trainingszyklen weit über akzeptable Zeitrahmen hinaus. Das Team benötigte dringend eine Lösung, die sowohl extrem niedrige Latenz als auch massive Bandbreite liefern konnte, während sie CPU-intensive Netzwerkverarbeitung auslagert.

Lösung & Bereitstellung: Die Fabric mit dem MCX653105A-HDAT transformieren

Nach einer umfassenden technischen Bewertung wählte das Team die NVIDIA Mellanox MCX653105A-HDAT als Grundlage für ihre Netzwerktransformation. Jeder GPU-Knoten wurde mit einem MCX653105A-HDAT ConnectX Adapter PCIe-Netzwerkkarte ausgestattet, konfiguriert mit Dual-Port 100GbE-Konnektivität, um 200 Gbit/s aggregierte Bandbreite pro Server bereitzustellen.

Die Bereitstellung wurde in vier strukturierten Phasen durchgeführt:

• Phase 1 — Hardware-Installation (128 Knoten): Jeder Server erhielt die MCX653105A-HDAT Ethernet-Adapterkarte, wobei beide QSFP28-Ports mit dualen redundanten NVIDIA Spectrum-4 Leaf-Switches verbunden waren. Die Adapter wurden mit der neuesten Firmware und dem NVIDIA OFED-Treiberstapel installiert.
• Phase 2 — RoCEv2-Konfiguration: Das Team aktivierte RoCEv2 im gesamten Fabric und stimmte sorgfältig die Parameter für Priority Flow Control (PFC) und Explicit Congestion Notification (ECN) ab, um eine verlustfreie Ethernet-Umgebung zu schaffen. Die erweiterten Stauverwaltungsfunktionen, die im MCX653105A-HDAT Datenblatt beschrieben sind, waren entscheidend für die optimale Pufferzuweisung.
• Phase 3 — NCCL-Optimierung: Die NVIDIA Collective Communications Library (NCCL) wurde neu konfiguriert, um die RDMA-Fähigkeiten des Adapters zu nutzen, wobei benutzerdefinierte Traffic-Steuerungsregeln in die eingebetteten Verarbeitungs-Engines des Adapters programmiert wurden, um die spezifischen All-Reduce- und All-Gather-Muster der LLM-Workloads zu optimieren.
• Phase 4 — Validierung & Feinabstimmung: Mithilfe der Telemetriedaten, die über die MCX653105A-HDAT Spezifikationen verfügbar gemacht wurden, validierte das Team die Konfiguration, stimmte die Interrupt-Moderationseinstellungen ab und legte Basis-Leistungsmetriken für die laufende Überwachung fest.

Bemerkenswert ist, dass sich der Adapter als MCX653105A-HDAT kompatibel mit der vorhandenen Verkabelungsinfrastruktur erwies, da die QSFP28-Ports sowohl 100GbE- als auch 25GbE-Optiken unterstützten, was eine reibungslose Migration ohne störenden Kabelersatz ermöglichte. Das Team nutzte auch die Multi-Host-Fähigkeiten des Adapters, um sowohl Rechen- als auch Speicherfunktionen auf demselben physischen Port zu unterstützen.

Ergebnisse & Vorteile: Messbare Gewinne bei der Trainingsleistung

Die Leistungsverbesserungen durch den NVIDIA Mellanox MCX653105A-HDAT übertrafen alle anfänglichen Prognosen. Die wichtigsten Leistungsmetriken vor und nach dem Upgrade sind unten zusammengefasst:

Über diese quantitativen Erfolge hinaus beobachtete das Team erhebliche operative Vorteile. Trainingsläufe, die zuvor 12 Tage dauerten, wurden in nur 4 Tagen abgeschlossen, was die Modelliterationszyklen dramatisch beschleunigte. Der programmierbare Datenpfad des Adapters ermöglichte eine benutzerdefinierte Traffic-Formung für Prioritätsflüsse und stellte sicher, dass kritischer Kollektivkommunikationsverkehr nie unter Engpässen litt. Für Organisationen, die den Return on Investment bewerten, erwies sich der MCX653105A-HDAT Preis durch den 3-fachen Durchsatzgewinn und die Möglichkeit, zusätzliche GPU-Serveranschaffungen um mindestens 12 Monate zu verschieben, als voll gerechtfertigt. Das Team stellte fest, dass MCX653105A-HDAT zum Verkauf gebündelt mit NVIDIA Spectrum-4 Switches die günstigsten wirtschaftlichen Bedingungen für eine vollständige Cluster-Bereitstellung bot.

Zusammenfassung & Ausblick: Eine Grundlage für die KI-Infrastruktur der nächsten Generation

Diese produktionsskalierte Bereitstellung bestätigt, dass der NVIDIA Mellanox MCX653105A-HDAT eine transformative Komponente für moderne KI- und HPC-Cluster ist. Die Kombination aus 200 Gbit/s aggregierter Bandbreite, kollektiver Kommunikationslatenz von unter 0,3 Millisekunden und umfassenden Hardware-Offloads ermöglicht es Organisationen, eine nahezu lineare Skalierung für GPU-beschleunigte Workloads zu erreichen. Als End-to-End MCX653105A-HDAT Ethernet-Adapterkartenlösung beseitigt er den Netzwerknadelöhr, der historisch die Effizienz des verteilten Trainings begrenzt hat.

Zukünftig prüft das Unternehmen die Integration mit NVIDIA DOCA, um zusätzliche Datenpfad-Programmierbarkeit für Workload-spezifische Optimierungen zu implementieren. Sie nutzen auch die erweiterten Telemetriedaten des Adapters — ausführlich dokumentiert im MCX653105A-HDAT Datenblatt —, um prädiktive Leistungsmodelle und automatisierte Stauvermeidungsstrategien zu erstellen. Der NVIDIA Mellanox MCX653105A-HDAT ist zum Eckpfeiler ihrer KI-Infrastruktur-Roadmap geworden und bietet eine robuste, skalierbare Grundlage für die nächste Generation der Entwicklung und Bereitstellung von Foundation Models.