NVIDIA Mellanox MQM8790-HS2F InfiniBand-Switch in Produktion | Optimierung der Verbindung mit geringer Latenz für RDMA/HPC/KI

Während umfangreiches Sprachmodelltraining und Exascale-HPC-Simulationen GPU-Cluster in Richtung Zehntausender Knoten treiben, haben herkömmliche Ethernet-Fabrics mit Tail-Latenz und Incast-Überlastung zu kämpfen. Ein nationales KI-Rechenzentrum hat sich dieser Herausforderung kürzlich durch den Einsatz gestelltNVIDIA Mellanox MQM8790-HS2FInfiniBand-Switches als Rückgrat ihrer 800-Knoten-GPU-Erweiterung. Dieser Artikel beschreibt ihre reale Reise – von Engpässen bis hin zu messbaren Gewinnen – mithilfe von RDMA und In-Network-Computing zur Optimierung der Cluster-Interconnect-Leistung.

Hintergrund und Herausforderung: Wenn das Netzwerk zum KI-Engpass wird

Der alte 400-Knoten-Cluster des Zentrums lief auf 100 Gbit/s RoCEv2-Ethernet. Als sich die Arbeitslast von CNN-Modellen auf Billionen-Parameter-LLMs verlagerte, stieg die Latenzzeit bei der knotenübergreifenden Kommunikation sprunghaft an. Bei All-Reduce-Vorgängen nahm die Netzwerkwartezeit über 40 % der gesamten Iterationszeit in Anspruch. Architekten benötigten eine Plattform, die eine Latenzzeit von weniger als einer Mikrosekunde, verlustfreie Flusskontrolle und native RDMA-Unterstützung bietet – und das alles unter Wiederverwendung vorhandener QSFP56-Optiken. Nach der Bewertung mehrerer Alternativen wurde dieMQM8790-HS2F InfiniBand-Switchzeichnete sich durch eine HDR-Bandbreite von 200 Gbit/s und ein High-Density-Design mit 40 Ports aus.

Lösung und Bereitstellung: HDR Fat-Tree basierend auf MQM8790-HS2F

Die neue Verbindung verwendet eine zweischichtige Fat-Tree-Topologie und setzt 24 Einheiten davon einNVIDIA Mellanox MQM8790-HS2Füber Kern- und Blattschichten hinweg. Jeder Switch bietet 40 QSFP56-Ports mit 200 Gbit/s pro Richtung und bietet eine nicht blockierende Switching-Kapazität von 16 Tbit/s. Ingenieure folgten demMQM8790-HS2F DatenblattUndMQM8790-HS2F-Spezifikationenum adaptives Routing und erweiterte Staukontrolle zu ermöglichen. Jeder GPU-Knoten ist über HDR ConnectX-6-Adapter verbunden und nutzt natives InfiniBand RDMA für kopierfreie Datenübertragungen – wodurch über 95 % der CPU-Belastung bei der Kommunikation entlastet werden.

Das Zentrum hat auch mehrere reserviertMQM8790-HS2F 200 Gbit/s HDR 40-Port QSFP56Einheiten für eine In-situ-Rechenzone. Mit SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) werden kollektive Vorgänge wie All‑Reduce von Servern direkt auf das Switch-Netzwerk verlagert. Beim 128-GPU-Training konnte dadurch die Kommunikationszeit um 32 % verkürzt werden, ohne dass Codeänderungen am KI-Framework erforderlich waren.

Ergebnisse und Gewinne: Geringere Latenz, höherer Durchsatz, kontrollierte Gesamtbetriebskosten

Die Messdaten nach der Bereitstellung zeigten dramatische Verbesserungen:

• Punkt-zu-Punkt-Latenz:MPI-Pingpong-Tests ergaben ~0,9 μs auf HDR-Verbindungen mit 200 Gbit/s – 65 % weniger als beim alten RoCE-Setup.
• Kollektive Kommunikationseffizienz:Im 512-GPU-Maßstab wurde All-Reduce in nur 18,3 ms abgeschlossen, was einer Reduzierung um 52 % im Vergleich zur vorherigen Basislinie entspricht.
• Netzwerkauslastung:Adaptives Routing sorgte dafür, dass der Link-Lastausgleich über 92 % lag, und es gab nahezu keine Überlastungs-Hotspots.
• Beschaffung & Betrieb:DerMQM8790-HS2F Preispro Port war etwa 12 % niedriger als bei konkurrierenden 200G-Lösungen. Darüber hinaus,MQM8790-HS2F kompatibelBei den Optiken handelt es sich um Standard-QSFP56-Module, die eine vollständige Wiederverwendung der vorhandenen Verkabelung ermöglichen.

„Nach dem Umzug in dieMQM8790-HS2F InfiniBand-Switch-Lösung„Wir haben endlich eine nahezu lineare Skalierung (0,9-Effizienz) beim Modelltraining mit Billionen Parametern erreicht“, sagte der leitende Architekt des Zentrums. „Das Netzwerk ist nicht länger der Engpass – wir können uns auf die Innovation der Modellarchitektur statt auf die Kommunikationsplanung konzentrieren.“

Fazit und Ausblick: Kernbaustein für Exascale-Verbindungen

Dieser reale Fall zeigt, dass dieMQM8790-HS2Fist viel mehr als eine höhere Portdichte. Mit 200 Gbit/s HDR, nativem RDMA, SHARP-In-Network-Computing und adaptivem Routing behebt es direkt Verbindungsprobleme mit geringer Latenz in den heutigen KI/HPC-Clustern. Ganz gleich, ob Sie ein Universitäts-Superrechenzentrum planen oder eine Unternehmens-KI-Cloud aufrüsten möchten, dieNVIDIA Mellanox MQM8790-HS2Fbietet einen ausgewogenen Weg, der Leistung, Kompatibilität und Kostenvorhersehbarkeit kombiniert. Der Schalter befindet sich jetzt in der Serienproduktion. Für detaillierte Designreferenzen wenden Sie sich bitte an den BeamtenMQM8790-HS2F Datenblattüber das Partnerportal von NVIDIA. Für Echtzeit-Inventarisierung oderMQM8790-HS2F zu verkaufenBei Anfragen wenden Sie sich bitte an autorisierte Lösungsanbieter für Preise und technischen Support.