Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in Aktion: Optimierung der Verbindung mit geringer Latenz

Bei realen KI-Schulungen und Hochleistungs-Computing-Bereitstellungen werden Netzwerklatenz und CPU-Overhead oft zu stillen Killern für die Skalierbarkeit. In dieser Anwendungsbeschreibung wird untersucht, wie eine mittelgroße Forschungsorganisation genau diese Herausforderungen durch den Einsatz von bewältigt hatMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand-Switch als Kernstruktur für ihr GPU-basiertes Forschungscluster.

Die alte 100-Gbit/s-Ethernet-RoCE-Struktur des Unternehmens litt unter unvorhersehbaren Latenzzeiten aufgrund von PFC-Stürmen (Priority Flow Control) und ineffizienter Überlastungsbewältigung. Da die Größe ihrer KI-Modelle von 10 Milliarden auf über 50 Milliarden Parameter anwuchs, beanspruchten kollektive Kommunikationsvorgänge (All-Reduce, All-to-All) fast 45 % der gesamten Iterationszeit. Sie benötigten eine verlustfreie Fabric mit geringer Latenz, die RDMA voll nutzen und gleichzeitig eine lineare Leistungsskalierung beibehalten konnte. Die Suche lief schnell auf das Ergebnis hinaus920-9B110-00FH-0D0als vielversprechendster Baustein.

Das Team wählte die aus920-9B110-00FH-0D0 MQM8790-HS2F 200 Gbit/s HDRSwitch fungiert als Spine-Layer-Backbone und verbindet 64 GPU-Knoten über vier Racks hinweg. Mit der920-9B110-00FH-0D0 InfiniBand-Switch OPNFür das Bestell-Framework setzten sie zwei redundante Spine-Switches mit jeweils 40 HDR-Ports ein und erreichten so ein nicht blockierendes Überbuchungsverhältnis von 1:1. Die Bereitstellung nutzte Adaptive Routing und SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol) – Funktionen, die vollständig im Dokument dokumentiert sind920-9B110-00FH-0D0 Datenblatt– um kollektive Vorgänge direkt auf die Switch-Fabric auszulagern. Aus Kompatibilitätsgründen bestätigte das Team, dass die920-9B110-00FH-0D0 kompatibelDas Ökosystem umfasste die vorhandenen ConnectX-6 HDR-Adapter und die standardmäßige QSFP56-Optik.

Die Telemetrie nach dem Einsatz zeigte dramatische Verbesserungen. Die End-to-End-Latenz zwischen zwei beliebigen GPU-Knoten sank von 3,2 µs (RoCE) auf unter 1,1 µs, wobei der Jitter um 80 % reduziert wurde. SHARPv2-Offloading auf demNVIDIA Mellanox 920-9B110-00FH-0D0Reduzierte All-Reduce-Abschlusszeit um 57 % für 512-GPU-Jobs. Die folgende Tabelle fasst die wichtigsten Kennzahlen zusammen:

Über reine Zahlen hinaus, die920-9B110-00FH-0D0 InfiniBand Switch OPN-Lösungreduzierte betriebliche Komplexität. Mithilfe von NVIDIA UFM (Unified Fabric Manager) erlangte das Team Echtzeit-Fabric-Transparenz, automatisierte Pfadoptimierung und proaktive Überlastungswarnungen – Funktionen, die bei der vorherigen Ethernet-Bereitstellung nicht verfügbar waren. Der920-9B110-00FH-0D0 Spezifikationenermöglichte außerdem einen energieeffizienten Betrieb: Das 1U-Gehäuse verbrauchte bei Volllast nur 180 W, was seinen PUE-Beitrag senkte.

Für Organisationen, die ähnliche Upgrades evaluieren, ist die920-9B110-00FH-0D0 PreisIm Vergleich zu gleichwertigen 200-Gbit/s-Ethernet-Switches sind sie günstig, wenn man den geringeren NIC-Overhead und den Wegfall teurer verlustfreier Ethernet-Lizenzen berücksichtigt. Es sind jetzt mehrere Händler aufgeführt920-9B110-00FH-0D0 zu verkaufenmit Lieferzeiten unter vier Wochen. Die ROI-Analyse des Teams ergab eine Amortisationszeit von 9 Monaten allein aufgrund der verbesserten GPU-Auslastung.

Der Einsatz bestätigte, dass dieNVIDIA Mellanox 920-9B110-00FH-0D0hält, was es verspricht: Latenz im Submikrosekundenbereich, volle bi-sektionale Bandbreite und RDMA-native Effizienz. Für Architekten, die KI-Cluster oder HPC-Systeme der nächsten Generation entwerfen, stellt dieser Schalter einen bewährten, produktionsreifen Baustein dar. Da die Arbeitslasten weiterhin in Richtung Exascale skalieren, werden Lösungen entwickelt, die darauf basieren920-9B110-00FH-0D0wird weiterhin an der Spitze des Hochleistungs-Verbindungsdesigns stehen.