Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Switch in Aktion | Verbindungsoptimierung mit geringer Latenz für RDMA/HPC/KI

Da große KI-Trainingscluster und Hochleistungs-Computing-Zentren (HPC) die Anforderungen an Netzwerkbandbreite und Latenz auf ein beispielloses Niveau treiben, haben herkömmliche Ethernet-Lösungen bei RDMA-Workloads zunehmend Probleme mit der Überlastungskontrolle und unvorhersehbaren Latenzzeiten. Ein führendes nationales Hochleistungsrechenzentrum stand kürzlich vor genau dieser Herausforderung, als es seinen GPU-Cluster der nächsten Generation aufrüstete. Nach der Bewertung mehrerer Verbindungsoptionen entschied sich das Team für dieMellanox (NVIDIA) MQM9790-NS2Fals Kern-Fabric-Switch – eine Entscheidung, die das Leistungsprofil ihres Clusters grundlegend veränderte.

Die vorhandene HDR-InfiniBand-Fabric des Supercomputing-Zentrums war nahezu ausgelastet. Da über 2.000 GPUs parallele KI-Trainingsjobs ausführten, kam es bei kollektiven Kommunikationsvorgängen wie All-Reduction und All-to-All zu erheblichen Spitzenlatenzspitzen. Das Netzwerk war zum Hauptengpass geworden und verursachte GPU-Leerlaufzeiten, die sowohl Rechenressourcen als auch Energie verschwendeten. Ingenieure schätzten, dass bei groß angelegten verteilten Trainingsläufen fast 30 % der Rechenzyklen durch Kommunikationsaufwand verloren gingen.

Was das Team brauchte, war ein Schalter, der leistungsfähig war400 Gbit/s pro Port, native RDMA-Unterstützung und netzwerkinterne Rechenbeschleunigung – und das alles unter Beibehaltung der Abwärtskompatibilität mit der vorhandenen HDR-Infrastruktur. Nach Durchsicht derMQM9790-NS2F DatenblattUndMQM9790-NS2F-Spezifikationen, stellten sie fest, dass dieMQM9790-NS2F InfiniBand-Switchbot die ideale Balance zwischen Dichte, Leistung und Funktionsumfang.

Das Zentrum setzte vier Personen einMQM9790-NS2F 400 Gbit/s NDR 64-Port OSFPSwitches in einer Spine-Leaf-Topologie, die 2.048 GPUs über 64 Rechenknoten miteinander verbindet. Jeder Knoten ist über ein einziges OSFP-zu-4x100-Gbit/s-Splitterkabel verbunden und bietet so eine Gesamtbandbreite von 400 Gbit/s pro Server bei gleichzeitiger Optimierung der Kabelverwaltungsdichte.

Der Schlüssel zum Einsatz war die Sicherstellung der VollständigkeitMQM9790-NS2F kompatibelBetrieb mit vorhandenen HDR-Endpunktadaptern. Die automatische Geschwindigkeitsaushandlung und Link-Layer-Übersetzung des Switches ermöglichten eine stufenweise Migrationsstrategie – alte Knoten arbeiten mit HDR-Geschwindigkeit, während neue NDR-fähige Server die volle Bandbreite von 400 Gbit/s nutzen. Das Zentrum nutzte außerdem die netzwerkinterne Aggregation von SHARPv3, wodurch der Gesamtdatenverkehr bei großen Nachrichten, die häufig in LLM-Schulungen vorkommen, um über 65 % reduziert wurde.

Für diejenigen, die ähnliche Upgrades bewerten:MQM9790-NS2F PreisAnfragen undMQM9790-NS2F zu verkaufenDie Verfügbarkeit ist bei Unternehmens- und Forschungskunden erheblich gestiegen. Die wettbewerbsfähigen Gesamtbetriebskosten des Switches – unter Berücksichtigung einer geringeren Switch-Anzahl aufgrund der 64-Port-Dichte – machen ihn zu einer attraktiven Option sowohl für Neubauten als auch für Auffrischungsprojekte.

• Alle Latenzzeiten reduzieren (1-GB-Nachricht):Reduziert von 48 µs auf 19 µs (60 % Verbesserung)
• Effektive GPU-Auslastung:Bei groß angelegtem Training von 71 % auf 93 % erhöht
• Auftragsabschlusszeit (GPT-3 175B-Äquivalent):Um 41 % verkürzt
• Netzwerkinduzierte Tail-Latenz (99. Perzentil):Reduzieren Sie die Zeit von 210 µs auf unter 35 µs

AlsMQM9790-NS2F InfiniBand-Switch-LösungDie Bereitstellung hat gezeigt, dass 400-Gbit/s-NDR-Fabrics ihre theoretischen Versprechen halten können. Die Kombination aus Überlastungskontrollalgorithmen und adaptivem Routing beseitigte die „Incast“-Zusammenbruchmuster, die die vorherige HDR-Struktur während der All-to-All-Kommunikationsphasen beeinträchtigten.

Der Erfolg des Höchstleistungsrechenzentrums mit demMQM9790-NS2Fhat seine Roadmap hin zu Exascale-KI-Funktionen beschleunigt. Sie planen nun eine zweite Phase, in der die GPU-Anzahl mithilfe zusätzlicher GPUs auf 4.096 verdoppelt wirdMQM9790-NS2F 400 Gbit/s NDR 64-Port OSFPSchalter in einer dreistufigen Fat-Tree-Topologie. Die Telemetrie- und Out-of-Band-Verwaltungsfunktionen des Switches ermöglichen außerdem eine vorausschauende Vermeidung von Überlastungen und reduzieren so den Betriebsaufwand für das Netzwerkteam.

Für Netzwerkarchitekten und IT-Manager, die Fabrics der nächsten Generation evaluieren, ist dieNVIDIA Mellanox MQM9790-NS2Fstellt eine ausgereifte, produktionserprobte Lösung dar. Unabhängig davon, ob Sie ein neues KI-Forschungscluster aufbauen oder eine bestehende HPC-Einrichtung aufrüsten, bietet dieser Switch die Grundlage mit geringer Latenz und hoher Bandbreite, die für moderne parallele Workloads erforderlich ist.