Mellanox (NVIDIA) MQM9790-NS2F InfiniBand Switch in Aktion | Verbindungsoptimierung mit geringer Latenz für RDMA/HPC/KI

Da groß angelegte KI-Trainingscluster und Hochleistungsrechenzentren (HPC) die Anforderungen an die Bandbreite und Latenz des Netzwerks auf ein noch nie dagewesenes Niveau bringen,Traditionelle Ethernet-Lösungen kämpfen zunehmend mit Überlastungskontrolle und unvorhersehbarer Latenzzeit bei RDMA-WorkloadsEin führendes nationales Supercomputing-Zentrum stellte sich kürzlich genau dieser Herausforderung bei der Aktualisierung seines GPU-Clusters der nächsten Generation.Mellanox (NVIDIA) MQM9790-NS2FAls Schalter für die Kernstrukturen haben sie sich entschieden, das Leistungsprofil ihres Clusters zu verändern.

Hintergrund und Herausforderung: Die Skalierbarkeitsmauer

Das bestehende HDR-InfiniBand-Fabrik des Supercomputing-Zentrums war fast gesättigt.Bei den kollektiven Kommunikationsoperationen wie all-reduce und all-to-all gab es signifikante Spitzen in der Latenzzeit.Das Netzwerk war der Hauptengpass geworden, was zu einer GPU-Leerlaufzeit führte, die sowohl Rechenressourcen als auch Energie verschwendete.Die Ingenieure schätzten, daß während der großen verteilten Schulungen fast 30% der Rechenzyklen durch Kommunikationsüberlast verloren gingen..

Was das Team brauchte, war ein Schalter, der400 Gb/s pro PortDie Entwicklung von HDR-Infrastrukturen ist in den letzten Jahren sehr erfolgreich.Datenblatt MQM9790-NS2FundSpezifikationen MQM9790-NS2F, stellten sie fest, dassMQM9790-NS2F InfiniBand SchalterDas bietet die ideale Balance von Dichte, Leistung und Feature-Set.

Lösung und Bereitstellung: Ein 64-Port-NDR-Fabrik-Upgrade

Das Zentrum hat vierMQM9790-NS2F 400Gb/s NDR 64-Port OSFPSchalter in einer Spine-Leaf-Topologie, die 2.048 GPUs über 64 Rechenknoten hinweg miteinander verbinden. Jeder Knoten verbindet sich über ein einziges OSFP-to-4x100Gb/s Splitterkabel,Bereitstellung einer Gesamtbandbreite von 400 Gb/s pro Server und Optimierung der Kabelverwaltungsdichte.

Der Schlüssel zum Einsatz bestand darin, die vollständigeMQM9790-NS2F kompatibelBetrieb mit bestehenden HDR-Endpunktadaptern. The switch’s automatic speed negotiation and link-layer translation allowed a phased migration strategy — legacy nodes operate at HDR speeds while new NDR-capable servers leverage full 400Gb/s bandwidthDas Zentrum nutzte auch SHARPv3 In-Network-Aggregation, wodurch der All-Reducing-Verkehr für große Nachrichtengrößen, die häufig in LLM-Ausbildungen zu finden sind, um über 65% reduziert wurde.

Für diejenigen, die ähnliche Upgrades bewerten,MQM9790-NS2F PreisAnfragen undMQM9790-NS2F zum VerkaufDie Zahl der Daten, die für Unternehmen und Forschungskunden verfügbar sind, ist deutlich gestiegen.Die wettbewerbsfähigen Gesamtbetriebskosten des Schalters - aufgrund der geringen Anzahl von Schaltern aufgrund der Dichte von 64 Ports - machen ihn zu einer attraktiven Option sowohl für Neubauten als auch für Aktualisierungsprojekte.

Ergebnisse und Vorteile: Messbare Leistungssteigerungen

• All-reduced-latency (1GB-Nachricht):Verringert von 48 μs auf 19 μs (Verbesserung von 60%)
• Effektive GPU-Auslastung:Anstieg von 71% auf 93% bei groß angelegter Ausbildung
• Zeit, in der der Auftrag abgeschlossen wurde (GPT-3 175B-Äquivalent):Verkürzt um 41%
• Netzwerkinduzierte Schwanzlatenz (99-Prozentil):von 210 μs bis unter 35 μs geschnitten

AlsMQM9790-NS2F InfiniBand-Schalterlösung, zeigte der Einsatz, dass 400Gb/s NDR-Tücher ihre theoretischen Versprechen erfüllen können.Die Kombination von Überlastungskontrollalgorithmen und adaptivem Routing beseitigte die "Incaste"-Kollapsmuster, die das vorherige HDR-Gewebe während der All-to-All-Kommunikationsphasen heimgesucht hatten.

Zusammenfassung & Ausblick: Eine Grundlage für exascale KI

Das Supercomputing-Zentrum ist mit demMQM9790-NS2FSie planen nun eine zweite Phase, die die GPU-Zahl auf 4.096 verdoppeln wird, wobei zusätzlicheMQM9790-NS2F 400Gb/s NDR 64-Port OSFPFernmessung und Managementfunktionen außerhalb des Bandes der Schalter ermöglichen zudem eine vorausschauende Vermeidung von Staus.Verringerung der Betriebskosten für das Netzwerkteam.

Für Netzwerkarchitekten und IT-Manager, die Stoffe der nächsten Generation bewerten, ist dieNVIDIA Mellanox MQM9790-NS2Fist eine ausgereifte, in der Produktion bewährte Lösung. Ob Sie einen neuen KI-Forschungskluster errichten oder eine bestehende HPC-Anlage aufwerten, dieser Schalter bietet die geringe Latenz,für moderne parallele Arbeitslasten erforderliche hohe Bandbreite.