NVIDIA Mellanox MCX653105A-HDAT Server-Adapter in Aktion. RDMA/RoCE Low-Latency Transport und Server Durchsatzgewinne

NVIDIA Mellanox MCX653105A-HDAT Server-Adapter in Aktion. RDMA/RoCE Low-Latency Transport und Server Durchsatzgewinne

Hintergrund und Herausforderung: Der Engpass bei der KI-Ausbildung

Ein führendes Finanztechnologieunternehmen, das sich auf algorithmischen Handel und Echtzeit-Risikoanalyse spezialisiert hat, stand vor einer kritischen Infrastruktur-Herausforderung.Ihr Machine-Learning-Team hatte einen verteilten Trainingscluster mit 32 GPU-beschleunigten Servern eingesetzt.Da die Modellkomplexität jedoch von Millionen auf Milliarden von Parametern wuchs, wurde die Netzwerklatenz zum dominierenden Engpass.Die bestehenden 25GbE-Adapter, die mit dem traditionellen TCP/IP arbeitete, führte eine unvorhersehbare Tail-Latenz ein, die die Gradient-Synchronisierung über den Cluster erheblich verlangsamte.

Die Infrastruktur-Architekten des Unternehmens identifizierten zwei Hauptprobleme.Der TCP/IP-Stack verbrauchte erhebliche CPU-Ressourcen auf jedem Server “ bis zu 30% der verfügbaren Kerne “, was die Kapazität für das tatsächliche Modelltraining reduzierteZweitens bedeutete der Mangel an Hardware-Auslastung für RDMA, dass Datenübertragungen zwischen GPU-Speicher und Netzwerk mehrere Speicherkopien erforderten.Hinzufügen von Verzögerungen auf Mikrosekundenebene, die sich über Tausende von Parameter-Austausch pro Trainingsschritt angesammelt habenDas Team brauchte eine Lösung, die eine deterministische Kommunikation mit geringer Latenzzeit liefern konnte, ohne den Serverdurchsatz zu beeinträchtigen oder eine komplette Netzwerküberholung zu erfordern.

Lösung und Bereitstellung: Umsetzung von RoCE mit dem MCX653105A-HDAT

Nach der Auswertung mehrerer Optionen wählte das UnternehmenNVIDIA Mellanox MCX653105A-HDATDiese PCIe-Netzwerkkarte wurde in jedem der 32 Trainingsserver eingesetzt und ersetzte die Adapter der vorherigen Generation.MCX653105A-HDAT ConnectX Adapter PCIe-NetzwerkkarteDie erforderliche Kombination aus hoher Bandbreite und Hardware-beschleunigter RoCEv2-Unterstützung ermöglicht eine echte RDMA-Kommunikation über das vorhandene Ethernet-Fabrik.

Der Einsatz folgte einem strukturierten Ansatz:

• Physische Anlage:Jeder Server erhielt dieMCX653105A-HDAT Ethernet-Adapterkarte, die über Dual-Port 25GbE SFP28-Verbindungen an redundante Top-of-Rack-Switches angeschlossen sind.
• RoCEv2-Konfiguration:Die Netzwerk-Switches wurden mit Priority Flow Control (PFC) und Explicit Congestion Notification (ECN) konfiguriert, um einen verlustfreien Ethernet-Transport zu gewährleisten, was eine Voraussetzung für eine optimale RDMA-Leistung ist.
• GPUDirekte Integration:Das Team nutzte die GPUDirect-Fähigkeiten des Adapters, um die direkte Datenbewegung zwischen GPU-Speicher und der Netzwerkoberfläche ohne Einbindung der Host-CPU zu ermöglichen.
• Software-Stack:Der NVIDIA-Netzwerktreiber-Stack wurde installiert und das Trainingsframework (PyTorch mit verteilten Datenparallel) wurde so konfiguriert, dass die RDMA-Transportschicht verwendet wird.

Nach Angaben derDatenblatt MCX653105A-HDAT, der Adapter unterstützt PCIe Gen 4.0 x16,Bereitstellung von bis zu 256 GB/s Host-Bandbreite, die ausreicht, um die doppelten 25GbE-Ports vollständig zu versorgen und gleichzeitig genügend Platz für zukünftige Upgrades auf 50GbE oder 100GbE zu lassenDas Team stellte fest, dass die Flexibilität des AdaptersMCX653105A-HDAT kompatibelmit ihrer vorhandenen Server-Hardware, die sowohl PCIe Gen 3.0 als auch 4 unterstützte.0.

DieMCX653105A-HDAT-SpezifikationenSie passten die Interrupt-Coalescing-Parameter an, um die Latenz gegenüber der CPU-Auslastung auszugleichen.und konfigurierte Prioritäts-Einstellungen pro Warteschlange, um sicherzustellen, dass der Gradentierungssynchronisierungsverkehr die höchste QoS-Behandlung erhielt.

Ergebnisse und messbare Vorteile

Die Leistungsverbesserungen waren erheblich und direkt über mehrere Dimensionen hinweg messbar:

Neben den quantitativen VerbesserungenNVIDIA Mellanox MCX653105A-HDATDas Team hatte nicht erwartet, dass es operative Vorteile erzielte.Die deterministische Latenzzeit gewährleistete, dass die Ausbildungskonvergenz innerhalb vorhersehbarer Zeitrahmen konsequent erreicht wurde. Dies ist eine kritische Anforderung für die zeitsensiblen Modellentwicklungszyklen des Unternehmens.Die freien CPU-Kerne wurden auf die tatsächliche Berechnung umgeleitet, wodurch die effektive Rechenkapazität des Clusters effektiv erhöht wurde, ohne neue Hardware hinzuzufügen.

Das Team nutzte auch die integrierte Telemetrie des Adapters, um Sichtbarkeit in Stoffüberlastungsmuster zu gewinnen.Diese Daten halfen ihnen, die Netzwerkpufferkonfigurationen zu optimieren und potenzielle Leistungsstörungen zu erkennen. DieMCX653105A-HDAT Ethernet-AdapterkartenlösungDie Kommission ist der Auffassung, daß die Zusammenarbeit zwischen den Mitgliedstaaten und der Kommission eine wichtige Voraussetzung für die Erreichung des Ziels ist.

Zusammenfassung und Ausblick

Diese Einführung bestätigte, dass dieNVIDIA Mellanox MCX653105A-HDATist mehr als nur ein Netzwerk-Upgrade, es ist eine strategische Investition in verteilte Rechenleistung.Der Adapter reduzierte die Trainingszeit um mehr als 70%, beschleunigte Markteinführungszeit für neue Modelle und deutlich verbesserte Infrastruktureffizienz.

Das Unternehmen plant nun, diese Architektur auf weitere Cluster auszuweiten, einschließlich ihrer Echtzeit-Risikoanalyseplattform,wenn eine Datenbewegung mit geringer Latenzzeit zwischen Datenbanken im Speicher und Rechenknoten unerlässlich ist. DieMCX653105A-HDAT Preis, wenn sie anhand der Einsparungen im Betrieb und der Leistungssteigerungen ausgewertet werden,Die Kosten für die Einführung einer dedizierten InfiniBand-Infrastruktur oder für die Beschaffung zusätzlicher Rechenknoten stellten eine überzeugende Kapitalrendite dar..

Für Organisationen, die aktiv evaluierenMCX653105A-HDAT zum VerkaufDiese Fallstudie zeigt, dass der Adapter sein Versprechen einer niedrigen Latenz und hohen Durchsatznetzwerkleistung in realen Produktionsumgebungen erfüllt.Die Kombination von Hardwarebeschleunigung, umfassende Telemetrie und nahtlose Kompatibilität mit der vorhandenen Ethernet-InfrastrukturNVIDIA Mellanox MCX653105A-HDATEine grundlegende Komponente für moderne Rechenzentrumsarchitekturen.