Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Serveradapter in Aktion: RDMA/RoCE Low-Latency Transport und Server

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter in Aktion: RDMA/RoCE Low-Latency Transport und Server Durchsatzoptimierung

Hintergrund und Herausforderung: Netzwerkengpässe bei verteiltem Speicher und KI-Ausbildung

In einer realen Produktionsumgebung bei einem mittelständischen Cloud-Dienstleister umfasst das Kerngeschäftsportfolio verteilte Blockspeicherung (Ceph) und GPU-basierte AI-Modell-Trainingsplattformen.Da das Kundendatenvolumen jährlich um mehr als 200% wuchs, die veraltete 10GbE TCP/IP-Netzwerk-Architektur zeigte schrittweise zwei kritische Schmerzpunkte.Verhinderung des vollen Leistungspotenzials des NVMe-SpeicherpoolsZweitens konnte bei der Gradient-Synchronisation in GPU-Training-Clustern der Netzwerkdurchsatz nur 60% der theoretischen Bandbreite erreichen.mit einem signifikanten Anteil an CPU-Ressourcen, der vom Netzwerkprotokollstapel verbraucht wird, was die Effizienz der Trainingsiteration erheblich beeinträchtigt.Das Architekturteam benötigte dringend eine Netzwerk-Schnittstellenlösung, die sowohl die Übertragungsverzögerung reduzieren als auch den effektiven Serverdurchsatz erheblich verbessern konnte.

Lösung und Bereitstellung: RoCE Überholung mit dem MCX631102AN-ADAT ConnectX-6 Lx

Nach der Auswertung mehrerer Alternativen wählte das Team dieMellanox (NVIDIA Mellanox) MCX631102AN-ADATDie Kommission hat in den letzten Jahren eine Reihe von Maßnahmen ergriffen, um dieMCX631102AN-ADAT Ethernet-Adapterkartewurde über 120 Speicherknoten und 64 GPU-Rechenknoten bereitgestellt, um bestehende 10GbE-Adapter zu ersetzen. Jeder Server war mit der Dual-Port 25GbE SFP28-Konfiguration ausgestattet,mit einem Anschluss an den Produktions-RoCE-Fabrik und einem zweiten Anschluss für den Verwaltung- und BackupverkehrDer Einsatz hat dieMCX631102AN-ADAT ConnectX-6 Lx Doppelanschluss 25GbE SFP28die native RoCE-V2-Unterstützung des Adapters, wodurch die Notwendigkeit zusätzlicher Gateway-Geräte oder Protokollübersetzungsschichten beseitigt wird.

In der ersten Phase hat das Team dieMCX631102AN-ADAT Ethernet-AdapterkartenlösungIn der zweiten Phase wurden die GPU-Rechenknoten aktualisiert.mit der GPUDirect Storage-Fähigkeit des Adapters, mit der der GPU-Speicher direkt mit dem Remote-NVMe-Speicher über das RoCE-Netzwerk kommunizieren kann, ohne dass die CPU beteiligt istDer gesamte Einsatz wurde innerhalb von zwei Wochen abgeschlossen, wobei die bestehende 25GbE-Switch-Infrastruktur beibehalten wurde.MCX631102AN-ADAT kompatibelNatur mit Standard-Netzausrüstung für Rechenzentren.

Messbare Ergebnisse und Leistungssteigerungen

Die Leistungsverbesserungen nachNVIDIA Mellanox MCX631102AN-ADATDie folgende Tabelle fasst die wichtigsten Vor- und Nachmesswerte zusammen, die in der Produktionsumgebung beobachtet wurden:

Über die quantitativen Kennzahlen hinaus beobachtete das Team qualitative Verbesserungen der Betriebsstabilität.MCX631102AN-ADATDies ist ein wichtiger Faktor für die Erhöhung der Leistungsfähigkeit der Lernprozesse.Spezifikationen für MCX631102AN-ADAT, die fortschrittliche Lenkmaschine des Adapters und die RDMA-Fähigkeiten gewährleisteten, dass auch bei 128 gleichzeitigen NVMe-oF-Verbindungen pro Port die Leistung der Linienfrequenz konstant aufrechterhalten wurde.

Aus Sicht der Gesamtkosten berechnete das Architekturteam, daß dieMCX631102AN-ADAT PreisDer Durchsatz pro Gigabit war wesentlich niedriger als bei einem Upgrade auf 40GbE oder 100GbE-Alternativen.Die Möglichkeit, die vorhandene SFP28-Kabel- und Schaltinfrastruktur wiederzuverwenden, reduzierte die Investitionsausgaben weiter., dieMCX631102AN-ADAT zum VerkaufBewertung eines überzeugenden Geschäftsfalls für die Führung der Anbieter.

Zusammenfassung und Aussichten: Aufbau einer zukunftsfähigen Netzwerkbasis

Der Produktionsbetrieb derMellanox (NVIDIA Mellanox) MCX631102AN-ADATzeigt einen klaren Weg für Organisationen, die das volle Potenzial ihrer verteilten Infrastruktur ausschöpfen wollen.Durch die Kombination von RDMA/RoCE-Transport mit geringer Latenzzeit mit Hardware-beschleunigter Ablastung, beseitigt der Adapter effektiv das Netzwerk als Leistungsengpässen, sei es für KI-Ausbildung, softwaredefinierte Speicherung oder Hochfrequenz-Transaktionsverarbeitung.Die Erfahrungen des Teams bestätigen, daß dieMCX631102AN-ADAT Ethernet-Adapterkartedie Leistungsfähigkeit des GPU-Training-Systems nicht nur verbessert, sondern auch greifbar verbessert wird: Die Arbeitszeit für das Training der GPU verringert sich um durchschnittlich 34%,Die SLA für die Reaktionszeit von Speicherclustern wurden auch während der Spitzenlastperioden konsequent erfüllt..

Im Hinblick auf die Zukunft plant der Anbieter dieMCX631102AN-ADAT ConnectX-6 Lx Doppelanschluss 25GbE SFP28Die NVIDIA-Datenbank wird in den kommenden Jahren in weitere Bereitstellungszonen eingesetzt, wobei bereits frühe Bewertungen zur Integration des Adapters in die BlueField-DPUs von NVIDIA zur weiteren Netzwerkprogrammierbarkeit durchgeführt werden.Für technische Teams, die ähnliche Upgrades bewerten, die detaillierteDatenblatt MCX631102AN-ADATDer Fall unterstreicht einen klaren Branchentrend: IntelligenteHardware-offloaded 25GbE-Adapter wie der MCX631102AN-ADAT werden schnell zur neuen Basis für leistungsorientierte Rechenzentrumdesigns.