NVIDIA Mellanox MCX556A-ECAT Server Adapter in Aktion: RDMA/RoCE Low-Latency Performance freischalten und KI beschleunigen

NVIDIA Mellanox MCX556A-ECAT Server Adapter in Aktion: Eröffnung von RDMA/RoCE Low-Latency Performance und Beschleunigung von KI und verteilten Speicher-Workloads

Modell:Die in Absatz 1 genannte Angabe ist nicht anwendbar.♫ Marke: NVIDIA Mellanox ♫ Kategorie: Hochleistungs-Ethernet-Adapter ♫ Schlüsselfunktionen: RDMA/RoCE Low-Latency Transport & Server Durchsatzoptimierung

Hintergrund und Herausforderungen: Netzwerkengpässe bei der groß angelegten KI-Ausbildung

Für das Daten-Infrastrukturteam eines führenden Autonomen Fahrtechnologie-Unternehmens,Das schnelle Wachstum der Ausbildungsbelastungen für KI-Modelle hatte die Fähigkeiten ihrer bestehenden Netzwerkinfrastruktur übertroffen.Ihr Rechencluster bestand aus über 200 GPU-Servern, die jeweils mit 25GbE-Adaptern ausgestattet waren und an ein verteiltes Speichersystem angeschlossen waren, das Petabyte an Sensor- und Simulationsdaten enthielt.Während groß angelegter Ausbildungsarbeiten, beobachtete das Team konsequent zwei kritische Probleme: Die GPU-Auslastung überstieg aufgrund von Engpässen beim Datenladen selten 70%,und Checkpoint-Sparvorgänge, die für die Modellwiederherstellung unerlässlich sind, dauerten über 40 Sekunden., was die iterativen Trainingszyklen erheblich verlangsamt.

Die Ursache wurde auf die Netzwerkzugangssschicht zurückgeführt: den vorhandenen Adaptern fehlten robuste RDMA-Ablastfähigkeiten, was die Speichereingaben/Ausgänge zwang, den TCP/IP-Stack zu durchqueren und übermäßige CPU-Zyklen zu verbrauchen.Dies führte zu hohen Latenzzeiten, ineffizienter Nutzung von GPU-Ressourcen und eingeschränkter Skalierbarkeit für zukünftige Cluster-Erweiterungen.Das Team benötigte dringend einen leistungsstarken Adapter, der eine RDMA-Latenz von unter 5 μs und einen vollen Durchsatz bieten konnte, um das Potenzial ihres NVMe-oF-Speichergewebes freizuschalten.Das ist genau der Punkt, an dem dieNVIDIA Mellanox MCX556A-ECATin den Evaluierungsprozess einbezogen.

Lösung und Bereitstellung: Aufbau eines RDMA-optimierten Gewebes um den MCX556A-ECAT

Nach einer gründlichen Überprüfung derDatenblatt MCX556A-ECATund Validierung seinerSpezifikationen MCX556A-ECATDas Architekturteam entwickelte eine stufenweise Bereitstellungsstrategie.MCX556A-ECAT ConnectX Adapter PCIe-Netzwerkkartewurde für seine Dual-Port 50GbE-Fähigkeit und den ausgereiften ConnectX-5 ASIC ausgewählt, der die ideale Balance zwischen Leistung, Energieeffizienz und Reife des Ökosystems bot.

Die Strategie des Einsatzes bestand aus drei Schlüsselphasen:

• Phase 1 Pilot-Einführung (16 GPU-Knoten):Zwei MCX556A-ECAT-Adapter wurden pro Rechenknoten installiert, mit zwei Anlagen, um RoCEv2-fähige Leaf-Switches zu trennen.Das Team konfigurierte die Adapter mit SR-IOV, um dedizierte virtuelle Funktionen für Speicher I/O und Trainingskommunikation zu vergeben, die Qualitätssicherung gewährleistet.
• Phase 2: Integration des LagertechnikmaterialsDie NVMe-oF-Speicherziele wurden so konfiguriert, dass sie RDMA-fähige Endpunkte anzeigen.
• Phase 3 Produktionserweiterung (alle 200 GPU-Knoten):Aufgrund der positiven Pilotergebnisse wurde der Einsatz auf den gesamten Cluster ausgedehnt.Kompatibel mit MCX556A-ECATDas Ökosystem gewährleistete eine nahtlose Integration mit bestehenden Serverplattformen, Speicher-Arrays und Switch-Infrastruktur.

Während des gesamten EinsatzesMCX556A-ECAT Ethernet-Adapterkartehat eine außergewöhnliche Plug-and-Play-Einfachheit gezeigt.Das Team nutzte den MLNX_OFED-Treiber-Stack mit der NVIDIA Collective Communications Library (NCCL), um die RDMA-Leistung für GPU-zu-GPU- und GPU-zu-Speicher-Kommunikationsmuster zu optimieren.

Messbare Ergebnisse: signifikante Leistungssteigerungen und Ressourcenfreisetzung

Nach der vollständigen Einführung der Produktion dokumentierte das Team erhebliche Verbesserungen in mehreren kritischen Metriken.Die nachstehende Tabelle fasst den Leistungsvergleich vor und nach der Einführung derNVIDIA Mellanox MCX556A-ECAT:

Neben den quantitativen Verbesserungen berichtete das Team von einer dramatischen Verkürzung der Trainings-Iterationszeiten von durchschnittlich 4,2 Tagen pro Modell auf nur 2,8 Tage.Dies entspricht einer Beschleunigung der Gesamtzeit der Markteinführung für neue autonome Fahrmodelle um 33%Außerdem wird bei der Bewertung derMCX556A-ECAT-PreisDie freigesetzte CPU-Kapazität ermöglichte es dem Team, geplante Server-Upgrades zu verschieben,Während sich die verkürzte Ausbildungszeit direkt in einen Wettbewerbsvorteil auswirkte. DieMCX556A-ECAT zum VerkaufDie NVIDIA-Vertriebsgesellschaften verfügen über eine Reihe von Möglichkeiten, die NVIDIA durch seine Kanalpartner anbietet, und bieten flexible Beschaffungsmodelle, die mit den Investitionszyklen des Unternehmens in Einklang stehen.

Zusammenfassung und Aussichten: Eine Grundlage für künftige KI-Infrastruktur

Die Einführung derNVIDIA Mellanox MCX556A-ECATDies zeigt, dass die RDMA/RoCE-fähige Serververbindung für moderne KI-Workloads kein Luxus mehr ist, sondern eine Notwendigkeit.MCX556A-ECAT Ethernet-Adapterkartenlösunghat bewiesen, dass es in der Lage ist, Speicherengpässe zu beseitigen, die GPU-Auslastung zu maximieren und die Modell-Trainingszyklen erheblich zu beschleunigen - alles innerhalb eines einheitlichen, überschaubaren Netzwerks.

Im Hinblick auf die Zukunft plant das Team, weitere Anwendungsfälle zu erforschen, die durch dieMCX556A-ECAT ConnectX Adapter PCIe-Netzwerkkarte, einschließlich Echtzeit-Sensor-Daten-Streaming und Multi-Cluster-Synchronisierung für föderatives Lernen.Datenblatt MCX556A-ECATund sich weiterentwickelnSpezifikationen MCX556A-ECATDa immer mehr Unternehmen mit ähnlichem Skalierungsdruck in den Bereichen KI und HPC konfrontiert sind, ist es wichtig, dass sich die Unternehmen in den Bereichen KI und HPC weiterentwickeln.Die in Absatz 1 genannte Angabe ist nicht anwendbar.bietet eine bewährte Vorlage für die Balancierung von Leistung, Zuverlässigkeit und Betriebssimplizität in missionskritischen Umgebungen.