Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Serveradapter in Aktion

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in Aktion. RDMA/RoCE Niedrigverzögerungstransport und Serverdurchsatzoptimierung

In einem groß angelegten Hybrid-Szenario eines Internet-Unternehmens,Netzwerklatenz und CPU-Overhead waren zu kritischen Hindernissen für die Skalierung der GPU-Nutzung und Speicherleistung geworden. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureDiese Fallstudie untersucht, wie dieDie Angabe des Zulassungsdatums ist in Anhang I der Verordnung (EG) Nr. 715/2009 zu finden.von Mellanox (NVIDIA Mellanox) diese Herausforderungen angegangen und das Netzwerkgewebe in einen echten Rechenbeschleuniger umgewandelt.

Hintergrund und Herausforderungen: Wenn 25G-NICs ihre Grenzen erreichen

Die Produktionsumgebung bestand aus über 1.200 Rechenknoten, die in zwei Verfügbarkeitszonen aufgeteilt waren und eine Mischung aus Online-Inferenzdiensten, Offline-KI-Training und verteilter Objektspeicherung ausführten.Die vorhandenen 25G Ethernet-Adapter, während sie für die grundlegende Konnektivität ausreichend waren, kämpften unter gleichzeitigen Arbeitsbelastungen.

• Hohe CPU-Auslastung: Softwarebasierte TCP/IP-Stackverarbeitung verbraucht bis zu 35% der CPU-Kerne auf Speicherknoten während der Spitzen I/O-Beschleunigung.
• Unbeständige Latenzzeit: Die Tail-Latenz (p99) bei verteilten All-Reduce-Operationen überstieg häufig 50 μs, was zu einer unterbenutzten GPU während der Parameter-Synchronisierung führte.
• Speicherengehälter: Der NVMe-oF-Verkehr über verlustbehaftetes Ethernet litt unter Paketabfällen, was zu Wiederübertragungen führte, die den effektiven Durchsatz um fast 40% verringerten.

Nach der Bewertung mehrerer Alternativen – einschließlich proprietärer InfiniBand und konkurrierender 25G-NICs – wählte das Team dieNVIDIA Mellanox MCX623106AN-CDATfür seine einzigartige Kombination aus hardwarebasierter RoCEv2-Beschleunigung, programmierbarem Datenpfad und breiter Plattformkompatibilität.

Lösung und Einsatzansatz

Die Einsatzstrategie konzentrierte sich auf drei Säulen:RDMA/RoCE-Aktivierung,Aktivierung der intelligenten Entlastung, undschrittweise Flottenmigration. Jeder Rechenknoten erhielt einenMCX623106AN-CDAT Ethernet-Adapterkarte, die die NIC der vorherigen Generation ersetzen, ohne die zugrunde liegende Kupfer-/Faserinfrastruktur von 25G zu verändern.

Aus Sicht der Konfiguration nutzte das Team dieDatenblatt MCX623106AN-CDATdie folgenden Parameter zu optimieren:

• Einrichtung von RoCEv2 PFC (Prioritätsflusssteuerung): Für die Speicherung (NVMe-oF) und für die kollektive Kommunikation mit KI wurden spezielle Verlustlose-Verkehrsklassen definiert, während der Best-Effort-Verkehr in separaten Verlust-Warteschlangen blieb.
• Hardware-Auslastung aktiviert: VXLAN/NVGRE Tunnel-Offload, Checksum-Segmentierung und LRO (Large Receive Offload) wurden aktiviert, um die CPU-Intervention pro Paket zu reduzieren.
• DPU-fähige Programmierfähigkeit: Mit Hilfe von ASAP2 setzte das Team leichte Flussregeln ein, um den Speicherverkehr direkt an die NVMe-oF-Zielendpunkte zu leiten und den Kernel-Netzwerkstapel vollständig zu umgehen.

Die Validierung der Vereinbarkeit war einfach.MCX623106AN-CDAT kompatibelDie Liste umfasste alle Servermodelle in der Flotte (Dell PowerEdge R750 und Supermicro Ultra-Serie), und die bestehenden Red Hat OpenShift- und Ubuntu-basierten Knoten übernahmen die neuen Treiber problemlos.

Ergebnisse und messbare Vorteile

Nach drei Wochen der Produktion in 40% der Rechenflotte waren die Leistungssteigerungen sofort sichtbar.

Über die quantitativen Verbesserungen hinaus berichtete das Ingenieurteam von einer qualitativen Veränderung der Betriebsstabilität.Die Hardware-basierten PFC- und ECN-Mechanismen (Explicit Congestion Notification) gewährleisteten, dass der Speicherverkehr praktisch verlustfrei blieb., wodurch die kaskadierenden Wiederübertragungsstürme beseitigt werden, die sich zuvor auf die Anwendungs-SLAs ausgewirkt haben.MCX623106AN-CDAT ConnectX Adapter PCIe-Netzwerkkartedie Linienrate IPSec-Verschlüsselung für den zonenübergreifenden Replikationsverkehr verwaltet, so dass das Sicherheitsteam Null-Vertrauens-Richtlinien durchsetzen kann, ohne spezielle Verschlüsselungsgeräte einzusetzen.

Zusammenfassung und Zukunftsperspektive

Diese Einführung unterstreicht, dass dieMCX623106AN-CDAT Ethernet-Adapterkartenlösungist nicht nur ein inkrementelles NIC-Upgrade, es ist ein strategischer Förderfaktor für moderne Rechenzentrumsarchitekturen.und umfassende Entladekapazitäten, verwandelt der Adapter effektiv eine Standard-Ethernet-Materie in eine Infrastrukturschicht mit geringer Latenzzeit und hoher Effizienz.Die IT-Organisation plant nun, die Bereitstellung auf alle verbleibenden Knoten auszuweiten und bewertet aktiv dieSpezifikationen für MCX623106AN-CDATfür 50G Spine-Leaf-Designs der nächsten Generation.

Für Infrastrukturarchitekten und IT-Manager, die mit ähnlichen Leistungsgrenzwerten konfrontiert sind, ist dieDie Angabe des Zulassungsdatums ist in Anhang I der Verordnung (EG) Nr. 715/2009 zu finden.Einer der leitenden Architekten bemerkte:"Wir erreichten eine bessere Latenzzeit als unsere bisherigen 25G-NICs zu der Hälfte der CPU-Kosten und mussten kein einziges Rack neu kabeln".Mit seiner großenMCX623106AN-CDAT kompatibelÖkosystem undMCX623106AN-CDAT PreisDiese Anpassung ist gut geeignet, die Standardwahl für 25G RoCE-Einführungen zu werden, egal ob es sich um KI-Ausbildung, verteilte Speicherung oder Echtzeitanalyse handelt.