Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter in Aktion. RDMA/RoCE Low-Latency Transport und Server

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server-Adapter in Aktion | RDMA/RoCE Niedriglatenz-Transport & Server-Durchsatzoptimierung

In einem groß angelegten Internetunternehmen mit hybrider Bereitstellung von elastischem Bare-Metal und KI-Inferenz waren Netzwerklatenz und CPU-Overhead zu kritischen Hindernissen für die Skalierung der GPU-Auslastung und der Speicherleistung geworden. Das Infrastrukturteam benötigte eine Lösung, die eine Latenz von unter einer Mikrosekunde für verteilte Trainingsjobs liefern konnte, während gleichzeitig der NVMe-oF-Speichertraffic mit hohem Durchsatz unterstützt wurde – und das alles, ohne kostspielige Upgrades der bestehenden Verkabelungsinfrastruktur erzwingen zu müssen. Diese Fallstudie untersucht, wie der MCX623106AN-CDAT von Mellanox (NVIDIA Mellanox) diese Herausforderungen gemeistert und das Netzwerk-Fabric in einen echten Compute-Beschleuniger verwandelt hat.

Hintergrund & Herausforderungen: Wenn 25G NICs an ihre Grenzen stoßen

Die Produktionsumgebung bestand aus über 1.200 Compute-Knoten, verteilt auf zwei Verfügbarkeitszonen, die eine Mischung aus Online-Inferenzdiensten, Offline-KI-Training und verteiltem Objektspeicher ausführten. Die vorhandenen 25G Ethernet-Adapter, die für die grundlegende Konnektivität ausreichend waren, hatten unter gleichzeitigen Workloads zu kämpfen. Zu den wichtigsten Problemen gehörten:

• Hohe CPU-Auslastung: Die softwarebasierte TCP/IP-Stack-Verarbeitung verbrauchte während Spitzen-I/O-Bursts bis zu 35 % der CPU-Kerne auf den Speicherknoten.
• Inkonsistente Latenz: Die Tail-Latenz (p99) für verteilte All-Reduce-Operationen überschritt häufig 50 µs, was zu einer Unterauslastung der GPU während der Parametersynchronisation führte.
• Speicher-Engpass: NVMe-oF-Traffic über verlustbehaftetes Ethernet litt unter Paketverlusten, die erneut Übertragungen auslösten und den effektiven Durchsatz um fast 40 % reduzierten.

Nach der Bewertung mehrerer Alternativen – darunter proprietäres InfiniBand und konkurrierende 25G NICs – wählte das Team die NVIDIA Mellanox MCX623106AN-CDAT wegen ihrer einzigartigen Kombination aus hardwarebasierter RoCEv2-Beschleunigung, programmierbarem Datenpfad und breiter Plattformkompatibilität.

Lösung & Bereitstellungsansatz

Die Bereitstellungsstrategie konzentrierte sich auf drei Säulen: RDMA/RoCE-Aktivierung, Smart-Offload-Aktivierung und schrittweise Migration der Flotte. Jeder Compute-Knoten erhielt eine MCX623106AN-CDAT Ethernet-Adapterkarte, die die NICs der vorherigen Generation ersetzte, ohne die zugrunde liegende 25G Kupfer-/Glasfaserinfrastruktur zu ändern.

Aus Konfigurationssicht nutzte das Team das MCX623106AN-CDAT Datenblatt, um die folgenden Parameter fein abzustimmen:

• RoCEv2 PFC (Priority Flow Control) Einrichtung: Dedizierte verlustfreie Traffic-Klassen wurden für Speicher (NVMe-oF) und KI-Kollektivkommunikation definiert, während Best-Effort-Traffic auf separaten verlustbehafteten Warteschlangen verblieb.
• Hardware-Offloads aktiviert: VXLAN/NVGRE-Tunnel-Offload, Checksummen-Segmentierung und LRO (Large Receive Offload) wurden aktiviert, um die CPU-Intervention pro Paket zu reduzieren.
• DPU-fähige Programmierbarkeit: Mit ASAP² setzte das Team leichtgewichtige Flow-Regeln ein, um den Speicher-Traffic direkt zu den NVMe-oF-Zielendpunkten zu leiten und den Kernel-Netzwerkstack vollständig zu umgehen.

Die Kompatibilitätsprüfung war unkompliziert – die MCX623106AN-CDAT kompatiblen Liste umfasste alle Servermodelle der Flotte (Dell PowerEdge R750 und Supermicro Ultra-Serie), und die bestehenden Red Hat OpenShift- und Ubuntu-basierten Knoten übernahmen die neuen Treiber ohne Probleme.

Ergebnisse & Messbare Vorteile

Nach drei Wochen produktiver Bereitstellung auf 40 % der Compute-Flotte waren die Leistungssteigerungen sofort sichtbar. Die folgende Tabelle fasst die wichtigsten Vorher-Nachher-Metriken zusammen:

Über die quantitativen Verbesserungen hinaus berichtete das Ingenieurteam von einer qualitativen Veränderung der betrieblichen Stabilität. Die hardwarebasierten PFC- und ECN-Mechanismen (Explicit Congestion Notification) stellten sicher, dass der Speicher-Traffic praktisch verlustfrei blieb, und eliminierten die kaskadierenden Retransmissions-Stürme, die zuvor die Anwendungs-SLAs beeinträchtigten. Darüber hinaus verarbeitete die MCX623106AN-CDAT ConnectX-Adapter PCIe-Netzwerkkarte die IPSec-Verschlüsselung mit Leitungsgeschwindigkeit für den Traffic der Zonen-übergreifenden Replikation, was es dem Sicherheitsteam ermöglichte, Zero-Trust-Richtlinien durchzusetzen, ohne dedizierte Verschlüsselungsgeräte einsetzen zu müssen.

Zusammenfassung & Ausblick

Diese Bereitstellung unterstreicht, dass die MCX623106AN-CDAT Ethernet-Adapterkartenlösung nicht nur ein inkrementelles NIC-Upgrade ist – sie ist ein strategischer Wegbereiter für moderne Rechenzentrumarchitekturen. Durch die Kombination von hardwarebeschleunigtem RoCEv2, flexibler Programmierbarkeit und umfassenden Offload-Fähigkeiten verwandelt der Adapter ein Standard-Ethernet-Fabric effektiv in eine Infrastrukturschicht mit niedriger Latenz und hoher Effizienz. Die IT-Organisation plant nun, die Bereitstellung auf alle verbleibenden Knoten auszuweiten und evaluiert aktiv die MCX623106AN-CDAT Spezifikationen für Spine-Leaf-Designs der nächsten Generation mit 50 Gbit/s.

Für Infrastrukturarchitekten und IT-Manager, die ähnliche Leistungsgrenzen erreichen, bietet der MCX623106AN-CDAT einen überzeugenden, bewährten Weg. Wie ein leitender Architekt bemerkte: "Wir erreichten eine bessere Latenz als mit unseren früheren 25G-NICs bei halber CPU-Kosten, und wir mussten keine einzige Rack neu verkabeln." Mit seinem breiten MCX623106AN-CDAT kompatiblen Ökosystem und seiner wettbewerbsfähigen MCX623106AN-CDAT Preisgestaltung ist dieser Adapter gut positioniert, um die Standardwahl für 25G RoCE-Bereitstellungen zu werden – sei es für KI-Training, verteilte Speicherung oder Echtzeit-Analysen.

Tags: MCX623106AN-CDAT ｜ NVIDIA Mellanox ConnectX-6 Dx ｜ RDMA/RoCE Bereitstellung ｜ Niedriglatenz-Netzwerke ｜ Server-Durchsatzoptimierung