Anwendungspraxis: NVIDIA Mellanox MCX631102AN-ADAT – RDMA/RoCE Low-Latency Transport & Server-Durchsatzverbesserung
April 27, 2026
In verteilten Speichersystemen, High-Performance Computing und KI-Trainingsclustern sind Netzwerklatenz und CPU-Overhead zu den primären Engpässen geworden, die die Serverleistung einschränken. Ein Cloud-Dienstanbieter hat kürzlich sein NVMe-oF-Speicher-Backend aufgerüstet, indem er den NVIDIA Mellanox MCX631102AN-ADAT Serveradapter ausgewählt hat. Durch den Einsatz von RDMA over Converged Ethernet (RoCEv2) erreichten sie eine End-to-End-Transportverbindung mit geringer Latenz und signifikante Steigerungen des Serverdurchsatzes. Diese Fallstudie untersucht die Leistung des Adapters in einer Produktionsumgebung.
Hintergrund & Herausforderung: Der TCP/IP-Protokollstapel als Engpass
Die bestehende 25GbE-Infrastruktur des Anbieters verarbeitete den Speicherverkehr über den herkömmlichen TCP/IP-Softwarestapel. In NVMe/TCP-Szenarien überschritt die CPU-Auslastung für die Paketkapselung und -dekapselung 40 %, was zu Speicherlatenzen von über 200 µs und einer stark reduzierten Rechenkapazität auf den Anwendungsservern führte. Architekten benötigten dringend eine Lösung, die den Kernel-Netzwerkstapel umgehen, die CPU-Interferenz reduzieren und den Leitungsratendurchsatz über duale 25GbE-Verbindungen aufrechterhalten konnte. Nach der Bewertung mehrerer Optionen wählten sie den MCX631102AN-ADAT ConnectX-6 Lx Dual-Port 25GbE SFP28 als Kernhardware für die Renovierung ihres Speicher-Fabric.
Lösung & Bereitstellung: RDMA/RoCEv2 mit Hardware-Offloads
Die Bereitstellung ersetzte alle speicherseitigen Server durch die MCX631102AN-ADAT Ethernet-Adapterkarte, die im RoCEv2-Verlustfreien Modus (mit ECN und PFC) lief. Zu den wichtigsten Bereitstellungsschritten gehörten:
- Aktivierung von SR-IOV und Zuweisung von virtuellen Funktionen (VFs) an Speicher-Virtual-Machines, wodurch der Hypervisor-Netzwerkstapel umgangen wurde
- Konfiguration von NVMe over Fabrics (NVMe-oF) mit RDMA-Transport, wodurch der TCP-Overhead vollständig eliminiert wurde
- Abstimmung der Switch-Puffergrenzwerte für verlustfreien 25GbE RoCE-Verkehr über die Leaf-Spine-Topologie
Die MCX631102AN-ADAT-Spezifikationen— einschließlich Hardware-Zeitstempel, Dynamic Connection Transport (DCT) und vektorisiertem Empfangsmodul — wurden vollständig genutzt, um eine vorhersehbare Latenz im Sub-Mikrosekundenbereich auch unter einer aggregierten Last von 50 Gbit/s zu gewährleisten.
Gemessene Leistungssteigerungen & Betriebliche Vorteile
Nach der Migration zum NVIDIA Mellanox MCX631102AN-ADAT wurden die folgenden Metriken erfasst:
| Metrik | Vorher (TCP/IP 25GbE) | Nachher (RoCEv2 mit MCX631102AN-ADAT) |
|---|---|---|
| NVMe-oF Lese-Latenz (P99) | 215 µs | 18 µs |
| CPU-Auslastung (Speicher-I/O-Pfad) | 41% (einzelner Kern gesättigt) | 7% (verteilt auf Kerne) |
| Aggregierter Serverdurchsatz (RX+TX) | 42 Gbit/s (softwarebegrenzt) | 49,8 Gbit/s (Leitungsrate) |
| Durchsatz bei kleinen Paketen (64B) | 8,1 Mpps | 37,5 Mpps (Hardware-Flow-Steuerung) |
Ingenieure stellten fest, dass die MCX631102AN-ADAT Ethernet-Adapterkartenlösung eine vorhersehbare Tail-Latenz lieferte, die für Echtzeit-Analyse-Datenbanken geeignet ist. Darüber hinaus wurden freigewordene CPU-Kerne für Workloads der Anwendungen neu zugewiesen, was die Gesamtdichte der Mandanten um etwa 24 % auf denselben physischen Servern erhöhte.
Kompatibilität & Ökosystem-Integration
Bei der Erweiterung der Bereitstellung verifizierte das Betriebsteam, dass der Adapter MCX631102AN-ADAT-kompatibel mit ihren bestehenden NVIDIA Spectrum Switches (verlustfreie RoCE-Profile) sowie mit ToR-Switches von Drittanbietern von Arista und Cisco mit DCBX-Konfiguration ist. Für die Beschaffungsplanung bezogen sie sich auf das MCX631102AN-ADAT-Datenblatt , um Leistungsaufnahmen (typisch ca. 12 W) und thermische Anforderungen zu validieren. Frühe Massenanfragen bestätigten, dass der MCX631102AN-ADAT-Preis im Vergleich zu SmartNICs ähnlicher Klasse wettbewerbsfähig bleibt, wobei mehrere Distributoren den MCX631102AN-ADAT zum Verkauf unter Standard-Volumenvereinbarungen anbieten.
Zusammenfassung & Ausblick
Der Produktionsfall zeigt deutlich, dass der MCX631102AN-ADAT einen grundlegenden Wandel von TCP-gebundenen Speichernetzwerken zu RDMA-beschleunigten Fabrics ermöglicht, ohne dass eine vollständige Umstellung auf 100GbE-Infrastruktur erforderlich ist. Durch die Nutzung des MCX631102AN-ADAT ConnectX-6 Lx Dual-Port 25GbE SFP28-Designs können Organisationen den effektiven Durchsatz für latenzempfindliche Workloads verdoppeln und gleichzeitig erhebliche CPU-Ressourcen zurückgewinnen. Zukünftig wird dasselbe Bereitstellungsmuster auf verteilte Machine-Learning-Frameworks (NCCL über RoCE) und zustandsbehaftete Anwendungen auf Microservice-Basis ausgeweitet. Für Architekten, die 25GbE-Upgrades evaluieren, ist der NVIDIA Mellanox MCX631102AN-ADAT ein bewährter, produktionsgehärteter Baustein für Hochleistungs-Rechenzentrumsnetzwerke mit geringer Latenz.