NVIDIA Mellanox MCX653106A-HDAT in Aktion: Durchbrüche im Bereich Low-Latency RDMA/RoCE Transport und Server Durchsatz

In modernen Rechenzentrumsumgebungen – die verteilte Speicher, Hochfrequenzhandel und KI-Trainingscluster umfassen – bleiben zwei anhaltende Herausforderungen bestehen: Reduzierung der netzwerkbedingten Latenz und Maximierung des Serverdurchsatzes ohne Belastung der CPU. Dieser ausführliche Einblick in die Anwendung untersucht, wie ein führender Cloud-Infrastrukturanbieter genau diese Probleme durch die Bereitstellung gelöst hatNVIDIA Mellanox MCX653106A-HDATServeradapter über ihre Rechen- und Speicherknoten hinweg.

Hintergrund und Herausforderung

Die bestehende 25-GbE-Infrastruktur des Anbieters, die auf Standard-Ethernet-Adaptern mit softwarebasierten TCP/IP-Stacks basiert, zeigte deutliche Einschränkungen. Bei Speicher-Workloads, die NVMe über Fabrics nutzen, kam es zu unvorhersehbaren Latenzspitzen (oft über 50 µs), während Datenbank-Cluster unter einer hohen CPU-Auslastung litten – bis zu 35 % der Kerne wurden allein durch die Netzwerkverarbeitung verbraucht. Das Ingenieurteam benötigte eine Lösung, die eine Latenzzeit von weniger als 10 µs für RDMA-Transaktionen liefern und einen Durchsatz von 200 GbE unterstützen kann, ohne dass eine vollständige Überarbeitung der Architektur erforderlich ist.

Nachdem sie mehrere Optionen geprüft hatten, wandten sie sich an dieMCX653106A-HDAT Ethernet-Adapterkarte, die Hardware-Offloaded RoCE (RDMA over Converged Ethernet) und nahtlose Integration in ihre bestehende Cumulus Linux-basierte Leaf-Spine-Topologie versprach.

Lösungs- und Bereitstellungsansatz

Der Einsatz konzentrierte sich auf dieMCX653106A-HDAT ConnectX-Adapter PCIe-Netzwerkkarte, nutzt seine Dual-Port-100-GbE-Konfiguration, um eine nicht blockierende Fabric zu schaffen. Jeder Rechenknoten erhielt einen Adapter, während Speicherknoten aus Redundanzgründen mit zwei ausgestattet waren. Zu den wichtigsten Implementierungsschritten gehörten:

• Ermöglicht RoCEv2 mit PFC (Priority Flow Control) und ECN (Explicit Congestion Notification), um einen verlustfreien Transport sicherzustellen
• Konfigurieren von SR-IOV zur Bereitstellung virtueller Funktionen für Datenbank- und Speicher-Workloads mit hoher Priorität
• Bereitstellung der neuesten VersionMCX653106A-HDAT-kompatibelTreiberstapel (NVIDIA DOCA 2.5) auf allen Ubuntu 22.04 LTS-Knoten
• Implementierung einer hardwarebasierten DPDK-Beschleunigung für Paketverarbeitungspfade

Basierend auf derMCX653106A-HDAT Datenblattund der Validierung vor der Bereitstellung prognostizierte das Team eine Hardwarelatenz von weniger als 1 µs und bis zu 215 Millionen Pakete pro Sekunde (MPPS) für Transaktionen mit kleinen Paketen – Kennzahlen, die als Grundlage für die Kapazitätsplanung dienten.

Ergebnisse und messbare Vorteile

Nach einem vierwöchigen Pilotversuch auf 50 Produktionsknoten dokumentierte das Infrastrukturteam beim Vergleich die folgenden VerbesserungenNVIDIA Mellanox MCX653106A-HDATgegen ihre alten Adapter:

Über die bloßen Zahlen hinaus stellte das Ingenieurteam fest, dass dieMCX653106A-HDAT Ethernet-AdapterkartenlösungBisher erforderliche Optimierungs-Workarounds wie etwa Interrupt-Koaleszenz-Hacks und übergroße Empfangspuffer wurden eliminiert. Die Hardware-Offloads des Adapters für VXLAN und Geneve vereinfachten auch ihren Container-Netzwerk-Stack und reduzierten die Pod-zu-Pod-Latenz in Kubernetes-Umgebungen um 40 %.

Für IT-Manager, die Kosten bewerten,MCX653106A-HDAT-PreisVergleiche mit vergleichbaren 200-GbE-Lösungen ergaben 15–20 % niedrigere Gesamtbetriebskosten, wenn man CPU-Kerneinsparungen und eine geringere Switch-Port-Nutzung berücksichtigt. In der Zwischenzeit,MCX653106A-HDAT zu verkaufenAnfragen benachbarter Teams – einschließlich HPC und Echtzeitanalysen – wurden bereits für den nächsten Beschaffungszyklus eingereicht.

Zusammenfassung & Ausblick

Die Bereitstellung bestätigt diesNVIDIA Mellanox MCX653106A-HDATist nicht nur ein Spezifikations-Upgrade, sondern ein Funktionssprung für latenzempfindliche und durchsatzbeschränkte Umgebungen. Durch die Verlagerung der Netzwerkverarbeitung von Software auf Hardware – über RoCE-Offloads, SR-IOV und GPUDirect-fähige Architektur – können Unternehmen deterministische Latenzzeiten im Mikrosekundenbereich erreichen und gleichzeitig CPU-Zyklen für die Anwendungslogik zurückgewinnen.

Während das Infrastrukturteam seinen Rollout auf mehr als 500 Knoten ausweitet, erforscht es auch die integrierte Inline-Verschlüsselung (IPsec/TLS) des Adapters für mandantenfähige Sicherheit und PTP (IEEE 1588v2) für Finanzdienstleistungs-Workloads. Für Ingenieure, die validierte Konfigurationen suchen, ist dieMCX653106A-HDAT-Spezifikationenund Referenzdesigns sind über das DOCA-Entwicklerportal von NVIDIA verfügbar. Dieser reale Fall macht eines deutlich: dieMCX653106A-HDAT ConnectX-Adapter PCIe-Netzwerkkarteerfüllt das Versprechen von Ethernet mit geringer Latenz und hohem Durchsatz für Rechenzentren der nächsten Generation.

Für eine ausführlichere technische Überprüfung wenden Sie sich bitte an den BeamtenMCX653106A-HDAT Datenblattoder wenden Sie sich an Ihren regionalen NVIDIA-Lösungsarchitekten.