NVIDIA Mellanox MCX631102AN-ADAT in Aktion: RDMA/RoCE Low-Latency Transport und Server Durchsatzoptimierung

NVIDIA Mellanox MCX631102AN-ADAT in Aktion: RDMA/RoCE Low-Latency-Transport und Server-Durchsatzoptimierung

Hintergrund & Herausforderungen: Der Latenz- und Durchsatzengpass in verteilten Speichersystemen

Ein mittelgroßer Cloud-Service-Anbieter, der einen verteilten Ceph-Speichercluster über 120 x86-Server betreibt, begann, eskalierende Leistungsprobleme zu erleben. Ihre bestehende 10GbE-Netzwerkinfrastruktur, die für die Inter-Node-Kommunikation auf TCP/IP angewiesen war, hatte Schwierigkeiten, mit wachsenden NVMe-basierten Speicherpools Schritt zu halten. Zu den Hauptsymptomen gehörten eine hohe CPU-Auslastung von über 45 % auf den Speicherknoten aufgrund der Verarbeitung von Netzwerkprotokollen, durchschnittliche Lese-/Schreiblatenzen, die während der Spitzenzeiten über 3 Millisekunden anstiegen, und eine erhebliche Lücke zwischen dem theoretischen Festplattendurchsatz und der tatsächlich netzwerkseitig gelieferten Leistung. Das Ingenieurteam erkannte, dass das Erreichen von Latenzen unter einer Millisekunde und die vollständige Freisetzung der NVMe-Leistung einen grundlegenden Wandel im Netzwerkansatz erforderten – insbesondere die Einführung von RDMA over Converged Ethernet (RoCE).

Lösung & Bereitstellung: Einführung der MCX631102AN-ADAT Ethernet-Adapterkartenlösung

Nach der Bewertung mehrerer Anbieteroptionen wählte das Team dieNVIDIA Mellanox MCX631102AN-ADATals Kernbestandteil für sein Netzwerk-Upgrade. DieMCX631102AN-ADAT ConnectX-6 Lx Dual-Port 25GbE SFP28Adapter wurde aufgrund seiner nativen RoCEv2-Unterstützung, der hardwarebasierten Staukontrolle und der nahtlosen Integration in ihre bestehende SFP28-Verkabelungsinfrastruktur ausgewählt.

Die Bereitstellungsstrategie wurde in drei Phasen aufgeteilt:

• Phase 1 (Pilot):16 Speicherknoten wurden mit derMCX631102AN-ADAT Ethernet-Adapterkarteausgestattet und ersetzten ältere 10GbE-NICs. Die Adapter wurden im Dual-Port Active-Active-Modus konfiguriert, wobei jeder Port für Redundanz mit einem Paar NVIDIA Spectrum-Switches verbunden war.
• Phase 2 (Optimierung):RoCEv2 wurde mit Priority Flow Control (PFC) und Explicit Congestion Notification (ECN) aktiviert, die zur Vermeidung von Netzwerkabbrüchen abgestimmt wurden. Das Team nutzte die Hardware-Offload-Engines des Adapters für NVMe-oF- und Erasure-Coding-Berechnungen.
• Phase 3 (Vollständige Einführung):Alle 120 Knoten wurden auf dieNVIDIA Mellanox MCX631102AN-ADATmigriert, wobei der Ceph OSD (Object Storage Daemon) Netzwerk-Stack neu konfiguriert wurde, um den RDMA-Transport zu nutzen.

Laut demMCX631102AN-ADAT-Datenblattbietet die PCIe 4.0 x8-Schnittstelle des Adapters eine ausreichende Bandbreite, um einen aggregierten Durchsatz von 50 Gbit/s zu bewältigen. Das Team verifizierte, dass dieMCX631102AN-ADAT-Spezifikationen– einschließlich einer Latenz von unter 0,6 Mikrosekunden und hardwarebasiertem Traffic Steering – perfekt mit ihren strengen Leistungsanforderungen übereinstimmten. Der Adapter erwies sich auch alsMCX631102AN-ADAT-kompatibelmit ihrer bestehenden Linux-Distribution (RHEL 9.2) und den Mellanox OFED-Treibern, was den Bereitstellungsprozess erheblich vereinfachte.

Ergebnisse & Vorteile: Messbare Gewinne bei Latenz und Durchsatz

Die Auswirkungen der Migration waren in den Produktionsmetriken sofort erkennbar. Zu den wichtigsten Verbesserungen nach der Bereitstellung gehören:

Über die Zahlen hinaus beobachtete das Team erhebliche betriebliche Verbesserungen. DieMCX631102AN-ADATermöglichte eine nahtlose Live-Migration von VMs, die latenzempfindliche Anwendungen ausführen, da der Netzwerk-Jitter auf vernachlässigbare Werte sank. Das hardwarebasierte NVMe-oF-Offload reduzierte die Speicherzugriffslatenz um zusätzliche 30 %, wodurch der Cluster gemischte Lese-/Schreib-Workloads mit konsistenten Antwortzeiten unter einer Millisekunde bewältigen konnte. Für Organisationen, die den Return on Investment berechnen, erwies sich derMCX631102AN-ADAT-Preisdurch den 2,3-fachen Durchsatzgewinn und die Möglichkeit, zusätzliche Serverkäufe um mindestens 18 Monate zu verschieben, als gerechtfertigt. Der Anbieter stellte außerdem fest, dassMCX631102AN-ADAT zum Verkaufüber Channel-Partner flexible Mengenrabatte für groß angelegte Bereitstellungen boten.

Darüber hinaus boten die integrierten Telemetrie- und Out-of-Band-Managementfunktionen des Adapters – detailliert imMCX631102AN-ADAT-Datenblatt– tiefe Einblicke in die Netzwerkintegrität, was ein proaktives Stau-Management und eine schnellere Ursachenanalyse bei der Behebung von Vorfällen ermöglichte.

Zusammenfassung & Ausblick: Eine strategische Grundlage für zukünftige Workloads

Diese reale Bereitstellung zeigt, dass dieNVIDIA Mellanox MCX631102AN-ADATweit mehr als ein einfaches Bandbreiten-Upgrade ist. Als speziell entwickelteMCX631102AN-ADAT Ethernet-Adapterkartenlösungfür RoCE-fähige Umgebungen eliminiert sie effektiv das Netzwerk als Leistungsengpass und schöpft das volle Potenzial moderner NVMe-Speicher und CPU-Architekturen aus. Die Kombination aus Dual-Port 25GbE-Durchsatz, umfassenden RDMA-Offloads und breiter Ökosystemkompatibilität positioniert diesen Adapter als strategische Investition für jede Organisation, die KI/ML-Pipelines, verteilte Datenbanken oder hyperkonvergente Infrastrukturen skalieren möchte.

Mit Blick auf die Zukunft erforscht das Team erweiterte Anwendungsfälle, einschließlich der NVIDIA DOCA-Integration für programmierbare Datenpfade und Zero-Touch-Provisionierung. Mit seiner nachgewiesenen Fähigkeit, Latenz zu reduzieren, den Durchsatz zu steigern und CPU-Ressourcen freizugeben, setzt dieMCX631102AN-ADATeinen neuen Maßstab für 25GbE-Serveradapter in Unternehmens- und Cloud-Umgebungen.