Technische Lösung von NVIDIA Mellanox MCX631432AN-ADAB: RDMA/RoCE-Transport mit geringer Latenz und Erhöhung des Serverdurchsatzes

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter. Es beschreibt, wie dieNVIDIA Mellanox MCX631432AN-ADABDer Serveradapter ermöglicht einen RDMA/RoCE-basierten Transport mit geringer Latenz und verbessert den Serverdurchsatz in modernen Rechenzentrumsumgebungen erheblich.

Herkömmliche TCP/IP-Netzwerke verursachen aufgrund der Protokollverarbeitung, des Datenkopierens und der Interrupt-Verarbeitung einen erheblichen CPU-Overhead. Da die Serverdichten zunehmen und Anwendungen wie verteilter Speicher (Ceph, vSAN), In-Memory-Datenbanken (Redis, Aerospike) und KI-Trainings-Frameworks eine Latenz im einstelligen Mikrosekundenbereich erfordern, werden herkömmliche Netzwerk-Stacks zu unüberwindbaren Engpässen. Zu den wichtigsten Anforderungen gehören: Speicherzugriffslatenz von unter 300 µs, CPU-Auslastung unter 10 % für die Netzwerkverarbeitung, Leitungsgeschwindigkeitsdurchsatz von 25 GbE pro Port und nahtlose Integration in die bestehende RoCE-fähige Switching-Infrastruktur.

Die vorgeschlagene Architektur verwendet eine nicht blockierende Spine-Leaf-Topologie mit RoCE v2-Unterstützung. Jeder Rechen- oder Speicherknoten ist damit ausgestattetHersteller (NVIDIA Mellanox) MCX631432AN-ADABAdapter, Anschluss an Leaf-Switches über 25GbE SFP28-Optik. Leaf-Switches führen DCQCN (Data Center Quantized Congestion Notification) für eine durchgängige Überlastungskontrolle aus. Die Steuerungsebene nutzt PFC (Priority Flow Control) nur für Warteschlangen mit Verlustpriorität, während die RDMA-Datenebene RoCE v2 mit IP-Routing verwendet, um Layer-3-Grenzen zu überwinden. Dieses Design eliminiert die Head-of-Line-Blockierung und gewährleistet eine deterministische Latenz über bis zu 2000 Knoten.

DerMCX631432AN-ADAB Ethernet-Adapterkartedient als kritischer Endpunkt für RDMA-Offloads. Es istMCX631432AN-ADAB ConnectX-6 Lx Dual-Port 25GbE SFP28Silicon integriert hardwarebasiertes RoCE, Tag-Matching und Out-of-Order-Paketassemblierung. Im Vergleich zu Software-iWARP oder Kernel-TCP reduziert der Adapter die Latenz um über 70 %. Für Architekten, die sich auf die beziehenMCX631432AN-ADAB DatenblattZu den wichtigsten Offloads gehören:

• RoCE v2-Hardware-Offload:Datenverschiebung ohne Kopie, Port-zu-Port-Latenz von unter 600 ns.
• FlexFlow-Lenkung:Programmierbarer Paketparser für die granulare Flussverteilung.
• Inline-Krypto-Engines:IPsec/TLS mit Leitungsgeschwindigkeit ohne CPU-Beteiligung.
• Telemetrie & ECN-Markierung:Echtzeit-Sichtbarkeit von Staus über SPIFFY-Zähler.

Bei der BewertungMCX631432AN-ADAB-SpezifikationenBeachten Sie, dass die Karte sowohl 25-GbE- als auch 10-GbE-Geschwindigkeiten unterstützt, was schrittweise Migrationen ermöglicht. Darüber hinaus ist dieMCX631432AN-ADAB kompatibelDas Ökosystem umfasst alle großen Serveranbieter und vereinfacht so die Qualifizierung.

Eine typische zweistufige Topologie für einen Cluster mit 500 Knoten: Jedes Rack enthält 20 Server, von denen jeder mit einem Server ausgestattet istNVIDIA Mellanox MCX631432AN-ADAB(beide Ports aktiv für Redundanz oder Bandbreitenaggregation). Leaf-Switches werden über 25-GbE-SFP28-DAC-Kabel (bis zu 5 m) oder AOC-Optik für größere Entfernungen mit Servern verbunden. Spine-Layer verwendet 100-GbE-Uplinks, um eine 4:1-Überbuchung aufrechtzuerhalten. Weisen Sie für den Speicherdatenverkehr mit RoCE einen Port pro Adapter dem Ceph-Backend-Datenverkehr zu und reservieren Sie den zweiten Port für rechenorientierte Arbeitslasten. Eine Skalierung über 2000 Knoten hinaus erfordert ein dreistufiges Super-Spine-Design mit BGP-EVPN für die RoCE-Routenausbreitung. Architekten sollten sich an die wendenMCX631432AN-ADAB Ethernet-AdapterkartenlösungLeitfaden für detaillierte Verkabelungsmatrizen und Energiebudgetierung.

Nach der Bereitstellung sollten die Betriebsteams NVIDIAs aktivierenmlx5ctlUndethtoolfür Echtzeit-Portstatistiken. Wichtige zu überwachende Metriken: RoCEv2-Übertragungspausen (die auf PFC-Stürme hinweisen), ECN-markierte Paketverhältnisse und thermische Messwerte des Adapters. Überprüfen Sie dies, um Probleme mit hoher Tail-Latenz zu behebenDCQCN-Parameter(Alpha, Beta und Ratenreduktionsfaktor) richten sich nach den Switch-Pufferprofilen. Benutzen Sie dieMCX631432AN-ADAB Datenblattum erweiterte Zähler wie „out_of_seq“ und „retransmissions“ zu interpretieren. Stellen Sie Automatisierungsskripte für regelmäßige Dumps bereit/sys/class/infiniband/mlx5_*/ports/*/counters/. Zur Kostenplanung können Beschaffungsteams herangezogen werdenMCX631432AN-ADAB PreisSchätzungen und KontrolleMCX631432AN-ADAB zu verkaufenAngebote über autorisierte Händler; Mengenpreise sind für Bestellungen ab 100 Einheiten verfügbar.

DerMCX631432AN-ADABbietet ein überzeugendes Wertversprechen: Speicherlatenz von unter 300 µs, weniger als 5 % CPU-Overhead für 25-GbE-Line-Rate-Verkehr und vollständige RoCE v2-Offloads ohne Anwendungsänderungen. Durch den Ersatz veralteter TCP-Stacks durch RDMA-Transport können Unternehmen bis zu 30 % der Kernkapazität für geschäftskritische Arbeitslasten zurückgewinnen. Im Vergleich zu konkurrierenden 25-GbE-Adaptern bietet die ConnectX-6 Lx-Architektur überlegene programmierbare Pipelines und Telemetrietiefe. Diese technische Lösung wurde in Produktionsumgebungen validiert, die Cloud-Speicher, HPC-Simulation und Echtzeitanalysen umfassen. Für Teams, die bereit sind, 25GbE-RoCE-Fabrics einzuführen, ist dieNVIDIA Mellanox MCX631432AN-ADABstellt eine zukunftssichere, kostengünstige Grundlage für Servernetzwerke mit geringer Latenz und hohem Durchsatz dar.