Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter Technisches Whitepaper

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsmanager. Es konzentriert sich auf den Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Serveradapter und zeigt, wie mit RDMA/RoCE-Technologie latenzarme, hochdurchsatzfähige Rechenzentrumsnetzwerke aufgebaut werden können. Das Papier behandelt Architekturdesign, wichtige technische Merkmale, Bereitstellungs- und Skalierungsstrategien sowie Betrieb und Überwachung und bietet umsetzbare Anleitungen für die reale Implementierung.

Moderne Rechenzentren stehen vor drei Kernherausforderungen: Die CPU wird zu einem Netzwerkhindernis, übermäßige Latenz beim Speicherzugriff und unkontrollierbare Kommunikationsüberlastung für verteilte Anwendungen. Der traditionelle TCP/IP-Protokollstapel verbraucht über 30 % der CPU-Ressourcen für die Protokollverarbeitung und Datenkopierung während der parallelen Großkommunikation, was den effektiven Serverdurchsatz erheblich reduziert. Gleichzeitig erfordern Anwendungen wie NVMe over Fabrics, verteilte Machine-Learning-Frameworks (z. B. NCCL) und In-Memory-Datenbanken eine End-to-End-Latenz von unter 20 Mikrosekunden. Dringend benötigt wird eine Lösung, die den Kernel umgeht und eine Hardware-Transport-Offload bietet – genau das Problem, das der MCX623106AN-CDAT in Kombination mit RoCE-Technologie löst.

Diese Lösung verwendet eine zweischichtige Spine-Leaf-Topologie. Alle Rechen- und Speicherknoten sind mit dem NVIDIA Mellanox MCX623106AN-CDAT Ethernet-Adapter ausgestattet. Leaf-Switches sind für den verlustfreien RoCE-Betrieb konfiguriert und ermöglichen PFC (Priority Flow Control) und ECN (Explicit Congestion Notification) mit einer dedizierten Prioritätswarteschlange für RoCE-Verkehr. Wichtige Designprinzipien sind:

• Trennung von Steuerungs- und Datenebene: RoCE-Datenflüsse werden vollständig von der Hardware auf dem Adapter verarbeitet, während Protokolle (z. B. ARP, DHCP) weiterhin den traditionellen Pfad folgen.
• Einheitliches Fabric: Ethernet transportiert sowohl Standard-TCP/IP- als auch RoCE-Verkehr, wobei die QoS-Isolation durch DSCP-Markierung erreicht wird.
• End-to-End-Überlastungsmanagement: Basierend auf dem DCQCN-Algorithmus wird ein geschlossener Regelkreis zwischen Quelladaptern und Switches etabliert.

Die MCX623106AN-CDAT Ethernet-Adapterkarte spielt in jedem Serverknoten eine entscheidende Rolle. Ihr Dual-Port-100GbE-Design kann für Redundanz mit verschiedenen Leaf-Switches verbunden werden oder eine physische Trennung zwischen Speicher- und Rechenverkehr ermöglichen.

Als Kernkomponente der Datenebene dieser Lösung bietet die MCX623106AN-CDAT ConnectX-Adapter-PCIe-Netzwerkkarte folgende entscheidende Fähigkeiten:

• Hardware RoCE Offload Engine: Verarbeitet die Transportprotokollverarbeitung (Segmentierung, Wiederzusammensetzung, Bestätigung, Neuübertragung) ohne Eingriff der Host-CPU.
• Dynamische ConnectX-Offloads: Verteilt automatisch Multi-Queue-Verkehr und verbessert den Durchsatz auf Multi-Core-Servern.
• PCIe 4.0 x16 Host-Schnittstelle: Theoretische Bandbreite von 256 Gbit/s, die keine Engpässe für die Leitungsgeschwindigkeitsweiterleitung gewährleistet.
• Erweiterte Speicher-Offloads: Unterstützt Hardwarebeschleunigung für NVMe over Fabrics, einschließlich Namespace-Lookup und Datenintegritätsprüfungen.

Laut dem MCX623106AN-CDAT Datenblatt und den öffentlich verfügbaren MCX623106AN-CDAT Spezifikationen erreicht dieser Adapter eine Port-zu-Port-Latenz von unter 600 Nanosekunden und unterstützt Paketverarbeitungsraten von bis zu 200 Millionen Paketen pro Sekunde. Für Teams, die Kosten bewerten, ist der MCX623106AN-CDAT Preis unter vergleichbaren 100GbE RoCE-Adaptern sehr wettbewerbsfähig, und MCX623106AN-CDAT zum Verkauf ist über Standardvertriebskanäle erhältlich. Vor der Auswahl ist es ratsam, zu bestätigen, dass die Servermodelle auf der MCX623106AN-CDAT kompatibel Liste aufgeführt sind – Mainstream-OEM-Plattformen wurden alle validiert.

Beschreibung der typischen Topologie:
Eine Clos-Architektur, bestehend aus 2 Spine-Switches und 4 Leaf-Switches. Jeder Serverknoten ist mit einem MCX623106AN-CDAT ausgestattet, wobei beide 100GbE-Ports mit zwei verschiedenen Leaf-Switches verbunden sind. Leaf-Uplink-Ports verbinden sich mit den Spines mit einem Überschreibungsverhältnis von 4:1. Ein dediziertes VLAN wird für RoCE-Verkehr verwendet.

Schritte zur Bereitstellung:

• Schritt 1: Installieren Sie den MCX623106AN-CDAT physisch in einen PCIe 4.0 x16-Steckplatz und installieren Sie dann die neueste Firmware und den NVIDIA MLNX_OFED-Treiber.
• Schritt 2: Konfigurieren Sie auf den Switches PFC (empfohlen Priorität 3) und ECN (Kmin/Kmax einstellen) für RoCE-Verkehr.
• Schritt 3: Aktivieren Sie auf dem Betriebssystem den RoCEv2-Modus und konfigurieren Sie die DCQCN-Parameter (Anfangswerte: α=1, β=1, Timer-Periode 100 μs).
• Schritt 4: Verwenden Sie die Tools ib_write_bw und ib_write_lat, um die Leistungsbasis zu überprüfen.

Skalierungsempfehlungen: Wenn der Cluster über 500 Knoten hinaus skaliert, sollten Sie die Flusskontrolle (PPC) und die QoS-Zuordnungstabellen des Adapters aktivieren und mehrere RoCE-Prioritäten verwenden, um Head-of-Line-Blocking zu vermeiden.

Betriebsteams können die folgenden Tools verwenden, um den Zustand der MCX623106AN-CDAT Ethernet-Adapterkartenlösung zu überwachen:

• mlxconfig / mlxfwmanager: Konfigurieren Sie Firmware-Parameter und verwalten Sie Firmware-Upgrades.
• ethtool -S: Zeigen Sie RoCE-Sende-/Empfangszähler und PFC-Pause-Frame-Zähler an.
• ibdiagnet: Führen Sie umfassende RoCE-Netzwerkdiagnosen durch, um unnötige PFC-Stürme zu erkennen.
• Telemetrie und HIST: Nutzen Sie die integrierten historischen Latenzverteilungstabellen auf dem Adapter, um Tail-Latenz-Anomalien zu identifizieren.

Häufige Fehlerbehebung:

• Durchsatz unter den Erwartungen: Überprüfen Sie den PCIe-Aushandlungsstatus (sollte Gen4 x16 sein) und stellen Sie sicher, dass die MTU einheitlich auf 9000 Jumbo-Frames eingestellt ist.
• RoCE-Verbindungsfehler: Überprüfen Sie die DSCP-Zuordnung und die VLAN-Konfiguration und stellen Sie sicher, dass der Switch keine RoCE-markierten Pakete verwirft.
• Hohe CPU-Auslastung: Dies kann darauf hindeuten, dass der Hardware-Offload nicht aktiviert ist; überprüfen Sie die ethtool-Offload-Einstellungen.

Optimierungsempfehlungen: Für extrem latenzempfindliche Anwendungen (z. B. Hochfrequenzhandel, RDMA-Log-Replikation) sollten Sie den RoCE-Diensttyp von "verbunden" auf "Datagramm" ändern und die Überlastungssteuerung deaktivieren.

Die RDMA/RoCE-Lösung auf Basis des MCX623106AN-CDAT reduziert die End-to-End-Latenz für verteilte Anwendungen um eine Größenordnung (von Hunderten von Mikrosekunden auf Zehntel von Mikrosekunden), ohne die bestehende Ethernet-Infrastruktur zu ersetzen, und gibt gleichzeitig 20-30 % der CPU-Rechenressourcen frei. Für Szenarien wie KI-Training, hyperkonvergente Speicherung und Echtzeitanalysen führt dies direkt zu kürzeren Jobabschlusszeiten und höherer Serverdichte. Als vollständige MCX623106AN-CDAT Ethernet-Adapterkartenlösung zeigt sie, dass "verlustfreies Ethernet + Smart NIC" ein gangbarer Weg ist, um sowohl hohen Durchsatz als auch geringe Latenz zu erreichen. Weitere technische Details oder das MCX623106AN-CDAT Datenblatt finden Sie in der offiziellen NVIDIA-Dokumentation oder kontaktieren Sie ein Lösungsarchitekturteam.