NVIDIA Mellanox MCX653106A-HDAT Server-Adapter Technisches Whitepaper

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter und bietet eine umfassende Referenz für die Konzeption und Bereitstellung von Hochleistungs-Datenzentren mit geringer LatenzzeitNVIDIA Mellanox MCX653106A-HDATServer-NIC mit Schwerpunkt auf RDMA/RoCE-Transport und messbaren Serverdurchsatzsteigerungen.

Moderne Rechenzentrums-Workloads – einschließlich NVMe-oF-Speichermaschinen, verteiltem KI-Training, Hochfrequenzhandel und Echtzeit-Analysen – stellen extreme Anforderungen an die Netzwerkinfrastruktur.Traditionelle TCP/IP-Stackverarbeitung führt zu drei grundlegenden Engpässen: hoher CPU-Overhead (oft über 50% der Kernzyklen), variable Latenzzeit aufgrund von Kernel-Bypass-Einschränkungen und reduzierter effektiver Durchsatz durch Protokollverarbeitung.Organisationen benötigen eine Lösung, die eine Bandbreite mit einer Bandbreite von unter einer Mikrosekunde liegen lässt und gleichzeitig CPU-Ressourcen für die Anwendungslogik freisetztZu den wichtigsten Anforderungen gehören Hardware-offloaded RDMA, verlustfreier RoCE-Transport, nahtlose Integration mit bestehenden Ethernet-Fabrics,und umfassende Betriebstools für Überwachung und Fehlerbehebung.

Die vorgeschlagene Architektur verwendet eine zweistufige Clos-Topologie, die für den RoCE-Transport optimiert ist.Erweiterte Übertragungsauswahl) konfiguriert, um ein verlustfreies Verhalten für den RDMA-Verkehr zu gewährleisten. Spine-Switches ermöglichen eine nicht blockierende Kommunikation zwischen jedem und jedem über den Stoff.MCX653106A-HDAT-Ethernet-Adapterkarte, der sich über zwei 100GbE-Ports in aktiver-aktiver Bindung mit Leaf-Switches verbindet.Die Architektur trennt den RDMA-Verkehr (spezielle Prioritätswarteschlange mit aktiviertem PFC) vom regulären TCP/IP-Verkehr (Best-Effort-Warteschlange)Die VLAN-Segmentierung isoliert RDMA-Domänen, während Routing die Kommunikation zwischen Subnetzen übernimmt, wenn erforderlich.

DieMCX653106A-HDAT ConnectX Adapter PCIe-Netzwerkkarteist die Grundlage dieser Lösung. Er basiert auf der ConnectX-6-Architektur mit PCIe 4.0 x16-Host-Schnittstelle,Es liefert einen Durchsatz von 100 GbE (oder 200 GbE) mit zwei Anschlüssen mit einer Latenzzeit von unter 600 ns bei RDMA-Arbeitsauflagen.Zu den wichtigsten Merkmalen, die in diesem Entwurf genutzt werden, gehören:

• Hardware RDMA und RoCE Offload:Vollständige Entladung von RDMA-Verben, die die Einbeziehung der Host-CPU für die Datenbewegung eliminiert.
• NVMe-oF-Beschleuniger:Hardware-Logik, die NVMe-Befehle beschleunigt und die Latenzzeit für den Speicherzugriff im Vergleich zu Software-Zielen um über 80% reduziert.
• Programmierbarer Datenweg (ASAP2):Ermöglicht flexible Paketverarbeitung und Ablastung von Überlagerungsnetzen (VXLAN, GENEVE).
• Multi-Host und GPU Direct RDMA:Direkte Peer-to-Peer-Kommunikation zwischen GPUs über Knoten hinweg ohne CPU-Eingriff ist für KI-Cluster von entscheidender Bedeutung.
• Telemetrie und Überlastungskontrolle:Hardwarebasierte Durchflussüberwachung, ECN-Kennzeichnung und dynamische Ratenbegrenzung.

Ingenieure überprüfen dieDatenblatt MCX653106A-HDATEs wird die Unterstützung sowohl für Standard- als auch für OCP 3.0-Formfaktoren, die umfassende Betriebssystemabdeckung (Linux-Distributionen mit MLNX_OFED, Windows, ESXi) und die breite Serverkompatibilität beachten.MCX653106A-HDAT-SpezifikationenSie bestätigen außerdem einen maximalen Stromverbrauch von 75 Watt und Betriebstemperaturen von 0 °C bis 55 °C, die für Einsätze mit hoher Dichte geeignet sind.

Der Einsatz erfolgt stufenweise.

Einsatzschritte:

1. Schritt 1: Validierung:Bestätigen.MCX653106A-HDAT kompatibelSie können die Kompatibilitäts-Matrix aus demDatenblatt MCX653106A-HDAT.
2. Schritt 2  Installation des Treibers:Bereitstellung des MLNX_OFED-Treiberpakets (mindestens Version 5.8) für alle Knoten.
3. Schritt 3: Konfiguration des Gewebes:Aktivieren Sie PFC (Priorität 3 für RDMA) und ETS auf Leaf-Switches.
4. Schritt 4 RoCE-Einrichtung:Konfigurieren Sie jedeMCX653106A-HDAT-Ethernet-Adapterkartemit RoCE v2 (routierbar) oder v1 (nichtroutierbar). Setzen Sie den GID-Modus auf RoCE v2 mit IPv4-Adressing.
5. Schritt 5  Überprüfung:Führen Sie ib_write_bw und ib_send_lat Tests zwischen Knoten aus, um Bandbreite und Latenz zu überprüfen.PerfektionierungundMlx_perf.

Für die Skalierung über 16 Knoten hinaus, Übergang zu einer Spine-Leaf-Topologie mit redundanten Spine-Switches, die bis zu 128 Knoten unterstützen.MCX653106A-HDAT Ethernet-AdapterkartenlösungSie wird linear ohne Stoffrekonfiguration skaliert, da RoCE ECMP für die Lastverteilung über mehrere Pfade verwendet.

Der effektive Betrieb von RDMA/RoCE-Umgebungen erfordert spezialisierte Werkzeuge.

• Überlastungserkennung:Überwachen Sie PFC-Pause-Frames pro Port mit Switch-Telemetrie (z. B. Mellanox SHARP).
• Leistungsbasis:VerwendungMlx5cmdundEthtool -SEr wird die RDMA-Zähler pro Warteschlange sammeln, Ausfall- und Wiederübertragungen nachverfolgen.
• ECN und DCQCN Tuning:Aktivieren Sie die explizite Überlastungsbenachrichtigung (ECN) auf Schaltern und konfigurieren Sie die Dynamic Congestion Control (DCQCN) -Parameter auf demDie in Absatz 1 genannten Vorschriften gelten für die in Absatz 1 genannten Fahrzeuge.Fahrer (z. B.dcqcn_r_ai=40,dcqcn_r_hai=10)
• Loganalyse:Überprüfung/var/log/Nachrichtenfür RDMA-Verbindungsfehler (z. B. ¢mlx5_core: konnte QP nicht erstellt werden). Überprüfen Sie, ob die GID-Indizes zwischen den Endpunkten übereinstimmen.
• Firmware-Updates:Regelmäßige Aktualisierung der NIC-Firmware überMlxfwmanager. DieMCX653106A-HDAT-SpezifikationenIch empfehle eine Firmware-Baseline von xx.36.1010 oder höher für eine optimale RoCE-Leistung.
• Kapazitätsplanung:Für Organisationen, dieMCX653106A-HDAT PreisundMCX653106A-HDAT zum VerkaufVolumenrabatte, Projektwachstumsraten für den RDMA-Verkehr und Plan-Leaf-Switch-Überabonnementquoten (typischerweise 3:1 für Lagerstoffe).

Ein häufiges Szenario zur Fehlerbehebung: Eine einseitige hohe Latenz mit null Paketverlusten zeigt häufig auf falsch konfigurierte ECN-Schwellenwerte oder asymmetrische PFC-Einstellungen.Mlx_qosÜberprüfung der Zuverlässigkeitsmodus- und DSCP-Prioritätsverknüpfungen für alle Netzelemente.

DieNVIDIA Mellanox MCX653106A-HDATServer-NIC bietet eine produktionsfähige Basis für den Einsatz leistungsstarker RDMA/RoCE-Netzwerke.

• Leistung:Bis zu 200 Gbit/s Durchsatz pro Adapter mit einer Latenzzeit von unter einer Mikrosekunde, was eine Skalierung von Speichern und verteilte Rechenarbeitslasten ermöglicht, die bisher durch TCP-Overhead begrenzt waren.
• Effizienz:Hardware-Offloads reduzieren den netzwerkbezogenen CPU-Verbrauch von > 50% auf weniger als 15%, wodurch Kerne für die Anwendungsverarbeitung freigegeben werden.
• TCO:DieMCX653106A-HDAT Ethernet-AdapterkartenlösungBei der Beurteilung derMCX653106A-HDAT Preis, betrachten wir die Rückzahlungsfrist von 9-12 Monaten allein aus Effizienzsteigerungen.
• Zukunftsbereitschaft:Die Unterstützung von PCIe 5.0 (zurückwärtskompatibel) und die Programmierbarkeit über DOCA sorgen für den Investitionsschutz, da die Datenzentrumsgeschwindigkeiten auf 200/400GbE migrieren.

Für Architekten, die ein in der Produktion geprüftes Designmuster suchen, lässt sich diese Lösung nahtlos in bestehende Ethernet-Operationen integrieren und gleichzeitig das volle Potenzial von RDMA freisetzen.Datenblatt MCX653106A-HDATFür die Beschaffungsanleitung, einschließlich der aktuellenMCX653106A-HDAT PreisundMCX653106A-HDAT zum VerkaufKontakt mit autorisierten NVIDIA Mellanox Vertriebspartnern.