NVIDIA Mellanox MCX556A-ECAT Technische Lösung: RDMA/RoCE für Low-Latency-Transport und Server-Durchsatzoptimierung

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter.NVIDIA Mellanox MCX556A-ECATDie Datenbank bietet einen systematischen Rahmen für den Aufbau leistungsfähiger und langfristiger Rechenzentrumsnetzwerke mit RDMA- und RoCE-Technologie.

Moderne Rechenzentrums-Workloads, einschließlich verteilter Speicher (Ceph, Lustre), Datenbanken im Speicher (Redis, Aerospike) und KI-Trainingsrahmen, erfordern sowohl hohen Durchsatz als auch eine Latenzzeit von unter einer Millisekunde.Traditionelle TCP/IP-Stacks führen zu erheblichen CPU-Overheads, Kontextwechsel und Datenkopierung, die als Engpässe gelten, wenn die Netzwerkgeschwindigkeiten 100 Gb/s und darüber hinaus erreichen.CPU-Auslastung (Verringerung der Auslastung des Hostprozessors), ultra-niedrige und vorhersehbare Latenzzeit (insbesondere für die Tail-Latenzzeit), verlustfreier Transport für Speicherprotokolle (NVMe-oF, iSER) und nahtlose Integration in die vorhandene Ethernet-Infrastruktur.Die in Absatz 1 genannte Angabe ist nicht anwendbar.Die Kommission wird sich mit der Frage befassen.

Die empfohlene Architektur verwendet eine zweistufige Leaf-Spine-Topologie mit verlustfreiem Ethernet, das für den Transport von RoCE (RDMA über konvergiertes Ethernet) konfiguriert ist.Alle Rechen- und Speicherknoten sind mit demMCX556A-ECAT Ethernet-Adapterkarte, die über 100GbE QSFP28-Verbindungen mit Leaf-Switches verbunden sind.

• Trennung von Steuerung und Datenebene:RoCEv2 verkapselt RDMA in UDP/IP und ermöglicht das Routen über die Grenzen der Schicht 3.
• Prioritätsflusssteuerung (PFC):Ermöglicht verlustfreies Verhalten für RDMA-Verkehrsklassen.
• Verstärkte Übertragungswahl (ETS):Garantiert Bandbreite für latenzempfindliche Flüsse.
• Überlastungsbenachrichtigung:Verwendung von DCQCN (Data Center Quantized Congestion Notification) für die End-to-End-Flusssteuerung.

Die Architektur unterstützt sowohl bare-metal als auch virtualisierte Umgebungen, wobei SR-IOV den direkten Übergang virtueller Funktionen zu VMs ermöglicht.

AlsMCX556A-ECAT ConnectX Adapter PCIe-NetzwerkkarteDer Hardware-basierte Offload-Engine umgeht den Kernel und ermöglicht eine direkte Datenübertragung von Speicher zu Speicher.

Für Teams, die dieDatenblatt MCX556A-ECATundSpezifikationen MCX556A-ECAT, beachten Sie, dass der Adapter sowohl PCIe 3.0 als auch 4.0 (x16) unterstützt, was eine Rückwärtskompatibilität mit bestehenden Servern gewährleistet und gleichzeitig einen Migrationsweg zu Plattformen der nächsten Generation bietet.

Eine Referenzbereitstellung für einen mittelgroßen Cluster (bis zu 200 Knoten) wird nachstehend beschrieben.Die in Absatz 1 genannte Angabe ist nicht anwendbar.ist in den PCIe-Slots jedes Servers installiert und verfügt über eine Dual-Port-Konnektivität für Redundanz und Bandbreitenaggregation.

• Physikalische TopologieZwei Wirbelsäulen-Schalter, vier Blattschalter. Jedes Blatt verbindet sich mit allen Wirbelsäulen (Full Mesh). Jeder Server verbindet sich mit zwei Blättern (Aktiv-Aktive Bindung).
• RoCE-Konfiguration:Dedicated VLAN für RoCE-Verkehr. DSCP-basierte QoS-Kennzeichnung (z. B. DSCP 46 für RDMA). PFC aktiviert bei Priorität 3.
• Buffermanagement:Konfiguration von verlustfreien Kopfraumpuffern pro Port basierend auf der Hin- und Rückfahrtzeit und der Verbindungsdistanz.
• Anschrift:Verwenden Sie statische IP-Zuteilungen oder DHCP-Reservierungen für RDMA-Schnittstellen.

Skalierung über 200 Knoten hinaus: Einführung einer Super-Spin-Schicht und Bereitstellung von BGP-EVPN für die Erweiterung der Schicht 2 über mehrere Pods.Kompatibel mit MCX556A-ECATBei der Bewertung von Optik und Kabeln von qualifizierten Anbietern (z.B. Mellanox, FS.com)MCX556A-ECAT-PreisBei Großbeschaffungen ist eine gebündelte Preisgestaltung mit Schaltern und Optiken zu berücksichtigen.

Ein effektiver Betrieb eines auf RoCE basierenden Gewebes erfordert eine proaktive Überwachung und spezielle Werkzeuge:

• Leistungsüberwachung:VerwendungmlxlinkundEthtoolfür Linkstatistiken (BER, FEC-Fehler).MCX556A-ECAT Ethernet-Adapterkartenlösungumfasst Telemetrie über PCM (Performance Counters Monitor).
• Feststellung von Staus:Überwachen Sie ECN-markierte Pakete und PFC-Pause-Frames mithilfe von Switch-Telemetrie (z. B. Mellanox SNMP MIBs).
• Firmware- und Treiberverwaltung:Regelmäßig auf die neuesten Versionen von NVIDIA OFED aktualisieren.mstflintfür die Firmwarevalidierung.
• Häufige Fehlerbehebung:Für RDMA-Verbindungsfehler überprüfen Sie die Konsistenz der MTU, die VLAN-Mitgliedschaft und die DSCP-CoS-Mapping.- Das ist nicht nötig.undRdma Link Showum den Zustand des Geräts zu überprüfen.
• Tipps zur Optimierung:Tune DCQCN Parameter (Alpha, Beta, Rate Increase Timer) basierend auf der Arbeitsbelastung. Für Speicher-Arbeitsbelastungen erhöhen Sie die Abschlusswartengröße. Für die KI-Ausbildung aktivieren Sie GPUDirect RDMA und Pin-Speicher.

Für die Kapazitätsplanung sieheDatenblatt MCX556A-ECATDer Adapter ist weit verbreitet und bietet eine hohe Leistungsfähigkeit.MCX556A-ECAT zum Verkaufüber autorisierte Händler, einschließlich Ersatzteilprogrammen.

DieDie in Absatz 1 genannte Angabe ist nicht anwendbar.erbringt einen messbaren Wert in drei Dimensionen:Leistung(bis zu 90% Verringerung der Anwendungslatenz, 4-fache Durchsatzsteigerung),Effizienz(70% CPU-Auslastung, geringere Leistung pro Gb/s) undGesamtbetriebskosten(konsolidierte Infrastruktur, reduzierte Serverzahl, geringere Kühlkosten).NVIDIA Mellanox MCX556A-ECATFür Rechenzentren der nächsten Generation, die KI, HPC oder softwaredefinierte Speicherung umfassen, können die Ergebnisse von Rechenzentren, die als Teil einer RoCE-basierten Lösung verwendet werden, je nach Arbeitslastintensität innerhalb von 6 – 12 Monaten erwartet werden.Dieser Adapter stellt eine bewährte, eine skalierbare Stiftung.Datenblatt MCX556A-ECATund validierenKompatibel mit MCX556A-ECATKonfigurationen mit Ihrem Switch-Anbieter.