NVIDIA Mellanox MCX4121A-ACAT Server Adapter Technisches Whitepaper ♪ RDMA/RoCE Low-Latency Transport & Server

NVIDIA Mellanox MCX4121A-ACAT Server Adapter Technisches Whitepaper. RDMA/RoCE Niedrigverzögerungstransport und Serverdurchsatzoptimierung

1. Projekthintergrund und Bedarfsanalyse

Moderne Rechenzentren stehen unter unermüdlichem Druck, immer anspruchsvollere Arbeitslasten zu unterstützen, von AI/ML-Ausbildung und Hochfrequenzhandel bis hin zu verteilten Datenbanken und NVMe-over-Fabrics-Speicherung.Während 25GbE-Ethernet zum Mainstream-Standard für die Zugangsschicht geworden ist, finden viele Organisationen, dass die Rohbandbreite allein nicht auf die Anwendungsleistung übersetzt.unvorhersehbare LatenzzeitFür latenzempfindliche und durchsatzhungrige Anwendungen wird das Netzwerkuntersystem oft das schwächste Glied.

Dieses Weißbuch befasst sich mit diesen Herausforderungen durch eine umfassendeNVIDIA Mellanox MCX4121A-ACATDer neue Server-Adapter ist für Unternehmen konzipiert, die das volle Potenzial der 25GbE-Infrastruktur nutzen möchten.MCX4121A-ACAT Ethernet-Adapterkartekombiniert Dual-Port 25GbE-Konnektivität mit Hardware-beschleunigter RDMA über konvergiertes Ethernet (RoCE). Die Lösung hat drei Hauptziele: (1) Verringerung der Applikationslatenz auf unter 10 μs,(2) Verringerung der CPU-Netzwerkverarbeitungskosten um mehr als 80%, und (3) ermöglicht eine nahtlose Skalierbarkeit von wenigen Knoten bis zu Hunderten ohne architektonische Nacharbeit.

2. Gesamter Netzwerk- und Systemarchitekturentwurf

Die empfohlene Architektur verwendet eine Leaf-Spin-Topologie mit 25GbE als Serverzugangssschicht und 100GbE-Uplinks zur Spine.MCX4121A-ACAT ConnectX-4 Lx Doppelanschluss 25GbE SFP28Die Architektur basiert auf drei Grundprinzipien:

• Verlustfreies Ethernet-Gewebe:Nutzung von RoCE v2 mit PFC (Priority Flow Control) und ECN (Explicit Congestion Notification) zur Beseitigung von Paketabfällen und zur Gewährleistung deterministischer Latenzzeit.
• Hardware wird überall abgeladen:Abladen der Transport-Layer-Verarbeitung including Checksum, Segmentierung und RDMA zum Adapter, wodurch CPU-Zyklen für Geschäftsanwendungen freigegeben werden.
• Aktive-Aktive Redundanz:Verwendung beider SFP28-Ports im Linkaggregation (LACP) -Modus für 50 Gb/s Gesamtbandbreite und automatischen Failover.

Die Lösung ist vollständigKompatibel mit MCX4121A-ACATfür die Speicherung unterstützt die Architektur NVMe-oF über RoCE,Ermöglicht gemeinsame, aufgeschlüsselte Speicherung mit Latenzzeiten, die sich lokalen NVMe-Laufwerken nähern.

3Die Rolle und die wichtigsten Eigenschaften des NVIDIA Mellanox MCX4121A-ACAT

Als grundlegender Bestandteil dieser Lösung ist dieNVIDIA Mellanox MCX4121A-ACAThat drei wichtige Funktionen:

Schlüsselspezifikationen aus demDatenblatt MCX4121A-ACATDiese Daten können in Form von PCIe 3.0 x8-Host-Schnittstellen, umfassenden Offloads (Checksum, LSO/LRO, VLAN Stripping/Insertion) und fortgeschrittener Telemetrie pro Port erfasst werden.Energieeffizienz des Adapters (< 10W typisch) und breite Unterstützung des Betriebssystems (Linux), Windows, VMware ESXi) machen es zu einem vielseitigen Baustein für heterogene Umgebungen.

4. Empfehlungen für den Einsatz und die Skalierung

Für Greenfield-Bereitstellungen empfehlen wir eine zweistufige Leaf-Spin-Topologie mit 25GbE-Zugang und 100GbE/400GbE-Spin-Uplinks.MCX4121A-ACAT Ethernet-AdapterkarteDer RoCE-Fabrik erfordert eine konsistente QoS-Konfiguration über alle Schalter hinwegPFC-Kennzeichnung für die Prioritätsstufe 3 und ECN-Kennzeichnung für die gleiche VerkehrsklasseWir empfehlen, ein dediziertes VLAN für den RoCE-Verkehr zu vergeben, um die Überwachung und Fehlerbehebung zu vereinfachen.

Für Braunfield-Umgebungen werden dieMCX4121A-ACAT Ethernet-AdapterkartenlösungDa der Adapter rückwärtskompatibel mit 10GbE SFP+-Optiken ist, kann die vorhandene Verkabelung während des schrittweisen Upgrades auf 25GbE wiederverwendet werden.Der Adapter unterstützt auch das Standard-Ethernet-Switching ohne obligatorische RoCE-Aktivierung, so dass die Teams die Hardware zuerst bereitstellen und RDMA-Fähigkeiten stufenweise aktivieren können, wenn der Stoff reif wird.

Die Skalierung der Lösung ist einfach: Zusätzliche Knoten werden einfach mit dem gleichenMCX4121A-ACAT zum VerkaufFür Cluster, die mehr als 100 Knoten umfassen, werden die neuen Endpunkte automatisch über LLDP und DCBx-Verhandlungen angepasst.Wir empfehlen, einen speziellen RoCE-Überlastungsmanagementcontroller einzusetzen (e.g., NVIDIA Spectrum-Switches mit integrierter Telemetrie) zur Aufrechterhaltung eines verlustfreien Verhaltens im Maßstab.

5. Betrieb, Überwachung, Fehlerbehebung und Optimierung

Ein effektiver Betrieb des RoCE-Gewebes erfordert eine mehrschichtige Überwachungsstrategie:

• Telemetrie auf Adapterebene:DieSpezifikationen für MCX4121A-ACATDie Datenbank enthält auch Zähler pro Port für PFC-Frames, ECN-markierte Pakete und abgelehnte Frames.Mlx5cmdoder die NVIDIA-Firmware-Tools, um diese auf Prometheus/Grafana zu exportieren.
• Überwachung auf Schaltebene:Überwachen Sie die Bufferbesetzung, Pause-Frame-Zahlen und Warteschlange Tiefen auf der Wirbelsäule und Blatt-Schalter.
• Anwendungs-Ebene Metriken:Für RDMA-Anwendungen werden WR- (Work Request) Fertigstellungslatenzen und CQ- (Completion Queue) -Überlaufereignisse mithilfe von vom Anbieter bereitgestellten Bibliotheken verfolgt.

Zu den gängigen Szenarien für die Fehlerbehebung gehören:

• Verringerung der RoCE-Leistung:Überprüfen Sie, ob PFC auf allen Schalteranschlüssen aktiviert ist und ob die DSCP-Kennzeichnung der Schalterkonfiguration entspricht.Datenblatt MCX4121A-ACATzur Validierung der Bufferzuweisungs-Einstellungen.
• Verknüpfungsfehler oder CRC Fehler:Überprüfen Sie die Qualität des SFP28-Kabels und stellen Sie sicher, dass die Adapterfirmware auf die neueste Version aktualisiert ist.
• Die CPU ist trotz Ablastung immer noch hoch:Bestätigen Sie, dass RDMA tatsächlich verwendet wird (nicht auf TCP zurückzuführen), indem Sie Treiberzähler und Anwendungsprotokolle überprüfen.

Für die Optimierung empfehlen wir die folgenden Abstimmungsparameter (abgeleitet von umfangreichen Laborvalidierungen): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads, erhöhen Sie die maximale RDMA MTU auf 4096 Bytes, um den Protokollüberlast zu reduzieren

6. Zusammenfassung und Wertbewertung

DieNVIDIA Mellanox MCX4121A-ACATDurch die Ersetzung von TCP/IP durch RDMA/RoCE können Organisationen eine Verringerung der Applikations-Level-Latenz um das 5×10-fache erzielen.Verringerung der CPU-Netzwerk-Overhead um mehr als 80%, und erhöhen die Dichte der Servercontainer um 30~50%.MCX4121A-ACAT Ethernet-Adapterkartebietet einen kostengünstigen Weg zur Einführung von 25GbE mit Investitionsschutz durch Rückwärtskompatibilität und zukunftsfähige Ablastfunktionen.

Bei der Beurteilung der Gesamtbetriebskosten werden dieMCX4121A-ACAT Preiswird durch erhebliche Betriebsersparnisse ausgeglichen: geringere Serverzahl (aufgrund höherer Auslastung), geringere Kühlkosten (dank <10W Stromverbrauch),und die Beseitigung separater InfiniBand- oder eigener StoffeDie Lösung ist vollständigKompatibel mit MCX4121A-ACATmit wichtigen Open-Source-Ökosystemen, einschließlich Kubernetes, Apache Spark und TensorFlow, um eine breite Anwendbarkeit in Unternehmen und Cloud-native Bereitstellungen zu gewährleisten.

Für detaillierte Bereitstellungsskripte, Konfigurationsvorlagen und Leistungs-Benchmark-Berichte siehe die offizielleDatenblatt MCX4121A-ACATDas Whitepaper dient als Ausgangspunkt – die Architektur wird validiert, die Komponenten sind produktionsbereit und die Vorteile sind messbar.MCX4121A-ACAT ConnectX-4 Lx Doppelanschluss 25GbE SFP28ist nicht nur ein Adapter; es ist ein strategischer Enabler für das RDMA-fähige, durchsatzoptimierte Rechenzentrum der Zukunft.