NVIDIA Mellanox MCX631432AN-ADAB Serveradapter Technisches Whitepaper

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Technisches Whitepaper ♫ RDMA/RoCE Low-Latency Transport und Server Durchsatzoptimierung ♫

1. Projekthintergrund und Bedarfsanalyse

Moderne Rechenzentrumsarchitekturen werden zunehmend durch die Konvergenz von Hochleistungsrechnungen, künstlichen Intelligenz-Workloads und verteilten Speichersystemen definiert.Diese Anwendungen teilen ein gemeinsames Netzwerk: ultra-niedrige Latenzzeit, hohe Nachrichtenraten und minimale CPU-Überlastung für die Datenbewegung.Einführung erheblicher Latenz- und CPU-Verarbeitungskosten, die in großem Maßstab unerträglich werden.

Für Organisationen, die NVMe über Fabrics (NVMe-oF), verteilte Machine-Learning-Trainingscluster oder latenzempfindliche Finanzhandelsplattformen einsetzen,die Netzwerk-Schnittstellenkarte (NIC) hat sich von einem einfachen E/A-Gerät zu einem strategischen Leistungsschnellgerät entwickeltZu den wichtigsten Anforderungen, die bei modernen Einsätzen identifiziert wurden, gehören:

• Unter-5-Mikrosekunden-Latenz auf Anwendungsebene durch Hardware-offloaded Transport
• Gesamtdurchsatz von mehr als 40 Gb/s pro Server, um Speicherengpässe zu vermeiden
• Deterministische Leistung bei minimalem Schwanzlatenz-Varianz unter Last
• Nahtlose Integration in die vorhandene Ethernet-Infrastruktur ohne proprietäre Switching
• Umfassende Telemetrie- und Diagnosefähigkeiten für proaktive Operationen

DieNVIDIA Mellanox MCX631432AN-ADABdiese Anforderungen direkt durch seine ConnectX-6 Lx-Architektur erfüllt,Bereitstellung von Hardware-beschleunigter RoCEv2 (RDMA über konvergiertes Ethernet) mit fortschrittlicher Überlastungskontrolle und programmierbaren Datenpfadfunktionen.

2. Gesamter Netzwerk- und Systemarchitekturentwurf

Die vorgeschlagene Lösungsarchitektur setzt eine Leaf-Spin-Netzwerk-Topologie mit einer 25GbE-Konnektivität an der Serverzugangs-Schicht ein.MCX631432AN-ADAB ConnectX-6 Lx mit zwei Anschlüssen 25GbE SFP28Adapter, der doppelte redundante Pfade zu Top-of-Rack-Switches (ToR) bietet.

• Serverrand:DieMCX631432AN-ADAB Ethernet-Adapterkarteüber PCIe Gen 4.0 x8 an die Host-CPU angeschlossen wird und bietet bis zu 64 GB/s bidirektionale Host-Bandbreite, die vollständig ausreicht, um beide 25GbE-Ports gleichzeitig zu versorgen.
• Netzwerkgewebe:Der Adapter unterstützt bis zu 50 Gb/s Aggregatdurchsatz mit Hardware-LAG (Link Aggregation) -Ablastung.
• Speicherintegration:Für NVMe-oF-Bereitstellungen dient der Adapter als RDMA-Endpunkt und ermöglicht direkte Datenübertragungen von Speicher zu Speicher mit einer Latenzzeit von unter einer Mikrosekunde.
• Managementplan:Out-of-Band-Management über die sichere Managementoberfläche des Adapters, mit voller Unterstützung für Redfish und SNMP-Überwachung.

Das Design betont verlustfreies Ethernet durch RoCEv2 mit Priority Flow Control (PFC) und Explicit Congestion Notification (ECN) MCX631432AN-ADAB Ethernet-AdapterkartenlösungFunktioniert innerhalb eines konvergierten, multiprotokollaren Gewebes ohne dedizierte InfiniBand-Infrastruktur.

3. Rolle und Hauptmerkmale des NVIDIA Mellanox MCX631432AN-ADAB

DieNVIDIA Mellanox MCX631432AN-ADABals grundlegender Baustein dieser Lösung dient und drei verschiedene Wertschichten bietet:

A. Hardwarebeschleunigungsmotor
Der Adapter integriert eine hochprogrammierbare Paketverarbeitungspipeline, die Transportprotokoll-Operationen ablädt, einschließlich RoCE-Segmentierung, Neuanordnung,und Überlastungskontrolle . Gemäß derDatenblatt MCX631432AN-ADAB, unterstützt die Hardware bis zu 200 Millionen Nachrichten pro Sekunde (Mpps), so dass selbst die kleinsten Paketgrößen eine Wire-Rate-Leistung erzielen.

B. RDMA und RoCEv2 Umsetzung
DieMCX631432AN-ADAB ConnectX-6 Lx mit zwei Anschlüssen 25GbE SFP28implementiert RoCEv2 mit vollständig hardwarefreiem Transport.

• Datenübertragungen ohne Kopie direkt zwischen Anwendungspuffern und Fernspeicher
• Unter-2 Mikrosekunden einseitige Latenzzeit für Peer-to-Peer-Kommunikation
• Vollkompatibilität mit Standard-Ethernet-Switches, nur PFC- und ECN-Unterstützung erforderlich

C. Fortgeschrittene Telemetrie und Programmierbarkeit
Der Adapter umfasst eine Reihe von Telemetriezählern, die Latenzzeit pro Fluss, Warteschlange und Stausmetriken ¢ für ein proaktives Leistungsmanagement kritisch bieten.Spezifikationen für MCX631432AN-ADABdie vollständige Palette programmierbarer Funktionen, einschließlich der flexiblen Match-Action-Verarbeitung und der Unterstützung von In-Band-Network-Telemetrie (INT), sind detailliert dargelegt.

Für Organisationen, die eine Einführung in Betracht ziehen, ist der Adapter vollständigMCX631432AN-ADAB kompatibelmit allen wichtigen Linux-Distributionen (RHEL, Ubuntu, SLES), VMware ESXi und Windows Server, um eine nahtlose Integration in heterogene Umgebungen zu gewährleisten.

4. Empfehlungen für Bereitstellung und Skalierbarkeit

Typische Bereitstellungs-Topologie

Die empfohlene Bereitstellung folgt einer "Spin-Leaf"-Topologie mit der folgenden Konfiguration:

• Schalter für das Blatt:25GbE-ToR-Switches mit RoCEv2-Unterstützung, konfiguriert mit PFC auf dedizierten Prioritätswarteschlangen und ECN für die Überlastungssignalisierung
• Serverknoten:Jeder Knoten ist mit demMCX631432AN-ADAB, verbunden mit einem primären und sekundären Blatt für die Entlassungen
• Rückenwirbelschicht:100GbE- oder 400GbE-Spin-Switches, die eine nicht blockierende Anbindung zwischen den Racks bieten
• Speicherziel:NVMe-oF-Zielknoten mit demselben Adaptertyp für konsistente RDMA-Fähigkeiten

Skalierbarkeit

Die Lösung skaliert linear von einem einzigen Rack auf mehrere tausend Knoten.

• Buffermanagement:Nutzen Sie die gemeinsame Pufferarchitektur des Adapters (konfigurierbar bis zu 4 MB pro Port), um vorübergehende Bursts ohne Paketabfälle zu absorbieren
• Überlastungsbereiche:Teilen Sie den Stoff in mehrere Stausmanagementzonen auf, um die Ausbreitung von PFC zu begrenzen, indem Sie die Geschwindigkeit des Adapters pro Port begrenzen
• Orchestrierung auf Cloud-Skala:Der Adapter wird vollständig von Kubernetes (über den NVIDIA-Netzwerkbetreiber) und OpenStack unterstützt und ermöglicht die automatisierte Bereitstellung und das Management des Lebenszyklus

Bei der Bewertung derMCX631432AN-ADAB Preisgegen die Gesamtbetriebskosten, organizations should factor in the elimination of separate InfiniBand infrastructure and the significant reduction in CPU core allocation for networking tasks — typically recovering 2-4 CPU cores per server.

5. Betrieb, Überwachung, Fehlerbehebung und Optimierung

Überwachungsrahmen

Die Lösung beinhaltet einen dreistufigen Beobachtungsansatz:

• Telemetrie auf Adapterebene:DieMCX631432AN-ADAB Ethernet-AdapterkarteDie wichtigsten Kennzahlen sind: Durchsatz pro Port, Paketabfälle, PFC-Pause-Frames, ECN-markierte Pakete,und RoCEv2-Überlastungsereignisse
• Sichtbarkeit auf Stoffebene:Integration mit NVIDIAs Unified Management Plattform ermöglicht die Visualisierung von Topologien und die Analyse von Flusswegen
• Überwachung der Leistung der Anwendung:Der Adapter liefert Statistiken für die Warteschlange und die Warteschlange für die RDMA-Abschließung und ermöglicht eine Korrelation der Netzwerkleistung mit der Transaktionslatenz auf Anwendungsebene

Häufige Szenarien zur Problemlösung

Auf der Grundlage der Betriebserfahrung werden folgende Muster mit Hilfe derSpezifikationen für MCX631432AN-ADABund Telemetriedaten:

• PFC-Sturmdetektion:Überwachung der PFC-Pause-Rahmenzähler nach Priorität
• RoCEv2 Packung Tropfen:Überprüfen Sie die Abfallzähler des Adapters (z. B. rx_discard_* Zähler), um festzustellen, ob Abfälle am Adapter, Schalter oder aufgrund von ECN-Drosselung auftreten
• Leistungsstimmung:Adjust interrupt coalescing parameters (interrupt moderation rate) to trade off CPU utilization against latency — typically setting moderate coalescing for storage workloads and minimal coalescing for trading applications

Optimierungsrichtlinien

Um einen maximalen Durchsatz und eine minimale Latenzzeit zu erreichen, werden folgende Optimierungen empfohlen.Datenblatt MCX631432AN-ADAB:

• Hardware-CRC- und Header-/Daten-Split-Offloads ermöglichen, um den Bandbreitenverbrauch des Host-Speichers zu reduzieren
• Konfigurieren Sie die PFC-Schwellenwerte pro Priorität dynamisch anhand von Arbeitsbelastungsprofilen mit den herstellerspezifischen Pufferkonfigurationswerkzeugen des Adapters
• Ermöglichen Sie die erweiterten QoS-Funktionen des Adapters, einschließlich der Beschränkung der Geschwindigkeit pro Verkehrsklasse und der strengen Prioritäts- oder gewichteten fairen Warteschlange
• Für großflächige Bereitstellungen nutzen Sie die Unterstützung des Adapters für 802.1Qaz Data Center Bridging Exchange (DCBX) zur Automatisierung der PFC- und ECN-Verhandlung mit Switches

6. Zusammenfassung und Wertbewertung

Die technische Lösung konzentrierte sich auf dieNVIDIA Mellanox MCX631432AN-ADABbietet einen klaren Weg zur Erreichung einer RDMA-Latenz von weniger als 10 Mikrosekunden und erhöht gleichzeitig den Serverdurchsatz um bis zu 5-6-mal gegenüber traditionellen 10GbE-TCP/IP-Bereitstellungen.Zu den wichtigsten Wertvorschlägen gehören:

• Vereinfachung der Infrastruktur:Eliminiert die Notwendigkeit für getrennte Speicher- und Rechennetze, indem es verlustfreies Ethernet für alle Verkehrsarten ermöglicht
• Leistungsvorhersagbarkeit:Hardware-offloaded RoCEv2 gewährleistet eine deterministische Latenzzeit auch unter 90%+ Linienverbrauch
• Betriebswirksamkeit:Umfassende Telemetrie und selbstheilendes Stausmanagement reduzieren die mittlere Auflösungszeit (MTTR) für Netzwerkprobleme
• Investitionsschutz:Die PCIe Gen 4.0-Schnittstelle und Programmierbarkeit des Adapters sorgen für Kompatibilität mit zukünftigen CPU- und Switch-Generationen

Für Organisationen, die aktiv evaluierenMCX631432AN-ADAB zum VerkaufDiese Lösung bietet eine bewährte Referenzarchitektur, die in Produktionsumgebungen für Finanzdienstleistungen, Cloud-Anbieter und Storage-Einrichtungen von Unternehmen validiert wurde.Die Kombination von Leistung, Skalierbarkeit und operative Reife machen dieMCX631432AN-ADAB Ethernet-AdapterkarteEine strategische Investition für die moderne Transformation von Rechenzentren.