Technische Lösung von NVIDIA Mellanox MCX653106A-HDAT: RDMA/RoCE-basierter Transport und Server mit geringer Latenz

Dieses technische Whitepaper richtet sich an Netzwerkarchitekten, Pre-Sales-Ingenieure und Betriebsleiter. Es konzentriert sich auf dieNVIDIA Mellanox MCX653106A-HDATServer-Adapter und beschreibt, wie man eine Rechenzentrumsnetzwerkinfrastruktur aufbaut, die RDMA/RoCE-Transport im Mikrosekundenbereich und eine extrem hohe Durchsatzleistung ermöglicht.

Moderne Rechenzentren stehen vor drei zentralen Herausforderungen: unvorhersehbare Latenz bei verteiltem Speicher, Bandbreitenmangel in KI-Trainingsclustern und übermäßiger CPU-Verbrauch durch herkömmliche Netzwerkprotokoll-Stacks. Herkömmliche TCP/IP-Lösungen können die Latenzanforderungen im Mikrosekundenbereich von NVMe-oF, Hochfrequenzhandel und Echtzeitanalysen nicht mehr erfüllen. Die Branche benötigt dringend eineMCX653106A-HDAT Ethernet-AdapterkartenlösungDies ermöglicht hardwareentlasteten RDMA-Transport über eine Standard-Ethernet-Infrastruktur und skaliert gleichzeitig den Serverdurchsatz auf 200 Gbit/s.

Diese Lösung verwendet eine zweischichtige Leaf-Spine-CLOS-Architektur. Alle Rechen- und Speicherknoten sind über das verbundenNVIDIA Mellanox MCX653106A-HDATzu 25G/100G ToR-Switches. Zu den wichtigsten Designprinzipien gehören:

• Durchgängiges verlustfreies Netzwerk, ermöglicht durch PFC (Priority Flow Control) und ECN (Explicit Congestion Notification)
• Dedizierte RDMA-Transportwege für Speicher- und HPC-Workloads
• Trennung von Kontrollebene (Standard TCP/IP) und Datenebene (RoCEv2)
• Hardwarebasierte Virtualisierungs-Offloads (SR-IOV, VXLAN/NVGRE/Geneve)

Basierend auf derMCX653106A-HDAT DatenblattDer Adapter liefert eine Port-zu-Port-Latenz von unter 600 ns und unterstützt bis zu 215 Millionen Pakete pro Sekunde, was ihn ideal für Ost-West-Speicherverkehr und Nord-Süd-Anwendungsströme macht.

DerMCX653106A-HDAT ConnectX-Adapter PCIe-Netzwerkkartedient als grundlegende Datenebenen-Engine. Zu seinen Hauptaufgaben gehören:

• RDMA/RoCE-Beschleunigung:Vollständige Hardware-Auslagerung von RoCEv2, einschließlich Überlastungsmanagement, Verarbeitung von Paketen außerhalb der Reihenfolge und sofortiger Datenplatzierung in Anwendungspuffern.
• Speicherprotokoll-Offload:Native Unterstützung für NVMe-oF (sowohl TCP- als auch RoCE-Varianten), iSER und SRP, wodurch die softwarebasierte Zielverarbeitung entfällt.
• Virtualisierung und Mandantenfähigkeit:Bis zu 1.000 virtuelle Funktionen (VFs) pro Port, wobei Overlay-Tunnel-Offload die Kapselung/Entkapselung mit Leitungsgeschwindigkeit gewährleistet.
• Sicherheit und Telemetrie:Inline-IPsec/TLS-Verschlüsselung mit 200 Gbit/s sowie hardwarebasiertes Fluss-Tracking (z. B. Verbindungs-Tracking, Histogramme).

EntsprechendMCX653106A-HDAT-SpezifikationenDer Adapter unterstützt PCIe 4.0/5.0 x16-Schnittstellen und stellt so selbst bei voller 200-GbE-Leitungsrate keinen hostseitigen Engpass sicher.

Eine validierte Referenztopologie besteht aus:

• Rechenschicht:48 Dual-Socket-Server, jeweils mit einem ausgestattetMCX653106A-HDAT(Dual-Port-100-GbE-Konfiguration). Ports werden als Aktiv-Aktiv-LAG verbunden.
• Speicherschicht:12 All-Flash-NVMe-oF-Zielserver mit jeweils zweiMCX653106A-HDAT Ethernet-AdapterkarteEinheiten – eine für den Front-End-Rechenzugriff, eine für die Back-End-Replikation.
• Netzwerkschicht:Vier 100-GbE-Spine-Switches und acht Leaf-Switches, konfiguriert mit DCBX-, PFC- (Klasse 3 für RoCE) und ECN-Schwellenwerten.

Für eine Skalierung über 200 Knoten hinaus unterstützt die Architektur Multi-Pod-Designs mit EVPN-VXLAN mit Hardware-Offload (vollständig).MCX653106A-HDAT-kompatibelmit den Switches großer Anbieter). Bei der Bewertung der KapazitätMCX653106A-HDAT-Preispro nutzbarem 100-GbE-Port ist etwa 40 % niedriger als bei vergleichbaren Fibre Channel- oder InfiniBand-Lösungen.

Für den effektiven Betrieb von RDMA/RoCE-Bereitstellungen sind spezielle Tools erforderlich. Die folgenden Vorgehensweisen werden empfohlen:

Erfassen Sie zur Fehlerbehebung RoCEv2-spezifische Metadaten mitrdmatoolUndibv_devinfo. Zu den häufigsten Fallstricken gehören falsch konfigurierte PFC-Prioritäten (Gewährleistung der Konsistenz über alle Netzwerkgeräte hinweg) und nicht übereinstimmende PCIe-Verbindungsgeschwindigkeiten (Validierung mitlspci -vvv).

DerNVIDIA Mellanox MCX653106A-HDATbietet eine bewährte, produktionsbereite Plattform zur Umwandlung von Standard-Ethernet-Fabrics in leistungsstarke, verlustfreie Netzwerke. Zu den wichtigsten Wertbeurteilungen gehören:

• Latenz:Deterministische NVMe-oF-Leselatenz von unter 10 µs (P99) ermöglicht Echtzeitanalysen und HPC-Konvergenz.
• Durchsatz:200 GbE mit Nearline-Rate ohne Paketverlust, validiert gegenMCX653106A-HDAT-Spezifikationen.
• CPU-Effizienz:Gibt bis zu 30 % der CPU-Kerne frei, die zuvor von Netzwerk- und Speicherstapeln verbraucht wurden.
• Gesamtbetriebskosten:Im Vergleich zu proprietären VerbindungenMCX653106A-HDAT zu verkaufenDurch die Preisgestaltung in Kombination mit Standard-Ethernet-Switching werden die Betriebskosten über drei Jahre um schätzungsweise 35–50 % gesenkt.

Architekten und Betriebsleiter können diese Lösung bedenkenlos für KI-Fabrics, disaggregierte Speicher und Finanzsysteme mit extrem geringer Latenz einsetzen. Detaillierte Implementierungsschritte finden Sie im offiziellenMCX653106A-HDAT Datenblattund die DOCA-Dokumentationsbibliothek von NVIDIA.