Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Serveradapter Technische Lösung

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Technische Lösung: RDMA/RoCE Low-Latency Transport und Server Durchsatzsteigerung Design White Paper

1. Projekthintergrund und Bedarfsanalyse

Moderne Rechenzentren durchlaufen eine grundlegende Verschiebung von "rechenzentrierten" zu "datenzentrierten" Architekturen, angetrieben durch das explosive Wachstum von KI/ML-Workloads, verteilten Speichersystemen,und Echtzeit-AnalytikplattformenIn diesem Zusammenhang ist der Netzwerkadapter keine passive Konnektivitätskomponente mehr, sondern ein entscheidender Faktor für die Gesamtleistung der Anwendung.mit seinen Kernel-Bypass-Einschränkungen und Protokollstack-Overhead, ist zu einem primären Engpass geworden, der bis zu 30% der CPU-Zyklen in Anspruch nimmt und gleichzeitig nicht die Mikrosekunden-Level-Latenz und die Linie-Rate-Durchsatzleistung bietet, die von der nächsten Generation von Arbeitslasten benötigt wird.

Insbesondere drei miteinander verbundene Herausforderungen erfordern eine architektonische Antwort.Speichersysteme, die NVMe über Fabrics (NVMe-oF) nutzen, benötigen eine Zugriffsverzögerung von weniger als 100 Mikrosekunden, um moderne Flash-Medien voll auszunutzenEine Netzwerk-induzierte Latenz beeinträchtigt direkt die Speicherleistung.verteilte KI-Training-Frameworks wie PyTorch und TensorFlow beruhen auf häufigen All-Reducing-Operationen über GPU-Cluster hinwegDrittens führen Virtualisierung und Containerisierung zusätzliche Verkapselungskosten ein.Intelligente Hardware-Auslastung erfordern, um die Leistung in großem Maßstab zu erhalten. DieMellanox (NVIDIA Mellanox) MCX631102AN-ADATDer Server-Adapter richtet sich direkt an diese Anforderungen und bietet eine speziell entwickelte Grundlage für leistungsstarke, langfristige Rechenzentrumsnetzwerke.

2. Gesamter Netzwerk- und Systemarchitekturentwurf

Die vorgeschlagene Lösung setzt eine zweistufige Back-Leaf-Netzwerk-Architektur ein, die die Möglichkeiten derMCX631102AN-ADAT Ethernet-Adapterkarte. An der Blattschicht bieten 25GbE SFP28-Switches ToR (Top-of-Rack) -Konnektivität, wobei jeder Blattschalter bis zu 48 Ports unterstützt.Bereitstellung einer nicht blockierenden Anbindung von jedem zu jedemDiese Architektur ist für den Transport von RoCE v2 (RDMA über Converged Ethernet Version 2) optimiert.Nutzung der nativen Überlastungskontrollmechanismen des Adapters und der PFC-Fähigkeiten (Priority Flow Control) zur Aufrechterhaltung verlustfreier Netzbedingungen.

Jeder Rechen- und Speicherknoten ist mit demMCX631102AN-ADAT ConnectX-6 Lx Doppelanschluss 25GbE SFP28Adapter mit Ports, die im aktiven-aktiven Modus konfiguriert sind, um sowohl hohe Verfügbarkeit als auch eine aggregierte Bandbreite von 50 GbE zu gewährleisten. Der Host-Server schaltet sich über PCIe 4.0 x8 mit dem Adapter ab,Gewährleistung einer ausreichenden Busbandbreite für den vollen StreckenverkehrAus Softwareperspektive beinhaltet die Architektur den Treiberstack OFED (OpenFabrics Enterprise Distribution) von NVIDIA und bietet eine optimierte RoCE-Unterstützung für alle gängigen Betriebssysteme.Für Speicherknoten, die Architektur integriert NVMe-oF-Ziele, die direkt über RoCE zugänglich sind, wodurch die TCP/IP-Schicht vollständig aus dem Datenpfad entfernt wird.

3. Rolle und wesentliche Merkmale des MCX631102AN-ADAT in der Lösung

DieNVIDIA Mellanox MCX631102AN-ADATdient als grundlegende Netzwerkoberfläche für Rechen- und Speicherbereiche und spielt vier wichtige Rollen in der Gesamtarchitektur.Ein weiterer wichtiger Faktor ist die Entwicklung eines neuen Systems, das die Fähigkeit, die Daten zu übertragen, durch seine Hardware-beschleunigte Lenkmaschine ausnutzt, um eine Linienrate von 25 GbE pro Port über alle Paketgrößen zu liefern.Spezifikationen für MCX631102AN-ADAT, die bei Verbindung mit RoCE-fähigen Switches eine Applikations-zu-Applikations-Latenz von unter-1-Mikrosekunden aufweisen.

Zweitens fungiert der Adapter als RDMA-Transport-Endpunkt und entladen den gesamten RDMA-Protokollstapel, einschließlich Speicherregistrierung, Adressübersetzung und Fertigstellungsabwicklung, von der Host-CPU.Diese Entlastung ist besonders für Speicherarbeitslasten von Bedeutung., wodurch die CPU-Auslastung für NVMe-oF-Initiatoren von etwa 18% auf weniger als 3% verringert wird.Der MCX631102AN-ADAT bietet eine hardwarebasierte Überlagerung für VXLAN und NVGRE, um sicherzustellen, dass die virtualisierte Netzwerkverkapselung die Leistung nicht beeinträchtigt, ein entscheidender Vorteil für Cloud-native Bereitstellungen.der Adapter unterstützt SR-IOV (Single Root I/O Virtualization), die bis zu 256 virtuelle Funktionen pro Port für eine effiziente Isolierung von mehreren Mietern ohne Beeinträchtigung des Durchsatzes ermöglicht.MCX631102AN-ADAT Ethernet-Adapterkartenlösungintegriert sich nahtlos in die GPUDirect Storage-Technologie von NVIDIA und ermöglicht die direkte Datenbewegung zwischen GPU-Speicher und Remote-NVMe-Speichergeräten über das Netzwerk.

In der folgenden Tabelle sind die wichtigsten technischen Spezifikationen für die Lösungsarchitektur zusammengefasst:

4. Bereitstellung und Skalierung Empfehlungen mit typischer Topologie

Für Greenfield-Bereitstellungen empfehlen wir einen dreistufigen Skalierungsansatz.mit jedem Knoten, der mit dem MCX631102AN-ADAT ausgestattet ist, und beiden Ports, die an denselben Leaf-Switch für die Linkaggregation angeschlossen sind- bei der mittleren Stufe (64~128 Knoten) sollte die Architektur ein zweistufiges Rückenblatt-Design annehmen,mit den doppelten Anschlüssen jedes Knotenpunktes, die an verschiedene Blattschalter angeschlossen sind, um Leistung und Widerstandsfähigkeit zu gewährleisten. Auf Unternehmensebene (256+ Knoten) empfiehlt die Lösung die Bereitstellung einer dreistufigen Architektur mit dedizierter RoCE-Fabriksegmentierung,Isolierung des Speicherverkehrs vom Rechenverkehr an der Netzwerkschicht, und nutzen dieMCX631102AN-ADAT kompatibelNatürliche Anwendungen mit NVIDIA Spectrum-Switches und 25GbE-Switches von Drittanbietern.

Für Brownfield-Umgebungen bietet der Adapter nahtlose Rückwärtskompatibilität mit 10GbE SFP+-Optiken und -Kabeln, so dass Organisationen schrittweise migrieren können.Datenblatt MCX631102AN-ADATbietet detaillierte Kompatibilitätsmatrizen für die wichtigsten Serverplattformen, einschließlich Dell PowerEdge, HPE ProLiant und Supermicro SuperServer Familien.Die Bereitstellung des Adapters sollte mit Firmware-Updates koordiniert werden, um sicherzustellen, dass alle Knoten die gleiche Mindest-Firmware-Version für ein konsistentes RoCE-Verhalten ausführenWir empfehlen auch, die EEPROM-basierte Konfigurationsbeständigkeit des Adapters zu verwenden, um die Einstellungen bei Systemneustartungen aufrechtzuerhalten und den Betriebsaufwand während der Wartungsfenster zu reduzieren.

5. Betrieb, Überwachung, Fehlerbehebung und Optimierung

DieMCX631102AN-ADATWir empfehlen Ihnen, die folgenden Betriebspraktiken einzusetzen:Diese Daten können über die Hardware-basierten Durchflusszähler überwacht werden, um die Nutzung pro Warteschlange zu überwachen und Hotspots zu identifizieren.Mlx5_coreKernel-Modul und kann mit Prometheus oder anderen TSDB-Lösungen integriert werden.Nutzen Sie die PFC-Überwachung (Priority Flow Control) des Adapters, um Netzwerküberlastungsereignisse zu erkennen und zu beheben, bevor sie sich auf die Leistung der Anwendung auswirkenDrittens sollten Schwellenwerte für die Alarmierung der Adaptertemperatur und des PCIe-Verbindungsstatus implementiert werden, um Hardwarezerstörungen präventiv zu erkennen.

Für die Fehlerbehebung bieten die erweiterten Diagnostiken des Adapters, einschließlich Loopback-Tests pro Port, Link-Training-Logs und Interrupt-Coalescence-Statistiken, eine detaillierte Sicht auf Leistungsprobleme.Wir empfehlen, eine Basis für den normalen Betrieb während des ersten Einsatzes zu erstellen, wichtige Kennzahlen wie durchschnittliche Latenzzeit, Durchsatz und CPU-Auslastung zu erfassen,als Referenz für zukünftige Vergleiche dienen. Bei der Bewertung derMCX631102AN-ADAT PreisBei der Berechnung des Eigentums sollten Unternehmen die Betriebseinsparungen durch reduzierten CPU-Verbrauch und vereinfachte Fehlerbehebungsabläufe berücksichtigen.

OptimierungsstrategienMCX631102AN-ADAT Ethernet-AdapterkarteIn der Host-Konfiguration sollte die PCIe Max-Payload-Größe auf 512 Bytes eingestellt und die Interrupt-Moderation aktiviert werden, um Latenz und CPU-Effizienz auszugleichen.die PFC-Prioritäten für alle Schalter und Adapter konsistent konfigurieren. Wir empfehlen, Priorität 3 für den RoCE-Verkehr und Priorität 0 für den Management-Verkehr zu verwenden.. In der Anwendungsschicht die RDMA-Warteschlange mit den Workload-Eigenschaften ausrichten: tiefere Warteschlange sind für durchsatzintensive Speicher-Workloads von Vorteil,Während flachere Warteschlangen die Latenzzeit für die verarbeitende Transaktion senken. Die detailliertenSpezifikationen für MCX631102AN-ADATspezifische Leitlinien für die Abstimmung dieser Parameter auf verschiedenen Betriebssystemplattformen.

6Zusammenfassung und Bewertung

DieMellanox (NVIDIA Mellanox) MCX631102AN-ADATbietet eine architektonische Lösung, die die grundlegenden Herausforderungen moderner Rechenzentrumsnetzwerke angeht: Lieferung von Mikrosekunden-Latenz, Hardware-beschleunigter RDMA-Transport,und konsistente 25GbE-Durchsatz, während der Host-CPU-Overhead reduziert wirdDurch die Funktion als einheitliche Netzwerkoberfläche für Rechen-, Speicher- und KI-Workloads vereinfacht der Adapter die Infrastruktur und verbessert gleichzeitig die Leistung.MCX631102AN-ADAT Ethernet-Adapterkartenlösungreduziert den netzwerkbezogenen CPU-Verbrauch um etwa 80%, verbessert die Speicherzugriffslatenz um mehr als 80%,und bietet eine vorhersehbare Leistung unter unterschiedlichen Lastbedingungen durch hardwarebasiertes Stausmanagement.

Aus geschäftlicher Sicht,Der Adapter ermöglicht es Unternehmen, die bestehenden 25GbE-Schalterinvestitionen zu maximieren und gleichzeitig Leistungen zu liefern, die bisher nur mit 40GbE- oder 100GbE-Lösungen erreicht werden konnten.. DieMCX631102AN-ADAT zum VerkaufDie Bewertung zeigt konsequent einen positiven ROI innerhalb von 12 bis 18 Monaten, was auf die reduzierten Anforderungen an die Serverzahl (aufgrund der höheren Effizienz pro Knoten) und geringeren Betriebskosten zurückzuführen ist.Für Organisationen, die Rechenzentrumsnetzwerke errichten oder modernisieren, stellt der MCX631102AN-ADAT nicht nur ein schrittweises Upgrade dar, sondern eine grundlegende Verbesserung der Effizienz der Netzwerkbasis.