Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC Technische Lösung

Dieses Whitepaper bietet Netzwerk-Architekten, Pre-Sales-Ingenieure und Betriebsleiter einen umfassenden technischen Rahmen für die Bereitstellung vonMellanox (NVIDIA Mellanox) MCX556A-ECATDie Lösung konzentriert sich auf die Beseitigung von TCP/IP-Engpässen durch RDMA/RoCE,Bereitstellung einer deterministischen Kommunikation mit geringer Latenzzeit bei gleichzeitiger Maximierung des Serverdurchsatzes für datenintensive Arbeitslasten.

1. Projekthintergrund und Bedarfsanalyse

Moderne Rechenzentrumsumgebungen, einschließlich KI-Trainingsclustern, verteilten Datenbanken, hyperkonvergierter Infrastruktur und Hochfrequenz-Handelsplattformen, haben eine gemeinsame Einschränkung:der traditionelle Netzwerkstapel verbraucht 30~50% der CPU-Zyklen auf SpeicherkopienDa die Verbindungsgeschwindigkeiten auf 100 Gbps und darüber hinaus steigen, werden softwarebasierte Netzwerke unhaltbar.Zu den wichtigsten Anforderungen an die Serververbindung der nächsten Generation gehören: Unter-5 Mikrosekunden Inter-Node-Latenz, CPU-Overhead unter 10% pro 100Gbps-Verbindung, verlustfreier Transport für Speicherprotokolle (NVMe-oF) und nahtlose Integration in die vorhandene Ethernet-Infrastruktur.DieMCX556A-ECAT Ethernet-AdapterkartenlösungDie Kommission ist der Ansicht, daß die

2. Gesamtkonstruktion der Netzwerk-/Systemarchitektur

Die empfohlene Architektur setzt dieNVIDIA Mellanox MCX556A-ECATAls Dual-Port 100GbE-Adapter in jedem Rechen- oder Speicherknoten verwendet die Lösung eine zweistufige Leaf-Spine-Topologie mit RoCE (RDMA über Converged Ethernet) -Unterstützung.:

• Verlustfreie Ethernet-Basis: Ermöglichen Sie die Priority Flow Control (PFC) in den Häfen mit RoCE-Verkehr und konfigurieren Sie die ECN-Schwellenwerte (Explicit Congestion Notification) bei den Leaf-Switches.
• Getrennte Verkehrsklassen: Zuweisen Sie den RoCE-Verkehr einer speziellen Prioritätswarteschlange (normalerweise 3 oder 5) mit strenger Prioritätsplanung zu.
• Buffermanagement: Zuweisen von gemeinsamen Pufferpools auf Schalter entsprechendSpezifikationen MCX556A-ECAT(empfohlen 4 MB pro Port für einen verlustfreien Betrieb).

JederMCX556A-ECAT ConnectX Adapter PCIe-Netzwerkkartemit einer Leistung von mehr als 10 W und einer Leistung von mehr als 10 W,Dual-Homing-Konfigurationen binden beide Ports ◄ aktiv-aktiv für Durchsatz oder aktiv-standby für FailoverDie Steuerungsebene verwendet Standard-Ethernet und IP, während die Daten-Ebene RDMA für Null-Kopie-Übertragungen nutzt.

3. Rolle und Schlüsselmerkmale des Mellanox (NVIDIA Mellanox) MCX556A-ECAT in der Lösung

DieDie in Absatz 1 genannte Angabe ist nicht anwendbar.Der Kernel-Datenvertrieb ist eine wichtige Funktion des Kernels, der als kritische Entlastungsmaschine zwischen dem Serverspeicher und dem Netzwerkgewebe fungiert.Datenblatt MCX556A-ECATumfassen:

DieMCX556A-ECAT Ethernet-Adapterkarteenthält auch eine erweiterte Lenkung (Flow-Klassifizierung in 128 virtuelle Warteschlangen), SR-IOV mit bis zu 512 virtuellen Funktionen und Hardware-Timer-Offload für das Präzisionszeitprotokoll (PTP).Diese Eigenschaften machen es zu einer vollständigen Datenspur-Beschleunigungsmaschine, nicht nur eine schnelle Schnittstelle.

4. Empfehlungen für die Bereitstellung und Skalierung (typische Topologie)

Für einen mittelgroßen Cluster (64~256 Knoten) wird folgende Topologie empfohlen:

• Blattlag: Zwei oder vier 48-Port-RoCE-Switches mit 100 GbE (z.B. NVIDIA SN3700).Kompatibel mit MCX556A-ECATQSFP28-Anschlüsse
• Rückenwirbelschicht: Vier 32-Port 400GbE-Switches liefern 128 nicht blockierende 100GbE-Uplinks von Blättern.
• ServerkonfigurationEiner.Die in Absatz 1 genannte Angabe ist nicht anwendbar.pro Server, Port A zum Leaf Switch A, Port B zum Leaf Switch B. Dies ergibt 200 Gbps Gesamtbandbreite und Pfadredundanz.

Die Skalierung des Stoffes über 256 Knoten hinaus erfordert das Hinzufügen von Blatt-Rückenwirbel-Paaren oder die Migration zu einer dreistufigen Clos-Architektur.MCX556A-ECAT-Preisgegenüber zukünftiger Kapazität, wobei der AdapterKompatibel mit MCX556A-ECATmit PCIe 4.0-Motherboards (anfänglich mit 3.0 x16), die einen einfachen Upgrade-Pfad bieten.

5. Betrieb, Überwachung, Fehlerbehebung und Optimierung

Die operative Exzellenz für RoCE-Einsätze erfordert eine spezifische Überwachung und Anpassung.

• Überwachungszähler: VerwendungIch bin nicht derjenige, der das Problem hat, aber ich bin derjenige, der es hat.Die Kommission hat eine Reihe von Maßnahmen ergriffen, um die Prioritätspausen und CNP (Congestion Notification Packets) zu verfolgen.Spezifikationen MCX556A-ECATdie erwarteten Ausgangswerte dokumentieren.
• Buffer-Tuning: Konfiguration der Schalter-Ausgangsbuffer auf 4 ‰ 6 MB für RoCE-Warteschlangen. Unzureichende Buffer verursachen PFC-Storms und Durchsatzkollaps.
• Firmware-Management: Beibehalten Sie die neueste Firmware (verfügbar über das NVIDIA-Unternehmensunterstützungsportal), um Fehler zu beheben und Leistungsverbesserungen zu erzielen, die in derDatenblatt MCX556A-ECAT.
• LeistungsbasisLauf!Ich habe eine Frage.und(b)Erwartete Ergebnisse: 98 ‰ 99 Gbps bidirektional mit einer Latenzzeit von 0,8 ‰ 1,2 μs für 8-Byte-Nachrichten.

Häufige Szenarien für die Fehlerbehebung: PFC-Standstillstand (Prüfung der fehlerhaften Warteschlange), Verknüpfungsflügelung (Bestätigung der Leistungs- und Kabelbewertungen),und RDMA-Verbindungs-Timeouts (MTU-Konsistenz bei 4200 Bytes für Jumbo-Frames gewährleisten)- Für Suchteams.MCX556A-ECAT zum VerkaufUm Cluster zu erweitern, vermeidet die Anpassung der Firmware vor der Inbetriebnahme von Chargen Kompatibilitätsüberraschungen.

6. Zusammenfassung und Wertbewertung

DieDie in Absatz 1 genannte Angabe ist nicht anwendbar.Die Entwicklung der neuen Technologien und der neuen Technologien ist ein wichtiger Schritt in die Entwicklung derNVIDIA Mellanox MCX556A-ECATreduziert die Anwendungslatenz um das Zehnfache im Vergleich zu TCP, reduziert den CPU-Netzwerk-Overhead um 85% und entsperrt die Speicher-Desaggregation über NVMe-oF.Die Kapazität der Karte mit zwei Ports von 100 GbE bietet für die Zukunft mehr Vorsprung.Für Betriebsteams vereinfacht der ausgereifte Treiber-Stack (upstream Linux, Windows und VMware) die Verwaltung.MCX556A-ECAT-PreisIn Bezug auf die Gesamtbetriebskosten, einschließlich Softwarelizenzen, Strom und Kühlung, zahlt sich der Adapter in der Regel innerhalb von 6-12 Monaten durch Serverkonsolidierung zurück.MCX556A-ECAT Ethernet-AdapterkarteoderMCX556A-ECAT ConnectX Adapter PCIe-Netzwerkkarte, bleibt diese Lösung ein Referenzdesign für verlustfreie, leistungsstarke Ethernet-Netzwerke.