NVIDIA Mellanox MCX631432AN-ADAB Server-Adapter in Aktion | RDMA/RoCE Niedriglatenz-Transport & Server-Durchsatzsteigerungen

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter in Aktion. RDMA/RoCE Niedrigverzögerungstransport und Serverdurchsatzsteigerungen

Hintergrund und Herausforderung: Der Latenzengpässen im verteilten Speicher

Das Infrastrukturteam einer großen Internetfirma stieß kürzlich auf eine bekannte Herausforderung: ihr verteilter Speichercluster, der auf einem Ceph-Backend basiert,Schwierigkeiten hatte, mit den wachsenden Anforderungen an Anwendungen Schritt zu haltenWährend die Speicherknoten mit leistungsfähigen CPUs und schnellen NVMe-Laufwerken ausgestattet waren, war die Netzwerklatenz zum Hauptengpass geworden, vor allem während der Spitzen-E/A-Betrieb.Die bestehenden 10GbE-Adapter fehlten an Hardware-Auslastungskapazitäten, wodurch für jedes verarbeitete Paket eine übermäßige CPU-Intervention verursacht wird.

Dieser Overhead war bei schreibintensiven Workloads am stärksten ausgeprägt, bei denen jede I/O-Operation mehrere Netzwerk-Rundfahrten erforderte.Das Team brauchte eine Lösung, die die Latenzzeit drastisch reduzieren und gleichzeitig den gesamten Server-Durchsatz steigern könnte.Nach der Auswertung mehrerer Optionen wandten sie sich an dieNVIDIA Mellanox MCX631432AN-ADAB ein zweiportiger 25GbE SFP28-Adapter, der speziell für RDMA über Converged Ethernet (RoCE) -Einsätze entwickelt wurde.

Lösung und Bereitstellung: Bereitstellung von RoCE mit dem ConnectX-6 Lx

Die Bereitstellung zielte auf drei Speicherknoten ab, die als Metadaten-Server innerhalb des Ceph-Clusters fungieren, wo die Latenzempfindlichkeit am höchsten ist.MCX631432AN-ADAB ConnectX-6 Lx mit zwei Anschlüssen 25GbE SFP28Das Team konfigurierte beide Ports im Active-Active-Bonding-Modus.mit einer Gesamtbandbreite von bis zu 50 Gbit/s und einer Failover-Redundanz.

Ein kritischer Aspekt der Implementierung war die Ermöglichung von RoCEv2 mit Priority Flow Control (PFC) und Explicit Congestion Notification (ECN), um ein verlustfreies Netzwerkverhalten sicherzustellen.MCX631432AN-ADAB Ethernet-AdapterkarteDiese Technologien unterstützen diese fortschrittlichen Überlastungsmanagement-Mechanismen, wodurch die Notwendigkeit für proprietäre Schalter oder zusätzliche Lizenzen beseitigt wird.Das Team nutzte auch die Hardware-Zeitstempel und Telemetriezähler des Adapters, um die Gesundheit des Gewebes in Echtzeit während der anfänglichen Verbrennungsphase zu überwachen..

Nach Angaben derDatenblatt MCX631432AN-ADAB, unterstützt der Adapter PCIe Gen 4.0 x8, was sich als unerlässlich erwiesen hat, um die doppelten 25GbE-Ports vollständig zu sättigen, ohne den Hostbus zu behindern.Das Upgrade einfach zu machenFür Umgebungen, die noch auf PCIe Gen 3 sind.0, bleibt der Adapter vollständigMCX631432AN-ADAB kompatibelmit Rückwärtskompatibilität eine Flexibilität, die den schrittweisen Einführungsplan vereinfachte.

Der Bereitstellungsprozess wurde deutlich optimiert. Mit dem NVIDIA Netzwerktreiber-Stack wurden die Adapter sofort in der CentOS 8-Umgebung erkannt.Spezifikationen für MCX631432AN-ADABdie Bufferzuweisungen zu verfeinern und die Koalitions-Einstellungen zu unterbrechen und das Verhalten des Adapters an die spezifischen Arbeitsbelastungsmuster anzupassen.

Ergebnisse und messbare Vorteile

Die Leistungssteigerungen waren unmittelbar und quantifizierbar.NVIDIA Mellanox MCX631432AN-ADAB:

Über die Zahlen hinaus beobachtete das Team eine verbesserte Konsistenz in den I/O-Antwortzeiten und beseitigte den "lärmigen Nachbar" -Effekt, der zuvor Mieteranwendungen beeinflusst hatte, die das Speicher-Backend teilten.Die Hardware-Auslastungen, die durch dieMCX631432AN-ADAB Ethernet-AdapterkartenlösungDie CPU-Überlastung wurde so stark reduziert, dass die Knoten etwa 60% mehr IOPS verarbeiten konnten, bevor sie die CPU-Sättigung erreichten, was einen geplanten Hardware-Aktualisierungszyklus effektiv verzögerte.

Für das Netzbetriebsteam ist die integrierte Telemetrie des Adapters und die Möglichkeit, über dieSpezifikationen für MCX631432AN-ADABDas Team konnte Mikro-Bursts und Probleme mit der Warteschlangendichte erkennen, bevor sie sich auf die Produktionsbelastungen auswirkten.

Zusammenfassung und Aussichten: Eine Grundlage für zukünftige Größenordnung

Diese Einführung bestätigte, dass dieNVIDIA Mellanox MCX631432AN-ADABist nicht nur ein inkrementelles Upgrade, sondern eine transformative Komponente für latenzempfindliche verteilte Systeme.Der Adapter lieferte eine erhebliche Verringerung sowohl der durchschnittlichen als auch der Latenzzeit, während gleichzeitig der gesamte Serverdurchsatz um fast 6x erhöht wurdeDie freigegebenen CPU-Zyklen werden nun auf die Verarbeitung auf Anwendungsebene umgewandelt, wodurch die Gesamteffizienz des Clusters weiter verbessert wird.

Das Team untersucht weitere Anwendungsfälle für die Adapter.einschließlich NVMe over Fabrics (NVMe-oF) für Hochleistungs-Blockspeicher und möglicherweise GPUDirect für KI-Trainings-WorkloadsDie Flexibilität der ConnectX-6 Lx-Architektur sorgt dafür, dass dieMCX631432AN-ADABFür Unternehmen, die einen ähnlichen Upgrade-Pfad bewerten, ist dieMCX631432AN-ADAB Preis, wenn man sie mit den Einsparungen im Betrieb und den Leistungssteigerungen vergleicht, stellt eine überzeugende Geschäftsbehauptung dar.

Die Erfahrung des Teams unterstreicht einen breiteren Trend: Da Rechenzentren zunehmend 25GbE und höhere Fabriken einsetzen, wird die Wahl des Serveradapters zu einer kritischen architektonischen Entscheidung.MCX631432AN-ADAB Ethernet-Adapterkartebietet eine bewährte, produktionsfähige Lösung für diejenigen, die die Lücke zwischen bestehender Infrastruktur und den Leistungsanforderungen der nächsten Generation schließen möchten.