NVIDIA Mellanox MCX653105A-HDAT Server Adapter in Aktion: Steigerung des Durchsatzes mit RDMA/RoCE Low-Latency Transport

Ein führendes Finanztechnologieunternehmen stieß beim Aufbau seiner Big-Data-Analyseplattform der nächsten Generation auf massive Netzwerk-I/O-Engpässe. Die bestehende 10-GbE-Infrastruktur hatte Schwierigkeiten, den für die Echtzeit-Risikobewertung und die Analyse von Hochfrequenzhandel erforderlichen massiven Datenfluss zu bewältigen. CPU-Kerne verbrachten bis zu 30 % ihrer Zyklen nur mit der Verwaltung des Netzwerkverkehrs, wodurch weniger Ressourcen für die kritische Anwendungsverarbeitung übrig blieben. Die Kernherausforderung war klar: Um ihre verteilte Datenbank und die KI-gesteuerte Analyse zu skalieren, mussten sie die Latenz drastisch reduzieren und den effektiven Serverdurchsatz erhöhen, ohne ihre gesamte Serverflotte zu überarbeiten.

Herkömmliche TCP/IP-Netzwerke waren nicht mehr praktikabel. Der Overhead des Kernel-Netzwerkstacks führte zu unvorhersehbaren Latenzspitzen, die die Leistung ihrer In-Memory-Datenbanken und NVMe-basierten Speichercluster direkt beeinträchtigten. Das Unternehmen benötigte eine Lösung, die die Netzwerkverarbeitung von der CPU entlasten und eine direkte, Hochgeschwindigkeitsdatenbewegung zwischen Servern und Speicher ermöglichen konnte. Nach der Bewertung mehrerer Optionen wurde die Entscheidung getroffen, die NVIDIA Mellanox MCX653105A-HDAT Serveradapterkarte auf ihren kritischen Rechen- und Knotenspeichern zu implementieren.

Die Bereitstellung konzentrierte sich auf die MCX653105A-HDAT, eine Dual-Port-100-Gb/s-Adapterkarte aus der NVIDIA Mellanox ConnectX-6-Familie. Das Hauptziel war die Implementierung von RDMA over Converged Ethernet (RoCE), um die CPU für Datenübertragungen zu umgehen. Die NVIDIA Mellanox MCX653105A-HDAT wurde wegen ihrer nativen Hardwareunterstützung für RoCE ausgewählt, die die latenzarmen Vorteile von InfiniBand bietet und gleichzeitig über ein Standard-Ethernet-Fabric läuft, was die Kompatibilität mit den bestehenden Netzwerk-Switches gewährleistet.

Das Ingenieurteam konfigurierte die Server in einer Spine-Leaf-Topologie, die eine beliebige Konnektivität mit vorhersehbarer Leistung ermöglicht. Entscheidend für den Erfolg war die Bereitstellung der MCX653105A-HDAT Ethernet-Adapterkarte sowohl in den Datenbankservern als auch in den All-NVMe-Speicherarrays. Durch die Nutzung der hardwarebasierten RoCE-Offloads etablierte das Team ein verlustfreies Fabric mit Priority Flow Control (PFC), um einen Null-Paketverlust zu gewährleisten, eine kritische Anforderung für effiziente RDMA-Operationen. Die MCX653105A-HDAT ConnectX-Adapter PCIe-Netzwerkkarte erwies sich hier als unerlässlich, da ihre fortschrittlichen Mechanismen zur Staukontrolle die Stabilität des Fabrics auch unter Volllast aufrechterhielten.

Die Leistungssteigerung war sofortig und signifikant. Vor dem Upgrade begrenzte die bestehende 10-GbE-Infrastruktur den Server-zu-Server-Durchsatz auf etwa 1,2 GB/s bei hoher CPU-Auslastung. Nach der Integration der MCX653105A-HDAT-Adapter und der Aktivierung von RoCEv2 erreichte der Cluster Folgendes:

Diese 10-fache Durchsatzsteigerung wurde erzielt, während gleichzeitig CPU-Kerne für die Verarbeitung auf Anwendungsebene freigegeben wurden. Die MCX653105A-HDAT-Hardware-Offloads erwiesen sich als entscheidend für die Erzielung von Leitungsraten-100-Gb/s-Leistung, wodurch die verteilte Datenbank horizontal skaliert werden konnte, ohne dass zusätzliche Server erforderlich waren. Die RDMA-Funktionen, wie in den offiziellen MCX653105A-HDAT-Spezifikationen detailliert, ermöglichten direkte Speicher-zu-Speicher-Übertragungen, umgingen den Kernel und reduzierten die Latenz auf ein Niveau, das bisher nur in spezialisierten HPC-Clustern zu sehen war. Das Team konsultierte auch das MCX653105A-HDAT-Datenblatt, um die PCIe-Parameter fein abzustimmen und die optimale Gen4-Bandbreitennutzung zu gewährleisten.

Diese Bereitstellung zeigt, dass die MCX653105A-HDAT Ethernet-Adapterkartenlösung keine bloße inkrementelle Verbesserung, sondern ein transformatives Element für datengesteuerte Unternehmen ist. Durch die Lösung des CPU-Engpasses durch effizienten RDMA/RoCE-Transport hat die MCX653105A-HDAT es dem Unternehmen ermöglicht, den Wert seiner bestehenden Speicher- und Recheninvestitionen zu maximieren. Der Erfolg hat den Weg für die Ausweitung der Bereitstellung auf ihre Machine-Learning-Trainingscluster geebnet, wo die latenzarmen Eigenschaften der MCX653105A-HDAT zum Verkauf auf dem aktuellen Markt die Modelltrainingszeiten weiter beschleunigen werden. Für Architekten und Ingenieure, die Hochleistungs-Infrastrukturen bewerten, macht die MCX653105A-HDAT-Kompatibilität mit bestehenden Betriebssystemen und Verwaltungstools sie zu einer nahtlosen Wahl für den Aufbau moderner Rechenzentren mit hohem Durchsatz.