M

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Technische Lösung | Optimierung der Low-Latency-Interconnects für RDMA/HPC/KI-Cluster

Projektübersicht und Anforderungsanalyse

Da das Training von KI-Großmodellen und wissenschaftliches Rechnen im HPC-Bereich immer größere Umfänge annehmen, hat sich die Kernherausforderung für Compute-Cluster von der Rechenleistung einzelner Knoten auf die Effizienz der Inter-Knoten-Kommunikation verlagert. RDMA-Netzwerke dienen als Transport-Backbone für kollektive Operationen, Speicherzugriff und Checkpoint-Traffic, und ihr Verhalten bestimmt direkt die Gesamtauslastung des Clusters.

Typische Anforderungen in diesen Projekten umfassen:

• Hohe Bandbreite pro Knoten: GPU-Server benötigen zunehmend 200 Gbit/s oder mehr, um mit Multi-GPU-Trainings-Workloads Schritt zu halten.
• Vorhersehbare niedrige Latenz: AllReduce und Parametersynchronisation sind empfindlich gegenüber Tail-Latenz, nicht nur gegenüber der durchschnittlichen Latenz.
• Skalierbarkeit: Das Fabric muss von Dutzenden auf Hunderte oder Tausende von Knoten wachsen, ohne die Topologie neu zu gestalten.
• Verwaltbarkeit: Betriebsteams benötigen Telemetrie und Sichtbarkeit von Engpässen, um langsame Knoten und falsch konfigurierte Links zu isolieren.

Der MQM8790-HS2F ist als 200 Gbit/s HDR InfiniBand Switch-Plattform positioniert, um diese Anforderungen zu erfüllen.

Gesamtnetzwerk- und Systemarchitekturdesign

Die empfohlene Architektur ist ein nicht-blockierender zweistufiger Fat-Tree, mit einer Spine-Schicht, die aus MQM8790-HS2F Switches aufgebaut ist, und einer Leaf-Schicht, die Compute- und Speicherknoten verbindet. Dieses Design bietet eine einheitliche East-West-Bandbreite und eine vorhersehbare Pfadvielfalt, die für RDMA-Traffic-Muster unerlässlich ist.

Wichtige architektonische Entscheidungen umfassen:

• End-to-End HDR: Mit ConnectX-6 oder ConnectX-7 Adaptern ausgestattete Compute-Knoten verbinden sich mit 200 Gbit/s mit Leaf-Switches und bilden einen MQM8790-HS2F-kompatiblen End-to-End-Pfad.
• Spine-Kapazität: Jeder MQM8790-HS2F 200 Gbit/s HDR 40-Port QSFP56 Switch bietet 40 Ports mit 200 Gbit/s und ermöglicht eine flexible Uplink- und Downlink-Zuweisung basierend auf Übersubskriptionszielen.
• Speicher-Fabric: Parallele Speicher- und NVMe-over-Fabrics-Ziele können auf dedizierten Leaf-Gruppen platziert werden, um Speicher-Traffic vom Trainings-Traffic zu isolieren.
• Management-Ebene: Out-of-Band-Management und Telemetriesammlung werden von der Datenebene getrennt, um Interferenzen zu vermeiden.

Rolle des Mellanox (NVIDIA Mellanox) MQM8790-HS2F und Schlüsselfunktionen

In dieser Lösung fungiert der Mellanox (NVIDIA Mellanox) MQM8790-HS2F als Spine-Switching-Element, aggregiert Leaf-Traffic und ermöglicht In-Network-Computing. Seine Rolle beschränkt sich nicht auf die Weiterleitung: Er reduziert auch den Overhead für kollektive Kommunikation und verbessert die Fabric-Effizienz.

Kerntechnische Merkmale umfassen:

• 40 × 200 Gbit/s HDR-Ports: Bis zu 16 Tbit/s aggregierter Durchsatz in einem 1U-Formfaktor mit adaptiver Unterstützung für HDR-, EDR- und FDR-Geschwindigkeiten.
• SHARP In-Network-Computing: Lagert AllReduce und verwandte kollektive Operationen auf den Switch aus und reduziert die Beteiligung von GPUs und CPUs.
• Adaptives Routing: Mildert Hotspots und verbessert die Lastverteilung über mehrere Pfade.
• Engpasskontrolle: Unterstützt DCQCN und verwandte Mechanismen, um die Latenz unter Last stabil zu halten.
• Software-Ökosystem: Verwaltet von MLNX-OS und überwacht durch UFM und NetQ.

Architekten sollten das MQM8790-HS2F-Datenblatt und die MQM8790-HS2F-Spezifikationen für Strom-, Kühlungs- und Port-Split-Details überprüfen, bevor sie Rack-Layouts finalisieren. Für die Budgetierung sollten MQM8790-HS2F-Preise und MQM8790-HS2F-Verkaufsoptionen mit dem Beschaffungskanal validiert werden, da die Preise je nach Umfang und Konfiguration variieren.

Empfehlungen für Bereitstellung und Erweiterung

Für die Erstbereitstellung kann ein einzelner MQM8790-HS2F InfiniBand Switch als Spine und Core in einem kleinen Cluster dienen und bis zu 40 Knoten mit 200 Gbit/s verbinden. Wenn der Cluster wächst, werden zusätzliche Spine-Switches hinzugefügt und das Fabric geht zu einem vollständigen zweistufigen Design mit Leaf-Spine-Trennung über.

Erweiterungsanleitung:

• Kabeldisziplin: Standardisieren Sie auf QSFP56-Optiken und DAC/AOC-Typen, um Ersatzteile zu vereinfachen und Kompatibilitätsrisiken zu reduzieren.
• Port-Splitting: Verwenden Sie 2×100 Gbit/s Breakout, wo 200 Gbit/s pro Knoten nicht erforderlich sind, um die Port-Effizienz zu verbessern.
• Übersubskriptionsziele: Planen Sie Spine-zu-Leaf-Verhältnisse basierend auf den Burst-Mustern der Workloads und nicht nur auf der theoretischen Spitzenbandbreite.
• Strom und Kühlung: Validieren Sie die Stromreserven pro Rack gegen den Nennverbrauch des Switches, bevor Sie die Skalierung vornehmen.

Betriebsüberwachung, Fehlerbehebung und Optimierung

Betriebliche Sichtbarkeit ist entscheidend für die Aufrechterhaltung niedriger Latenz bei Skalierung. Die MQM8790-HS2F InfiniBand Switch-Lösung sollte mit UFM für die Fabric-weite Überwachung und NetQ für Telemetrie und Validierung integriert werden.

Empfohlene Vorgehensweisen umfassen:

• Überwachen Sie Port-Zähler auf Fehler, Verwerfungen und Engpassereignisse.
• Verfolgen Sie langsame Knoten-Kandidaten mithilfe von Telemetrie, anstatt sich ausschließlich auf Job-Fehler zu verlassen.
• Validieren Sie die Firmware-Konsistenz über alle Switches und Adapter hinweg, um Kompatibilitätsprobleme zu vermeiden.
• Überprüfen Sie die SHARP-Konfiguration regelmäßig, da falsch konfigurierte Aggregation-Trees die Leistung eher verringern als verbessern können.

Zusammenfassung und Wertbewertung

Der MQM8790-HS2F bietet eine praktische Grundlage für RDMA-, HPC- und KI-Cluster, die vorhersagbare niedrige Latenz und hohe Bandbreite erfordern. Durch die Kombination von 40 × 200 Gbit/s HDR-Ports, SHARP In-Network-Computing und einem ausgereiften Management-Ökosystem hilft der NVIDIA Mellanox MQM8790-HS2F Architekten, Fabrics zu entwerfen, die ohne Leistungseinbußen skalieren.

Aus Wertperspektive sollte der Beitrag des Switches anhand der Cluster-Auslastung, der Job-Abschlusszeit und des Betriebsaufwands bewertet werden und nicht nur anhand der Port-Anzahl.