Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch in Aktion – Verbindungsoptimierung mit geringer Latenz
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand-Switch in Aktion
Ein regionales Supercomputing-Zentrum hat kürzlich ein großes Upgrade seiner KI-Infrastruktur durchgeführt,Erweiterung von 64 auf 256 NVIDIA A100-GPUs zur Unterstützung von großflächigen Sprachmodell-Trainings und Genom-Sequenzierungs-WorkloadsDas bestehende 100GbE-RoCEv2-Netzwerk wurde jedoch zu einem anhaltenden Engpass: häufige PFC-Storms, unvorhersehbare Latenzzeiten,Die Anpassung der ECN und der komplexe ECN-Tuning verbrauchte erhebliche technische Anstrengungen und verlängerte die Arbeitszeit um mehr als 40%Diese Fallstudie untersucht, wie dasMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand-Schalter, um seinen Stoff zu transformieren und eine deterministische Interkonnektion mit geringer Latenzzeit für RDMA-intensive Anwendungen zu liefern.
Hintergrund und Herausforderungen Die Ethernet-Obergrenze
Die ursprüngliche Architektur des Zentrums verwendete zwei 100GbE-Leaf-Switches mit RoCEv2, die GPU-Server und ein paralleles Dateisystem miteinander verbanden.Erstens:, PFC- (Priority Flow Control) -Sperren traten täglich auf, die manuelle Neustellungen zwangen; zweitens erlebten alle reduzierten kollektiven Operationen eine Latenzzeit von mehr als 200 μs, was die GPU-Auslastung direkt verlangsamte;Dritter, erforderte die Fehlerbehebung eine tiefe Paketinspektion, die zeitaufwändig und selten schlüssig war.konnte den Verlustlosen nicht versorgen., der für künstliche Intelligenz-Workloads der nächsten Generation erforderliche deterministische Stoff.
Lösung und Einsatz920-9B110-00FH-0D0 InfiniBand-Schalter OPNals das Neue Rückgrat
Nach der Auswertung mehrerer Optionen wählte das Zentrum dieNVIDIA Mellanox 920-9B110-00FH-0D0Schalter, basierend auf der920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRDie Implementierung verwendete eine zweistufige Fat-Tree-Topologie: vier920-9B110-00FH-0D0Schalter als Blätter (jeder verbindet 64 GPU-Knoten über 200G-Verbindungen) und zwei zusätzliche Einheiten als Spines, die eine vollständige Bisection-Bandbreite bieten.,die920-9B110-00FH-0D0 kompatibelDie wichtigsten Einsatzentscheidungen umfassten
- Kabel:200G-HDR-Optikmodule für Spine-Leaf-Distanzen bis zu 100 m mit passiven DACs für Intra-Rack-Verbindungen.
- Führung:NVIDIA UFM (Unified Fabric Manager) für die automatisierte Topologieentdeckung, adaptive Routingrichtlinien und Echtzeit-Telemetrie.
- Kollektive Entladung:SHARPv2 ermöglichte es, All-Reducing-Operationen zu beschleunigen, Arbeit von Host-CPUs zu entladen und Netzwerk-Chatter zu reduzieren.
Das Team verwies auf dieDas Datenblatt 920-9B110-00FH-0D0und920-9B110-00FH-0D0 SpezifikationenDie Schaltfläche von 1 U und 200 G pro Portdichte passt ohne zusätzliche Infrastrukturänderungen ordentlich in bestehende Racks.920-9B110-00FH-0D0 InfiniBand-Switch-OPN-LösungAuch die Beschaffung wird vereinfacht, da die genaue Bestellnummer (OPN) die korrekte Konfiguration gewährleistet.
Messbare Ergebnisse und Vorteile
Nach zwei Wochen Einsatz und Validierung dokumentierte das Zentrum signifikante Verbesserungen in den wichtigsten Leistungsindikatoren.Die folgende Tabelle fasst die Vor- und Nachmesswerte für einen repräsentativen 256-GPU-Trainingsjob (BERT-großes Vor-Training) zusammen.:
| Metrische | Vor (RoCEv2) | Nach (920-9B110-00FH-0D0) |
|---|---|---|
| All-Reduce-Latenz (durchschnittlich) | ~ 24 μs | ~ 9 μs |
| Schwanzlatenz (99,9 Prozent) | > 250 μs | ~ 18 μs |
| Effektive GPU-Nutzung | ~ 68% | ~ 89% |
| Arbeitszeit (durchschnittlich) | Ausgangsbilanz | -36% (1,56x schneller) |
| Netzwerkbezogene Vorfälle (wöchentlich) | 8 ¢ 12 | 0 |
Neben den Zahlen berichtete das Team, dass dieNVIDIA Mellanox 920-9B110-00FH-0D0Die in der PFC-Wirkung eingesetzten Telemetrien, die von der920-9B110-00FH-0D0 InfiniBand-Schalter OPNDies ermöglicht eine proaktive Kapazitätsplanung, die durch die Bereitstellung von920-9B110-00FH-0D0 PreisDie Anpassung an 400G-NDR-Switches erwies sich als kostengünstig, was sie für das mittlere Budget des Zentrums ideal macht.
Zusammenfassung und Aussichten Ein bewährter Weg zu einer Interkonnektion mit geringer Latenz
Die Erfahrungen des Superrechenzentrums zeigen, daß dieMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0bietet eine pragmatische, leistungsstarke Alternative sowohl zu schwierigen Ethernet-Fabriken als auch zu teuren High-End-Lösungen.und verlustfreier RDMA-Transport, ermöglicht der Wechsel Unternehmen, das volle Potenzial ihrer GPU-Investitionen freizuschalten die Zeit bis zur Einsicht für KI- und HPC-Workloads zu beschleunigen.
In Zukunft plant das Zentrum, seine Fabrik auf 512 GPUs zu erweitern.920-9B110-00FH-0D0 InfiniBand-Switch-OPN-Lösung, die durch das Hinzufügen zusätzlicher Blattschalter und gleichzeitig die Aufrechterhaltung der vorhandenen Rückenwirbelinfrastruktur skaliert werden.Die Kompatibilität des Switches mit zukünftigen NVIDIA-Adaptern (einschließlich ConnectX‐7) sorgt für einen reibungslosen Upgrade-PfadFür Organisationen, die ähnliche Upgrades bewerten, ist die920-9B110-00FH-0D0 SpezifikationenundDas Datenblatt 920-9B110-00FH-0D0die erforderlichen Konstruktionsparameter liefern und die Einheiten leicht verfügbar sind (920-9B110-00FH-0D0 zum Verkaufüber genehmigte Kanäle).
Diese Einsatzzustellung in der realen Welt bestätigt, dass die920-9B110-00FH-0D0ist mehr als nur ein Produkt es ist ein bewährter Antrieb für clusterbasierte Netzwerke mit geringer Latenzzeit und hoher Effizienz, die bereit sind, den Anforderungen des nächsten Jahrzehnts der KI und des wissenschaftlichen Computing gerecht zu werden.