Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Aktivoptikkabel Anwendungspraxis

Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Aktives Optisches Kabel Anwendungspraxis | Kurzstrecken-Hochgeschwindigkeits-Rack-zu-Rack-Verbindung und Vereinfachung der Verkabelung

Hintergrund und Herausforderungen: Der Verkabelungsengpass bei der Rack-zu-Rack-Konnektivität

Ein nationales Supercomputing-Zentrum stieß nach dem Upgrade seines InfiniBand HDR 200G-Netzwerks auf einen unerwarteten Engpass – die physische Verbindung zwischen den Racks. Die Anlage beherbergt 48 Compute-Racks mit jeweils 16 GPU-Servern, wobei jeder Server zwei 200G-Uplinks zum Top-of-Rack (ToR) Leaf-Switch benötigt. Nach dem herkömmlichen Ansatz beruhte die Rack-zu-Rack-Konnektivität auf Glasfaser-Patchkabeln plus separaten optischen Modulen: QSFP56 SR4-Transceiver wurden an der Oberseite jedes Racks eingesetzt und über MPO-Glasfaser-Jumper mit Leaf-Switches in benachbarten Racks verbunden. Diese Lösung zeigte während der Erstinstallation mehrere Probleme auf. Erstens war die Kabelvermehrung extrem – über 300 Glasfaserverbindungen waren zwischen den 48 Racks erforderlich, und die Kabeltrassen waren innerhalb von zwei Wochen voll ausgelastet, was jede neue Hinzufügung vom Entfernen bestehender Kabel abhängig machte. Zweitens war die Ausfallrate optischer Module bemerkenswert hoch, wobei das Betriebsteam in den ersten drei Monaten nach der Bereitstellung durchschnittlich 3 bis 4 Modulwechsel pro Woche verzeichnete, was oft eine erneute Link-Qualifizierung erforderte und kaskadierende Verzögerungen bei der Jobplanung verursachte. Drittens erforderte jeder MPO-Jumper eine sorgfältige Polaritätsverwaltung und Reinigung, was bei der anfänglichen Inbetriebnahme 15 bis 20 Minuten pro Link zusätzlich bedeutete. Der Betriebsleiter fasste die Herausforderung zusammen: „Wir brauchten eine Lösung, die die gleiche 200G-Leistung liefert, aber mit weniger Komponenten, einfacherer Handhabung und drastisch reduzierten Ausfallraten im Feld.“

Lösung und Bereitstellung: Einführung des aktiven optischen Kabels MFS1S00-H005V

Um diese Schmerzpunkte zu beheben, bewertete das Zentrum mehrere Alternativen und entschied sich schließlich für dasMFS1S00-H005Vvon Mellanox (NVIDIA Mellanox) – einMFS1S00-H005V 200G QSFP56 AOC-Kabel, das die optischen Transceiver und die Glasfaser in einer einzigen, vorab konfektionierten Einheit integriert. AlsMFS1S00-H005V InfiniBand HDR 200Gb/s aktives optisches Kabel, eliminiert es die Notwendigkeit separater Module und Jumper und bietet eine Plug-and-Play-Verbindung, die bis zu 50 Meter überbrückt – ideal für die typischen Abstände von 5 bis 15 Metern zwischen den Racks in dieser Einrichtung.

Die Bereitstellungsstrategie wurde über drei Wochenenden gestaffelt. In Phase 1 ersetzte das Team alle Leaf-zu-Leaf-Verbindungen in der Kern-Spine-Schicht durch dasNVIDIA Mellanox MFS1S00-H005V, wobei validiert wurde, dass dieMFS1S00-H005V kompatibelListe ihre bestehenden Quantum-Switches abdeckte. Phase 2 erweiterte die AOC-Bereitstellung auf die Top-of-Rack-Uplinks, die jeden Compute-Knoten mit den Leaf-Switches verbanden. Phase 3 konzentrierte sich auf das GPU-zu-Speicher-Fabric, wo dieMFS1S00-H005V 200G QSFP56 AOC-Kabellösungeine deterministische Latenz für den parallelen Dateisystemverkehr bot. Das Team stützte sich auf dasMFS1S00-H005V Datenblatts, um Link-Budgets zu überprüfen und sicherzustellen, dass die 50-Meter-Reichweite für ihre längste Verbindung (gemessen bei 37 Metern einschließlich Service-Schleifen) ausreichte.

Ein wesentlicher Vorteil des AOC-Ansatzes war die Eliminierung des separaten Transceiver-Reinigungsschritts – jedesMFS1S00-H005Vwurde werkseitig getestet und versiegelt geliefert und erforderte nur eine Sichtprüfung der Steckverbinder-Endflächen vor der Installation. Das Team verwendete farbcodierte Kabelstiefel, um Leaf-zu-Spine- von Leaf-zu-Compute-Verbindungen zu unterscheiden, was die Dokumentation weiter vereinfachte.

Ergebnisse und Vorteile: Greifbare Verbesserungen bei Zuverlässigkeit und Betriebseffizienz

Die Metriken nach der Bereitstellung zeigten signifikante Fortschritte in mehreren Dimensionen. DieMFS1S00-H005V Spezifikationen– einschließlich eines typischen Stromverbrauchs von unter 1,5 W pro Ende und einer BER von weniger als 1e-15 – wurden in der Produktionsumgebung vollständig realisiert, wobei das Zentrum in den zwei Monaten nach der Umstellung null Link-bezogene Jobausfälle meldete. Die folgende Tabelle fasst die wichtigsten Verbesserungen zusammen:

Das Betriebsteam stellte außerdem fest, dass die flexible Ummantelung und der minimale Biegeradius von 30 mm desMFS1S00-H005V-Kabels eine wesentlich ordentlichere Verlegung in den Kabeltrassen ermöglichten, wodurch die Notwendigkeit von Kabelbindern reduziert und der Luftstrom verbessert wurde. Bei der Bewertung der Gesamtkosten stellte das Zentrum fest, dass, obwohl derMFS1S00-H005V Preispro Einheit auf Link-Basis etwas höher war als die separate Modul-plus-Jumper-Kombination, die Eliminierung von Ersatzteilbeständen, reduzierter Fehlerbehebungsaufwand und eine nahezu Null-Ausfallrate die Gesamtkosten (TCO) günstiger machten. DerMFS1S00-H005V zum Verkaufüber den NVIDIA-Kanal stellte auch eine schnelle Ersatzlieferung defekter Einheiten sicher (obwohl in den ersten drei Monaten keine auftraten).

Zusammenfassung und Ausblick: Ein Leitfaden für vereinfachte HDR-Fabrics

Die erfolgreiche Einführung desMFS1S00-H005Vdurch das Supercomputing-Zentrum zeigt, wie aktive optische Kabel die Rack-zu-Rack-Konnektivität in HDR 200G-Umgebungen dramatisch vereinfachen können. Durch die Konsolidierung von Transceivern und Glasfaser in einer einzigen, vorab qualifizierten Einheit reduziert der AOC-Ansatz die Komponentenanzahl, eliminiert feldseitige Modulausfälle und verkürzt die Bereitstellungszeit um über 80 %. Für Netzwerkarchitekten und IT-Manager, die mit ähnlichen Herausforderungen bei der Verkabelungsdichte konfrontiert sind, bietet dasNVIDIA Mellanox MFS1S00-H005Veinen bewährten Weg zu höherer Zuverlässigkeit und geringerem Betriebsaufwand. Vollständige technische Details, einschließlich desMFS1S00-H005V Datenblattsund verifizierter Kompatibilitätsmatrizen, sind über offizielle Kanäle erhältlich. Das Zentrum plant nun, die AOC-Strategie auf seinen neuen GPU-Erweiterungsflügel auszudehnen und erwartet, die gleichen Vorteile in noch größerem Maßstab zu replizieren.