NVIDIA Mellanox MMA4Z00-NS Optischer Transceiver für Rechenzentren in der Praxis

NVIDIA Mellanox MMA4Z00-NS Datenzentrum optischer Transceiver in der Praxis

Hintergrund und Herausforderung: Das 800G Bandbreiten-Distanz-Dilemma in KI-gesteuerten Rechenzentren

Da KI-Training-Cluster von Hunderten bis zu Tausenden von GPUs skalieren, muss das zugrunde liegende Netzwerkgewebe Terabit-Bandbreite liefern und gleichzeitig akzeptable Verbindungsabstände innerhalb der Datenhalle aufrechterhalten.Für die Bereitstellung von 800G Ethernet und 400G InfiniBand, die Herausforderung der physikalischen Schicht ist besonders akut: Traditionelle 850nm-VCSEL-basierte Multimode-Transceiver bieten eine ausgezeichnete Wirtschaftlichkeit für Kurzstreckenverbindungen (unter 30 Metern),aber ihre Reichweite fällt bei 800G PAM4-Geschwindigkeiten typischerweise auf 50~70 Meter, eine Entfernung, die für Kreuzgängerverbindungen oder Topologien zwischen den Reihen möglicherweise nicht ausreichtUmgekehrt erweitern Single-Mode-Lösungen wie DR8 oder FR8 Transceiver die Reichweite auf Hunderte von Metern, haben jedoch deutlich höhere Kosten und einen höheren Stromverbrauch.sie für die Bereitstellung der Zugriffsschicht mit hoher Dichte wirtschaftlich unbrauchbar machen.

Diese Herausforderung wurde kürzlich von einem groß angelegten Cloud-Anbieter konfrontiert, der einen 8.000-GPU-AI-Trainingscluster in 12 Rechenzentrumshallen bereitstellte.Der Cluster benötigte eine 800G-Konnektivität zwischen Leaf-Switches und GPU-Rechenknoten, die auf benachbarten und nicht benachbarten Racks verteilt sind, mit Abständen von 5 m (Intra-Rack) bis 65 m (Cross-Aisle).Das Engineering-Team brauchte eine einzige Transceiver-SKU, die die Mehrheit dieser Verbindungen abdecken könnte, ohne die Signalintegrität zu beeinträchtigenIn den meisten Fällen ist die Datenbank für die Datenverarbeitung in den einzelnen Mitgliedstaaten, insbesondere in den Niederlanden, in den Niederlanden und in den Niederlanden, in den Niederlanden, in den Niederlanden und in den Niederlanden.NVIDIA Mellanox MMA4Z00-NSEs wurde als der optimale Kandidat entwickelt, der 800G OSFP SR8-Leistung mit 2×400G Breakout-Fähigkeit über beide Protokolle bietet.

Lösung und Bereitstellung: Eine einheitliche 800G-Optikstrategie

Um die Bandbreite-Distanz-Balance zu beheben, hat der Anbieter dieNVIDIA Mellanox MMA4Z00-NSDer einzige 800G-optische Transceiver für alle Multimode-Faserverbindungen bis zu 60 Meter.MMA4Z00-NS 800G OSFP SR8-Transceivermit einer Leistung von mehr als 50 Watt,Unterstützung einer Reichweite von 70 Metern bei 800G, die eine große Reichweite für die Verbindungsmöglichkeiten in Kreuzgängen bietet und gleichzeitig die Kompatibilität mit der bestehenden OM4-Infrastruktur für kürzere Verbindungen gewährleistetFür Verbindungen über 60 m hat das Team ein kleines Inventar an Single-Mode-Transceivern (DR8/FR8) reserviert, um die wenigen Verbindungen zwischen den Hallen abzudecken.

Der Einsatz wurde in drei verschiedenen Zonen durchgeführt, die jeweils spezifische Kabel- und Anschlussanforderungen aufweisen:

• Innerhalb des Racks (2-5 Meter):Direkte MPO-12-Patchkabel von den OSFP-Switch-Ports zu GPU-Rechenknoten, wobei an beiden Enden MMA4Z00-NS-Transceiver verwendet werden.Gewährleistung eines robusten Betriebs auch bei moderater Verschlechterung der Steckverbinder.
• Nebenräume (8 ∼20 m):Strukturierte OM5-Verkabelung über Oberleitungen mit Zwischenplatten.Das Modul ist in der Lage, die Optik des Moduls gut zu übersteigen.Datenblatt MMA4Z00-NS.
• Kreuzgang / zwischen den Reihen (25 55 Meter):Um die 3,0 dB-Mindestgrenze zu halten, müssen die OM5-Träger unter den erhöhten Böden geleitet werden.Das Team hat vor der Installation alle Anschlüsse an der Endseite gereinigt und während der Inbetriebnahme den Einsetzverlust mit einem optischen Leistungsmesser überprüft..

Für den InfiniBand-Teil des Gewebes, der die GPU-Server mit den Quantum-2-Switches verbindetMMA4Z00-NS 2x400G InfiniBand/EthernetIn dieser Konfiguration versorgt ein einzelner MMA4Z00-NS-Transceiver an der Switch-Seite zwei 400G-Endpunkte über eine Breakout-MPO-12-zu-2×MPO-8-Kabelversammlung.Diese native Breakout-Fähigkeit beseitigte die Notwendigkeit für externe Fan-out-Module, wodurch der Rackplatzverbrauch im Vergleich zur bisherigen 400G-basierten Architektur um etwa 20% gesenkt wird.NVIDIA Mellanox MMA4Z00-NSistKompatibel mit MMA4Z00-NSMit beiden Ethernet- und InfiniBand-Protokollen unterhielt das Team eine einzige Transceiver-SKU über das gesamte Gewebe hinweg und vereinfachte die Beschaffung und das Management von Ersatzteilen.

Ergebnisse und Vorteile: Messbare Kosten, Dichte und Betriebssimplizität

Die Analyse nach der Einführung der 2400 optischen Verbindungen ergab mehrere quantifizierbare Vorteile.MMA4Z00-NS 800G OSFP SR8-TransceiverlösungIn diesem Zusammenhang wurde die Notwendigkeit für getrennte SKUs mit kurzer und mittlerer Reichweite beseitigt, der Transceiverbestand um 60% reduziert und die Bestellverfahren vereinfacht.MMA4Z00-NS Preis, die im Vergleich zu vergleichbaren Ein-Modus-Modulen mit erweitertem Reichweiteinsatz eine Kosteneinsparung von 45% pro Verbindung für Entfernungen von weniger als 60 m erzielte,weil keine Prämie für nicht benötigte Fähigkeiten gezahlt wurde.

Zweitens war die Betriebsausfallrate in den ersten sechs Monaten außergewöhnlich niedrig: Von 2.400 Geräten waren nur zwei Transceiver ausgetauscht werden müssen, eine Ausfallrate von 0.08% deutlich niedriger als der Branchendurchschnitt von 0Diese Zuverlässigkeit ist auf die von der Fabrik optimierte optische Ausrichtung und die strenge Qualitätskontrolle des MMA4Z00-NS zurückzuführen.- die Einhaltung der Reinigungsverfahren, die in derSpezifikationen für MMA4Z00-NS.

Drittens ist die Energieeffizienz derNVIDIA Mellanox MMA4Z00-NS¢ weniger als 10,5 Watt pro Modul bei 800G und etwa 8,2 Watt im Ausfallmodus 2 × 400G verbraucht haben ¢ zu messbaren Kühlersparnissen beigetragen.400 Transceiver verbraucht ca. 24.6 kW insgesamt im 2×400G-Modus und 25,2 kW im 800G-Modus, verglichen mit geschätzten 35 kW, wenn alternative Ein-Modus-Module mit höherer Leistungsaufnahme (typischerweise 12 ∼ 14 W) ausgewählt worden wären.Diese Verringerung der Leistung um 28-30% verbesserte die Leistungseffizienz (PUE) der Anlage direkt um schätzungsweise.03 Punkte.

Aus technischer Sicht erwies sich die digitale Diagnoseüberwachungs-Schnittstelle (DDM) des Moduls bei der Fehlerbehebung als unschätzbar.Durch proaktive Überwachung wurde eine allmähliche Abnahme der empfangenen optischen Leistung festgestellt., so dass das Betriebsteam während eines Wartungsfensters eine Verbindungsaufbereitung planen kann, anstatt auf einen unerwarteten Verbindungsfall zu reagieren.Dieser präventive Ansatz reduzierte die mittlere Zeit bis zur Reparatur (MTTR) für Vorfälle in der optischen Schicht um schätzungsweise 55%, weil das Team abgestorbene Verbindungen finden konnte, bevor sie zu Serviceunterbrechungen führten.

Zusammenfassung und Ausblick: Ein Plan für eine skalierbare 800G-optische Architektur

Die Einsatzerfahrung mit derNVIDIA Mellanox MMA4Z00-NSüber mehrere Abstandszonen deutlich zeigt, dass ein einziger, well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsDurch die Nutzung der 70-Meter-Reichweite derMMA4Z00-NS 800G OSFP SR8-Transceiverüber OM5-Faser können Architekten Kosten und Komplexität mehrerer optischer SKUs vermeiden und gleichzeitig die Signalintegrität und die Betriebsfachheit innerhalb des Racks, zwischen den Racks,und Kreuzgängerverbindungen.

Vorwärts blicken, da 800G Ethernet und 400G InfiniBand weiterhin in der KI-Ausbildung, HPC und Unternehmensspeicherumgebungen an Bedeutung gewinnen, wird die Nachfrage nach zuverlässigen,kostengünstige 800G-optische Transceiver werden nur wachsenDie MMA4Z00-NS ist für diese Flugbahn gut positioniert.Da seine Dual-Protocol-Fähigkeit und die native 2×400G-Break-out-Unterstützung die Kompatibilität sowohl mit aktuellen 400G-Infrastrukturen als auch mit zukünftigen 800G-native Endpunkten gewährleistenFür Organisationen, die ähnliche 800G-Migrationen planen, bietet der in dieser Implementierung validierte stufenweise Ansatz eine praktische Roadmap: Standardisierung auf dem MMA4Z00-NS für alle Verbindungen bis zu 60 Meter über OM5,reservierter Ein-Modus-Empfänger für längere Verbindungen zwischen den Hallen,und einen einheitlichen Überwachungsrahmen aufrechterhalten, der DDM-Daten nutzt, um die optische Gesundheit sowohl über Ethernet- als auch InfiniBand-Tücher proaktiv zu verwalten.

Detaillierte Link-Budgetvorlagen, Installationschecklisten und Reinigungsprotokolle finden Sie unterDatenblatt MMA4Z00-NSund die NVIDIA Mellanox-Optischen Anwendungsnotizen.