Grundlagen moderner Netzwerktechnologien im Überblick – Teil 30 Power-LANs: 40/100 Gigabit Ethernet nach IEEE 802.3ba

Autor / Redakteur: Dr. Franz-Joachim Kauffels / Dipl.-Ing. (FH) Andreas Donner

Mit der Verfügbarkeit von 10 Gigabit Ethernet war es nur eine Frage der Zeit, bis die ersten Server in Rechenzentren mit einer solchen Schnittstelle versehen wurden. Die Entwicklung der Blade-Server tat ihr übriges. Natürlich entsteht dann im Kern eines Netzes aber schnell ein Leistungsbedarf jenseits der 10 Gigabit. Heute muss man diesen Bedarf noch über Trunking mehrerer 10 GbE-Verbindungen bedienen. Aber noch 2009 erwartet man Standards für 40 und 100 Gigabit Ethernet.

Mit 40 und 100 Gigabit machen die neuen Standards dem Ethernet Beine; Bild: pixeltrap - Fotolia.com
Mit 40 und 100 Gigabit machen die neuen Standards dem Ethernet Beine; Bild: pixeltrap - Fotolia.com
( Archiv: Vogel Business Media )

Man kann heute sagen, dass 10 Gigabit Ethernet in der Anwendung angekommen ist, auch wenn es vielleicht noch nicht jeder sofort benötigt. Immer dann, wenn eine Leistungsstufe installiert wird, ist es sinnvoll, den Blick auf die nächste zu werfen.

Es gibt am Anfang immer eine Menge Leute, die sagen, dass man das doch nie und nimmer benötigt, aber ich mache den Job schon seit 25 Jahren und habe den Umbruch von 10 auf 100 Mbit/s, von 100 Mbit/s auf 1 Gbit/s und schließlich von 1 auf 10 Gbit/s mitgemacht und es ist immer wieder der gleiche Mechanismus: erst benötigt es angeblich niemand, dann gibt es ein paar spezielle Anwendungen, diese werden dann immer mehr und schließlich setzen fast alle die Technologie ein, die sie angeblich nie benötigen.

Bildergalerie

Der Bedarf ist dieses Mal sogar so drängend, dass sich IEEE 802.3ba als verantwortliches Gremium zum ersten Male dazu entschlossen hat, eine Zwischenstufe einzuführen, die die schnelle Implementierung erleichtert. Auf dem Weg zum 100 Gbit Ethernet Standard gibt es auch Varianten mit 40 GbE. Das ist ein echtes Novum.

Viele werden jetzt sagen: warum kann ich nicht einfach 10 GbE mehrfach trunken, so wie ich es auch mit 1 GbE mache. Die Antwort ist einfach: schon bei 1 GbE ist Trunking nicht die richtige Antwort, weil es eine Menge von Anwendungen gibt, bei denen man keine Lastbalancierung auf den getrunkten Leitungen vornehmen kann. Und dann nützen sie natürlich nicht viel. Die Ablösung des Trunkings ist einer der primären Beweggründe bei Rechenzentren für die heutige Einführung von 10 GbE.

Ein anderer Punkt, der die Entwicklung zwangsweise vorantreibt, ist der Leistungszuwachs von Servern. Intel hat vor einigen Monaten einen Rechner mit 80 Prozessorkernen vorgestellt, die alle zusammen in etwa den Platz eines Fingernagels benötigen. Nun ist dieser Rechner zwar noch experimentell, aber man kann an ihm schon sehen, wohin die Entwicklung der heutigen Dual- und Quad-Core Architekturen geht: zu Oktal- und Hexa-Core-Systemen mit 8 und 16 Prozessoren.

Die jahrzehntelang bestehenden Probleme bei der Ansteuerung von Multiprozessorsystemen auf der Betriebssystemseite wurden für Dual- und Quad-Prozessor-Systeme offensichtlich gelöst. Im Sinne einer Induktion kann man sofort schließen, dass z.B. ein Oktal-Core-Server in gleicher Art gesteuert und benutzt werden kann und dabei immer leistungsfähiger wird.

weiter mit: Schlüsseltechnologie Virtualisierung

Schlüsseltechnologie Virtualisierung

Es besteht zurzeit oberhalb der Ebene des Basis-Betriebssystems der Trend zur Virtualisierung, was schlicht heißt, dass man auf einem Multiprozessorsystem mehrere virtuelle Rechner definiert und betreibt, die für den jeweiligen Anwendungszweck optimiert werden können.

Angesichts der hohen rohen Leistung auf der Multikernebene spielt es dann keine Rolle mehr, ob die Virtualisierung und die Benutzung der virtuellen Maschinen wirklich optimiert sind. Das Ziel der Optimierung kann den Zielen Betriebsvereinfachung und Betriebssicherheit untergeordnet werden.

Und diese Rechner brauchen natürlich leistungsfähige I/Os, eigentlich weniger in Richtung der Benutzer, als vielmehr in Richtung der normalerweise aus guten Gründen unabhängigen Speichersysteme und Speichernetze.

Letztlich geht es vor allem um ein auch über 10 GbE hinaus skalierbares Ethernet statt der unseligen Aggregierung, die nur Kabel und Ressourcen verschwendet, aber für viele Anwender dennoch lange Zeit die einzige Lösung war.

Skalierbares Ethernet bedeutet

  • Konzeptionelle Lebensdauer mehr als 10 Jahre
  • Konzept erweiterbar bis Terabit Ethernet
  • Geschwindigkeitsunabhängige MAC
  • Multi-Lane, Multi-Rate n-GXS und n-AUI
  • Multi-Lane, Multi-Rate RS und n-MII
  • Autonegotiation der Lane-Konfiguration

Zunächst einmal denkt man bei 10 GbE an Server-Anbindung. Dies wird sicherlich ein wesentlicher Punkt sein, aber noch nicht immer sofort. Viel eher wird der Bedarf im Rahmen eines RZ-Netzes entstehen, und zwar auf den Inter-Switch-Verbindungen.

Die Motivationslage ist klar: wer am Server 10 GbE sagt, muss im Core auch mindestens 40 GbE sagen. Außerdem gibt es eine Reihe von Anwendungen, die jetzt schon 40 GbE benötigen. Hierzu zählen bspw. besonders leistungsfähige SAN-Verbindungen.

Die Ziele des neuen Standards für 40 und 100 Gigabit Ethernet sind:

  • Nur Full-Duplex
  • Bewahrung des 802.3 Ethernet Frame Formats zur weiteren Nutzung der 802.3 MAC unter Beibehaltung minimaler und maximaler Paketgrößen
  • BER besser als 10-12 an der MAC/PLS Schnittstelle
  • geeignete Unterstützung Optischer Transportnetze (OTN)
  • MAC-Datenrate 40 Gbps mit PHY-Spezifikationen für wenigstens 100m über OM3 MMF; wenigstens 10m über Kupferkabel; wenigstens 1m Backplane
  • MAC-Datenrate 100 Gbps mit PHY-Spezifikationen für wenigstens 10m über Kupferkabel; wenigstens 100m über OM3 MMF; wenigstens 10 km über SMF; wenigstens 40 km über („provider class“) SMF

Nach Genehmigung des PARs der High Speed Study Group wurde aus ihr das Gremium IEEE 802.3ba. Zieldatum für die Fertigstellung des Standards ist der Mai 2010. Wesentliche Teile werden aber in 2009 schon vorliegen, weil der Bedarf vor allem bei Providern wirklich erdrückend ist und es keine echten technischen Probleme gibt, wie bereits durchgeführte Machbarkeitsstudien gezeigt haben.

Die Unterteilung der Funktionsebenen ist identisch zu den Standards zu 10 GbE. Das weiter oben erwähnte Konzept des skalierbaren Ethernets wurde konsequent umgesetzt.

weiter mit: 40 & 100 GbE MAC & PHY Überblick

40 & 100 GbE MAC & PHY Überblick

Frame Format, Dienste und Management Attribute sind konsistent mit früheren Standards. Bei der MAC gibt es keine Änderungen an der Arbeitsweise im Vergleich zu 10 GbE. Die technische Machbarkeit für Komponenten wie CRC-Checker, generelle MAC-Funktionalität und System-Schnittstellen wurde hinlänglich von den betreffenden Herstellern gezeigt. Man möchte sich keinesfalls die Blöße geben, etwas zu standardisieren, was nachher nicht funktioniert.

Es gibt spezifische Pysical Coding Sublayers PCS für

  • 40G Backplane PHY
  • 40G & 100G Kupfer PHY
  • 40G und 100G MMF PHY
  • 100G SMF PHY

Die Technologie wurde größtenteils ausgehend von 10G schon getestet. Diese Grundgedanken führen im Standard zu zwei grundsätzlichen Konstruktionsalternativen: CTBI und APL.

CTBI

Das CTBI ist eigentlich die native Konstruktion, wie man sie sofort erwarten würde, siehe Abbildung 1. Links beginnend sind dort Codierer, Scrambler und Multiplexer dargestellt für 100 GbE. Dann geht es zu dieser trapezförmigen Einrichtung, die ein Sinnbild für einen Phasar darstellt. Hier werden die parallelen Datenströme auf die n Lanes gemultiplext.

Würde man jetzt z.B. optische Technik für 10 GbE verwenden, wäre n=10 und man hätte in der Implementierung eben 10 Wellenlängen oder 10 Fasern. Bei optischer Technik mit 25 Gigabit wäre n=4 und man bekäme eben 4 Wellenlängen oder Fasern. Schließlich, bei einer optischen 100 Gigabit-Lösung wäre n=1. Das ist genau das skalierbare Konzept. Der Vorzug ist, dass man relativ schnell zu Lösungen kommt, bei denen man auch die Kostenbalance in den Vordergrund stellen kann. Der Nachteil ist, dass dieses Modell zu einer Unzahl möglicher Lösungen führt.

Wir sehen eine Standard 64B/66B PCS wie bei 10 GbE, die lediglich 4mal oder 10mal schneller läuft. Nehmen wir als 40/100G Beispiel: 4/10 Lane Electrical PCS to PMA/PMD Interface CTBI. Das 64B/66B-Aggregat wird in die Virtuellen Lanes gemultiplext. Auf periodischer Basis bekommt jede Virtual Lane einen eigenen Identifier.

Virtual Lanes werden von den 4/10 elektrischen CTBI Lanes bitweise abgebildet. Virtual Lane Alignment und Skew Kompensation geschehen nur im Empfänger. PMA (Physical Medium Attachment) bildet m Lane CTBI auf n Lane PMD ab. Das bedeutet einfaches Multiplexen und Demultiplexen auf Bitebene und kein Realignment in der PMA. Der Overhead von PCS und Virtual Lanes ist gering und unabhängig von der Framegröße

Diese Konstruktion ermöglicht extrem viele unterschiedliche technische Alternativen, aus denen die Standardisierung eine Auswahl treffen muss. Genau das ist der Prozess, den wir noch abwarten müssen, denn die Technologie gibt alles her, vom 10 X 10 VCSEL-Feld mit multipler Connectoren-Technik auf MMF bis hin zur 100 Gigabit Laserdiode mit Mach-Zehnder-Interferometer-Modulator für SMF-Übertragung im Bereich mehrerer 1000 km.

weiter mit: APL

APL

APL bedeutet: Aggregation at the Physical Layer. Das PME Aggregationskonzept von 802.3ah kann dazu benutzt werden, existierende 10 GBASE PHYs zu aggregieren.

APL setzt Full-Duplex Links gleicher Geschwindigkeit Punkt-zu Punkt voraus. Beim „Durchgang“ durch eine APL-Zwischenschicht müssen die Ethernet-Pakete fragmentiert werden, es müssen entsprechende Formate und Fragment-Header definiert werden. Die Fragmente werden am Ziel in der richtigen Reihenfolge ausgeliefert und wieder zusammengesetzt, sofern sie nicht beschädigt sind. APL ist an und für sich ein skalierbares Konzept und für quad/oktal Multiport-PHYs gedacht.

Das Fragmentieren und der Wiederzusammenbau führt zu zusätzlicher Latenz. Meines Erachtens nach ist dies ein Versuch, 10 GbE-Transceiver in größerer Zahl zu recyceln, aber kein ECHTEs 40/100 GbE – so etwa in der Art, wie IEEE 802.11n ja auch bis zu vier 11a-Transceiver mit MIMO zusammenschaltet und das dann optimiert, anstatt echtes Gigabit Wireless zu definieren.

40/100 GbE MMF PMDs

Konzentrieren wir uns jedoch zunächst auf die Möglichkeiten zur Benutzung von MMF.

Das Ziel ist: wenigstens 100m auf OM3 MMF für 40 und 100 GbE. Es gibt hier verschiedene Lösungsmöglichkeiten, favorisiert werden parallele Fasern bei ungefähr 10 GbE pro Faser, angesteuert durch ein VCSEL-Array bei 850 nm. Das bedeutet eine Kombination von existierender linearer 10 GbE-Technologie und existierender paralleler 12 X 2,7G oder (4+4) X 2,5G -Technologie. Beide funktionieren gut und sind preiswert. Betrachtete Alternativen sind

  • 10X (4X) 10,3 Gbaud (64/66) sowie
  • 12 X 10 Gbaud (8B/10B) oder WDM z.B. mit zwei Wellenlängen zur Kostenreduktion bei den Kabeln

Vorteile sind geringer Leistungsbedarf, ca. 1,5 W für 40, 3W für 100 GbE, kompakte Bauform und geringe Kosten.

Nachteil der Konstruktion ist: es werden mehrere parallele Fasern benötigt. Bei 40 GbE mag das mit 2 oder 4 noch angehen, bei 100 GbE werden es mit 5 oder 10 Fasern schon ziemlich viele.

Allerdings setzt man auf bewährte Technik. Eine frühe Demonstration von IBM und Picolight auf der OFC 2003 mit 12 X 10 Gbps zeigte schon die Möglichkeiten auf. Mittlerweile sind VCSEL-Arrays längst Stand der Technik, auch in vielen anderen Anwendungsbereichen wie dem Flugzeugbau. Die Verschleißzeit hängt von der Uniformität der Komponenten im Array ab.

Ein 4er Array lebt insgesamt ca. 3/4 der Zeit einer einzelnen VCSEL, ein 12er Array lebt insgesamt ca. die halbe Zeit einer einzelnen VCSEL. Praktisch alle zufälligen Fehler sind durch das Burn-In eliminiert. Bei Überspannung verenden Arrays mit 1, 4 oder 12 VCSELs gleichermaßen. Aber: man benötigt kein hermetisches Packaging, weil die VCSELs sehr unempfindlich gegenüber härteren Bedingungen sind, also z.B. 85 Grad Betriebstemperatur bei 85% Luftfeuchtigkeit locker abkönnen.

So können auch die kompakten SFP+ Formfaktoren von 10 GbE problemlos übernommen werden. Die Kosten der VCSELs machen aber nur einen Bruchteil der Gesamtkosten für einen Transceiver aus. Im Grunde genommen gewinnt man sogar, wenn man größere Arrays macht, denn der unbenutzte Rest des Wafers kommt ins Recycling.

weiter mit: 40/100 GbE SMF PMDs

40/100 GbE SMF PMDs

Das Highend der 40/100 GbE-Standardisierung sind jedoch die Single Mode Varianten:

  • 10 X 10G DML 10km und 40 km 1550nm
  • 10 X 10G EAML 10km und 40 km 1550nm
  • 4 X 25G / 5X 20G DML 10km und 40km 1310nm
  • 4 X 25G / 5X 20G EAML 10km und 40km 1310 nm
  • 2 X 50G DQPSK MZML 10km 1310nm und 40km 1550nm
  • 1 X 100G NRZ MZML 10km 1310 nm und 40km 1550nm

wobei DML: direkt modulierter Laser, EAML: Laser mit Elektroabsorptionsmodulation,

MZML: Laser mit Mach-Zehnder Interferometer Modulator, DQPSK: Differentielle Quadratur-Phasenmodulation und NRZ: No-return-to Zero Modulation bedeuten.

Hier ist die Auswahl eigentlich schon wesentlich klarer: man orientiert sich an dem, was Provider möchten und in Tests bereits eingesetzt haben, wobei die Kosten gegenüber der technischen Eleganz eine eigentlich eher untergeordnete Rolle spielen. Da diese Varianten für den durchschnittlichen Corporate Anwender eher seltener in Betracht kommen, besprechen wir sie hier nicht weiter.

40G und 100G Kupfer PMDs und 40G Backplane

Anwendungsbereiche für Kupfer-PMDs sind Inter/Intra Rack/Cabinet-Anwendungen und die Unterstützung von High Speed Computing. Es geht hier um die Unterstützung einer Distanz von mindestens 10 m.

Der Standardisierung zugrunde liegen Cabinet und Rack-Höhe nach TIA 942: Maximale Rack- und Cabinet-Höhe ca. 2,4 m, vorzugsweise nicht höher als 2,1m, damit man oben noch drankommt und etwas installieren kann. Typische Bauarten von Twinax-Kupferkabeln sind 100 Ohm, 8 Paare, 16 Leiter und 28 AWG-Kabel. Gegenüber normalen CX-4/Infiniband-Kabeln schaffen in elektrischen und mechanischen Eigenschaften verbesserte Kabel auf 10m Distanz Bandbreiten von bis zu 12000 MHz.

Wenn wir vergleichen, dass wir bei 10 GBASE-T bei 100m Distanz mit ca. 500 MHz Bandbreite auf dem Kabel auskommen müssen, ist die Übertragung von 100 Gigabit auf den Twinax-Kabeln vergleichsweise ein Klacks, denn man braucht längst nicht den gleichen Aufwand zur Rettung des Signals zu treiben wie bei 10 GBASE-T und kommt sogar mit PAM-4 Modulation statt der bei 10 GBT benutzten wesentlich empfindlicheren PAM-10 aus.

Abhängig von der Codierung lässt sich eine Lane-Geschwindigkeit von über 36 Mbps erzielen. Für eine 100 GbE-Lösung würden also theoretisch drei Kabel ausreichen, das wird man aber nicht ausreizen. Mit einem winzigen Fortschritt käme man aber für 40 GbE mit einem einzigen Kabel aus, ohne diesen reichen zwei Kabel allemal! Diese Ergebnisse werden nur durch die umfangreiche Beschäftigung mit 10 GbE auf Kuprefbasis möglich. Eine Twisted Pair Variante von 40/100 GbE ist momentan aber nicht absehbar.

Zusammenfassung

Die Technik für 10, 40 und 100 GbEthernet ist verfügbar und klar, die Aufgabe der Standardisierung besteht eigentlich nur noch in einer gewissen Ausdünnung der Varianten bei 40/100. Darum wird der Standard auch sicherlich mit geringem Delay fertig.

In 19 Folgen haben wir uns um die Entwicklung der LANs gekümmert, von den Anfängen bis zu 100 GbE. Der nächste große LAN-Bereich sind die Wireless LANs. Bevor wir aber zu diesen kommen, widmen wir uns in den nächsten Folgen ab mal etwas ganz anderem: den Wide Area- und Metronetzen mit ihrer faszinierenden optischen Übertragungstechnik.