Fibre Channel

Kommentieren Drucken
Teil 26 von 71 aus der Serie "Professionelle Datenkommunikation"
Alle Artikel der Serie "Professionelle Datenkommunikation":

Fibre Channel (FC) ist eine serielle Übertragungstechnologie für den High-Speed-Datentransfer. Fibre Channel ist ein offener Standard, definiert durch ANSI und OSI und unterstützt alle wichtigen höheren Protokolle wie IP, ATM, HIPPI (High Performance Parallel Interface), SCSI (Small Computer System Interface) und sogar IEEE 802.1/3 Ethernet. Er ist in vielen Unternehmen die Basis von Storage Area Networks.

Vor etwa 20 – 25 Jahren kam der Gedanke auf, die Daten eines Unternehmens nicht mehr wie bis dahin üblich auf Speichersysteme zu packen, die unmittelbar einzelnen Rechnern zugeordnet waren, sondern in einem unabhängigen spezialisierten Speichersystem unterzubringen, auf das alle Rechner zugreifen können. Der damalige Stand der Entwicklung von Ethernet als Shared Medium Bus war definitiv ungeeignet für diese Aufgabe. Also hat man ein anderes System entwickelt, welches damals dem Ethernet weit überlegen war: Fiber Channel FC. Die ersten Versionen waren komplett auf optische Übertragungstechnik ausgerichtet. Mit Fortschritten bei den metallischen Leitern wurden auch diese teilweise integriert und man hat ab dann die „französische“ Schreibweise „Fibre Channel“ eingeführt.

FC war über Jahrzehnte die Basis für die sog. Storage Area Networks SAN und ist es in vielen Unternehmen noch heute. SAN-Speicherlösungen kommen von Herstellern wie EMC, Hitachi, NetApps und natürlich IBM und HP. Hosts greifen über multiple FC oder Ethernet sowie über Kanalschnittstellen wie ESCON oder FICON auf die SANs zu.

Vor etwa 15 bis 20 Jahren kam die Welle der Dezentralisierung und man hat geglaubt, einen großen Teil der DV auf kleinere Systeme auslagern zu können. Dabei sind letztlich Serverfarmen mit Hunderten kleiner Server entstanden, die man seit ca. 5 Jahren gerne wieder loswerden möchte. Das in einer anderen Serie dargestellte Konzept der Virtualisierung ist hierbei ein wesentliches Hilfsmittel. Man nimmt leistungsfähige moderne Server, etabliert auf ihnen mittels einer Virtualisierungssoftware wie VMware virtuelle Maschinen und lässt auf ihnen alles laufen, was bisher auf den kleinen Servern der Serverfarm lief. Dabei ist es natürlich auch von Interesse, alle Daten, die bislang auf den kleinen Platten der Server in den Serverfarmen gelagert waren, in ein vernünftiges System zu überführen. Und auch hier ist ein SAN sehr praktisch.

Das Ethernet hat sich jedoch inzwischen erheblich weiterentwickelt und viele Betreiber sehen es nicht mehr ein, mit einem modernen Ethernet und dem FC zwei verschiedene Netze zu betreiben. Deshalb möchte man mittels der so genannte I/O-Konsolidierung FC-Verkehr auf ein angereichertes Ethernet abbilden. Nach jahrelanger Diskussion funktioniert das auch. Bevor wir diese interessanten Entwicklungen aber zusammenhängend darstellen können, müssen wir uns zunächst ansehen, wie FC eigentlich definiert ist und welche Funktionen und Leistungsmerkmale es hat.

FC verfügt über keinen eigenen Befehlssatz, sondern stellt lediglich den Datentransfer zwischen den einzelnen FC-Geräten, wie z.B. Speichersystemen, her.
Fibre Channel ist schnell und effektiv und deshalb besonders für extrem hohe Datentransferraten geeignet. Darüber hinaus ist es durch die Unterstützung verschiedener Topologien sehr flexibel und auf kleinen und großen Systemen anwendbar beziehungsweise skalierbar. Die Installation ist einfach, eine ID-Vergabe erfolgt automatisch. Zusätzlich lässt sich FC einfach integrieren und arbeitet extrem zuverlässig, da es alle wichtigen Protokolle unterstützt und eingebaute Korrekturalgorithmen besitzt.

Einer der großen Vorteile von FC ist die enorme Vielseitigkeit der möglichen Konfigurationen. Sie reicht von einfachen Strukturen, bei denen lediglich zwei Geräte miteinander verbunden werden, bis hin zu komplexen Netzwerken mit über 16 Millionen Teilnehmern.

FC unterstützt mehrere unterschiedliche Topologien, die in der Praxis auch gemischt werden können. Die Point-to-Point-Verbindung ist die einfachste Verbindung von zwei FC-Geräten zum Beispiel zwei Servern oder ein Server- und ein Festplatten-Subsystem. Die FC Geräte wie etwa den FC-Controller bezeichnet man als Nodes. Diese wiederum haben einen oder auch mehrere sogenannte N_Ports – die eigentliche FC-Schnittstelle. Jeder N_Port hat jeweils einen Sender (Transmitter) und einen Empfänger (Receiver).

Sender und Empfänger zwischen den einzelnen Geräten sind über Kreuz miteinander durch sogenannte Links verbunden. Diese Links können bei FC entweder Kupferkabel oder Glasfasern sein. Bei der Point-to-Point-Verbindung steht die gesamte Bandbreite der FC-Verbindung von aktuell 8 oder 10 Gbps exklusiv für die Kommunikation der zwei Nodes zur Verfügung.

In der Arbitrated-Loop-Topologie können bis 127 Ports in einer Ringstruktur zusammengeschaltet werden. Die Ports in einer Arbitrated Loop werden als NL_Ports bezeichnet. In dieser Konfiguration sind jeweils zwei Ports gleichzeitig aktiv. Die anderen Ports arbeiten als Repeater und reichen lediglich die Signale weiter. Das heißt natürlich, dass sich die Bandbreite von 8 oder 10 Gbps auf alle Teilnehmer verteilt. Ähnlich wie beim Token Ring „sieht“ jeder Teilnehmer der Arbitrated Loop alle Messages und sendet diejenigen, die nicht für ihn bestimmt sind, einfach weiter.

Die Switched Fabric ist eine vermaschte Topologie. FC-Geräte sind über sogenannte F_Ports oder FL_Ports an dieses Netzwerk angeschlossen – je nachdem, ob es sich um einfache oder Loop-fähige Ports handelt. Die Verbindung zwischen den einzelnen Ports wird durch das Netzwerk geschaltet. Das FC-Gerät wird über einen F_Port oder FL_Port an die Switched Fabric angeschlossen. Möchte nun zum Beispiel Node A mit Node B kommunizieren, wird die entsprechende Adresse der Switched Fabric übergeben. Die Switched Fabric schaltet eine entsprechende Verbindung vom Initiator zum Target, wobei jedoch beide nicht wissen, welchen Weg die Signale nehmen. Die Verbindung wird vollständig durch die Switched Fabric hergestellt und ist vollkommen transparent für die Teilnehmer.
Zur Adressierung stehen 24 Bits zur Verfügung (bei der Arbitrated Loop werden nur die untersten 8 Bit genutzt). Das reicht für 16 Millionen Teilnehmerstationen.

Es gibt im FC fünf Serviceklassen:

  1. Verbindungsorientiert
  2. verbindungslos, mit Bestätigung
  3. verbindungslos, ohne Bestätigung
  4. parallele Übertragung
  5. parallel und isochron

Die Serviceklasse 1 stellt eine dedizierte Verbindung zwischen Sender und Empfänger her. Alle gesendeten Pakete werden vom Empfänger quittiert. Während des Bestehens dieser Verbindung können keine anderen Teilnehmer die verbundenen Partner ansprechen. Serviceklasse 2 ist eine „verbindungslose“ Methode mit Bestätigung des Datentransfers. Dies bedeutet, der Weg den die Datenpakete nehmen ist unbestimmt. Die verfügbare Bandbreite kann hierbei unter mehreren Teilnehmern aufgeteilt werden. Serviceklasse 3 ist ähnlich wie Klasse 2, jedoch ohne Bestätigung des Datentransfers. Diese Verbindungsklasse wird in der Regel bei Massenspeichersystemen genutzt. Durch die Möglichkeit der Aufteilung der Bandbreite können mehrere FC-Geräte parallel miteinander kommunizieren. Zum Beispiel kann der RAID-Controller Daten sehr schnell aufeinanderfolgend an mehrere Festplatten senden, ohne auf die Bestätigung der einzelnen Datenpakete warten zu müssen. Da die Empfangsbestätigung durch das höhere SCSI-Protokoll ausgeführt wird, ist auf der unteren FC-Protokollebene keine Empfangsbestätigung notwendig.

In Serviceklasse 4 werden Datenpakete zwischen zwei Teilnehmern in einem Netzwerk unter Ausnutzung mehrerer Verbindungsmöglichkeiten bei garantierter Bandbreite ausgetauscht. Serviceklasse 5 ist ähnlich wie Klasse 4, jedoch bei zusätzlicher isochroner Datenübertragung

Die Definition des FC-Protokolls ist in fünf verschiedene Protokollschichten untergliedert. Die Definitionen der physikalischen Verbindungen (Kabel, Stecker, Transmitter und Receiver) werden in der sogenannten FC-0-Schicht zusammengefasst. Die FC-1-Schicht beschreibt die Bitübertragung und steuert die 8/10-Bit-Kodierung-/Dekodierung. Diese ermöglicht eine extrem niedrige Bit-Fehlerrate, erhöht aber die zu transportierende Datenmenge um 25 Prozent. Die FC-2-Schicht ist für die Steuerung des Datenflusses verantwortlich. Hier werden die einzelnen Pakete mit Adresse, Daten und CRC-Information zusammengestellt. Diese Schicht übernimmt auch das ACK-Handling. In der FC-3-Schicht werden gemeinsame Funktionalitäten von Gruppen von Netzwerkteilnehmern definiert. Die Unterstützung der höheren Protokolle (IP, IEEE 802, HIPPI oder SCSI) wird schließlich in der FC-4-Schicht geregelt. Insgesamt können in dieser Schicht bis zu 255 verschiedene höhere Protokolle definiert werden, was noch genügend Raum für zukünftige Protokolle lässt.

Die Verbindungsstrecken zwischen den einzelnen FC-Geräten bei Massenspeichersystemen sind normalerweise nicht sehr lang. Deshalb kommen hier bevorzugt Kupferkabel zum Einsatz. Für FC sind insgesamt drei verschiedene Kupferkabel (Video Coax, Miniature Coax und Shielded Twisted Pair) mit FC-DB9-Stecker (ähnlich denen der seriellen PC Schnittstelle) definiert. Mit diesen Kabeln können Strecken von bis zu 25 Metern zwischen den einzelnen Geräten realisiert werden.

Bei größeren Entfernungen nimmt man Glasfasern. Die 50-μm-MMF erreicht eine Kabellänge von 500 Metern, die 62,5-μm-MMF bis zu 175 Metern. Stecker: SC-Duplex. Mit 9-μm-SMF können bis zu 10 Kilometern überbrückt werden.

Um aufgeteilte Ressourcen zu vermeiden, werden heute für FC-SANs echte Switches eingesetzt. Ihre Backbone-Architektur kann zwischen den angeschlossenen Systemen gleichzeitig mehrere, voneinander unabhängige Verbindungen mit voller Bandbreite schalten. Mit FC-Switches lassen sich vermaschte oder kaskadierte SANs mit vielen Endgeräten konstruieren. Zwischen den Endgeräten können die Daten zumindest theoretisch frei fließen. Damit agieren FC-Switches wie Ethernet-Switches in LAN-Infrastrukturen.

Eine FC-Switching-Fabric darf heute aus maximal 239 Switches bestehen. Jeder Switch unterstützt wiederum maximal 256 Loops und 256 Ports sowie 128 Nodes pro Loop. An die Ports von FC-Switches lassen sich auch alte Endgeräte, die auf Arbitrated-Loop-Technologie optimiert sind, anschließen. Jedes Gerät im FC-SAN ist durch einen World-Wide-Node-Name (WWN) und eine 24 Bit lange Fibre-Channel-Adresse eindeutig gekennzeichnet. Die FC-Adresse setzt sich aus einem 8 Bit langen Abschnitt für die Domain und einem genauso langen Abschnitt für das Areal (den Loop) sowie 8 Bit für den Port zusammen. Die Adressen werden durch einen Fibre-Channel-spezifischen Domain Name Service (DNS) entdeckt und festgelegt.

Eine wichtige Funktion von Switches ist die Zugriffssteuerung auf die einzelnen Speichersysteme mittels Zoning. Zoning kann Hardware- und Software-basiert erfolgen. Beim Softzoning erhalten Geräte lediglich Informationen über die Systeme, mit denen sie reden dürfen. Beim Hardzoning überprüft eine Hardware alle durchlaufenden Pakete und leitet sie nur an erlaubte Adressen weiter. Eine weitere Zoning-Methode bezieht sich auf die WWN-Namen jedes Geräts oder Ports und bietet demzufolge mehr Eindeutigkeit. Neue Ansätze erlauben das Zoning bis auf die Logical Units (LUN) der angeschlossenen Speichereinheiten hinab.
Direktoren sind die Entsprechung zu Highend-Core-Switches in LANs. Sie verfügen derzeit zwischen 64 und 256 Ports und eine modulare Architektur mit Karten, die in ein Chassis eingebaut werden. Diese Geräte bieten Redundanz aller wesentlichen Komponenten, weiter gehende Management-Features und eine breitbandige Backplane für viele gleichzeitige Verbindungen mit voller Bandbreite. Die Backplane ist bei Highend-Systemen häufig doppelt ausgelegt, um Ausfälle auch an diesen kritischen Stellen zu verhindern.

Fabric Services sind Dienste, die Geräte im FC-SAN beanspruchen können. Die wichtigsten Dienste sind Name Server Support (ein Namensverzeichnis für die gesamte Fabric, das über alle Switches verteilt und somit überall verfügbar ist), Management Services, Statuskontrolle und Time Server.

FC-Hersteller sind immer recht bescheiden, denn traditionell wird bei FC nicht die Nominaldatenrate angegeben, sondern die tatsächlich nutzbare. Wir haben ja gesehen, dass FC immer die stabile 8B/10B-Codierung verwendet. Das zieht nach sich, dass bei einem 8 GbFC 10 Gbps auf der Leitung sind.

Schaut man es sich genau an, verwenden 10 GbEthernet und 8 GbFC eine praktisch identische Übertragungstechnik. So ist es auch zu erklären, dass führende FC-Hersteller für den 8 GbFC die gleichen technischen Schnittstellen angeben, wie dies führende Hersteller auch für 10 GbE machen. Sie haben nur etwas andere Namen. So entsprechen die Bezeichnungen SWL, LWL und ELWL (Short Wave Length Laser, Long Wave Length Laser und Extended Long Wavelength Laser) den aus dem 10 GbE-Universum bekannten SR, LR und ER (Short, Long und Extended Reach). Zugrunde liegen die Wellenlängenbereiche um 850nm, 1310nm und 1550nm, so dass man bei FC eben einen Bezug zu diesen Wellenlängen herstellt und sich bei Ethernet lieber auf die mit Lasern dieser Wellenlängen erreichbaren Distanzen, ein geeignetes Kabel vorausgesetzt, bezieht. Es sind aber die gleichen Transceiver z.B. in SFP- oder XFP-Gehäusen. Der einzige wirkliche Unterschied ergibt sich eigentlich nur bei Kupferkabeln. Während sowohl FC als auch 10 GbE eine Koaxvariante haben, wird STP-Verkabelung nur von 10 GBASE-T unterstützt.

Damit halten wir etwas Wichtiges fest:

Welche Strategie ein RZ-Betreiber in der Zukunft auch wählen möchte, mit OM-3-MMF-Kabeln und Standard-SMF ist man immer auf der sicheren Seite. Die CX-Verkabelung in Racks kann man leicht durch aktive optische Kabel ersetzen.

Eine STP-Variante gibt es vermutlich deshalb nicht, weil noch niemand ernsthaft auf den Gedanken gekommen ist, eine zu bauen. Technische Probleme sind jedenfalls prinzipiell auch hier nicht zu sehen. Die Behandlung von FC-Daten außerhalb der Transceiver kann ganz normal mit ASICs oder Netzwerk-Prozessoren geschehen. In einem FC-Director moderner Bauart ist eigentlich auch nichts anderes drin als in einem vergleichbaren High End Ethernet Core-Switch.

Warum hat FC eigentlich immer das Attribut „teuer“? Historisch gesehen war FC immer ein sehr hochwertiges System. Man hat früh optische Transceiver verwendet, die anfangs vollständig mit diskreten Bauteilen aufgebaut waren. Das kostet natürlich Geld. Auch bei der Steuerelektronik hat man nicht immer auf billige Elemente aus der VLSI-Entwicklung gewartet. FC hat schon 1 oder 2 Gigabit gekonnt, als Ethernet davon träumen musste. Dadurch wurden natürlich Ausbreitung und Stückzahl begrenzt. Heute sind 8 GbFC und 10 GbE grob vergleichbar, aber die Ethernet-Standardisierung hat immer gewartet, bis eine preiswerte VLSI-Elektronik möglich erschien.

Nun wäre das ja weiter noch nicht wirklich aufregend, wenn der FC-Director nach wie vor nur ein SAN und der Ethernet Core-Switch eben das Ethernet im RZ bilden würde. Mit FCoE versucht man ja aber grade, die SANs auf Ethernet-Strukturen abzubilden, um I/O-Konsolidierung zu erzielen.

« Teil 25: Neuentwicklungen für L2-StrukturprotokolleTeil 27: I/O-Konsolidierung »


zugeordnete Kategorien: LAN
zugeordnete Tags:

Sie fanden diesen Beitrag interessant? Sie können



Anmerkungen, Fragen, Kommentare, Lob und Kritik:

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

*

.