nach oben

News

Ausfallsichere Netzversorgung der IT im RZ mit sicherem Personenschutz
4. April 2019 -

Die ausfallsichere Stromversorgung der IT im Rechenzentrum (RZ) hat oberste Priorität. Somit ist ein RCD (Fehlerstromschutzschalter, früher FI) an der Steckdosenleiste, der im Fehlerfall abschaltet, absolut kontraproduktiv – auch weil die RCD’s regelmäßig durch Abschalten geprüft werden müssten. RCD’s sind in Deutschland für Steckdosen bis 32A zu verwenden. Die Versorgung der IT im RZ ohne den Einsatz von RCD beschreibt der folgende Bericht.

Zur Stromversorgung der Server im Datacenter (DC) dienen PDU (Power Distribution Unit), die als Steckleisten im 19‘‘ Rack angeordnet sind. Im IT-Umfeld sind auf der Steckleiste Kaltgerätebuchsen C13, C19 oder auch Schuko-Steckdosen gebräuchlich. Diese werden zur Sicherstellung der Verfügbarkeit von zwei redundanten, mit USV (Unterbrechungsfreie Stromversorgung) und Dieselaggregat abgesicherten, elektrischen Netzen versorgt. Dazu sind hohe Investitionen notwendig, um den Strom hochverfügbar (z.B. in der Verfügbarkeitsklasse 3 nach DIN EN 50600) für die Server zur Verfügung zu stellen. Eine typische Rack-Versorgung mit roter PDU für die A-Versorgung und der blauen B-Versorgung ist im folgenden Bild dargestellt.

Abb.1: Serverschrank PDU

Der hohen Verfügbarkeit widerspricht die Forderung aus der VDE 0100 Teil 410, dass alle für elektrotechnische Laien – zu denen auch die IT-Spezialisten gezählt werden müssen – zugängliche, zu allgemeinen Verfügung stehende, Steckdosen bis 32A mit einem RCD, engl. Residual Current Device (auch als FI bezeichnet), ausgestattet sein müssen. RCD schaltet die Steckdose im Fehlerfall, wenn Strom über die Erdung / den Schutzleiter fließt, automatisch ab. Je nach Anforderung an das Rechenzentrum (RZ), der Zugänglichkeit und der Ausbildung der im Whitespace beschäftigten Mitarbeiter bestehen verschiedene Möglichkeiten, Schutzziele und Verfügbarkeitsziele zu erreichen.

Elektrische Sicherheit für Elektroinstallationen leitet sich allgemein aus der VDE 0100 ab. Abweichungen von der Norm sind grundsätzlich möglich, wenn alternative Schutztechniken verwendet werden. Im Bericht werden dazu zwei Lösungen aufgezeigt:

1. RCM (engl. Residual Current Monitoring) Lösung

Im Applikationsbeispiel wird die Gefährdungsbeurteilung nach Betriebssicherheitsverordnung (BetrSichV) beschrieben, die den Schutz der elektrotechnischen Laien durch die permanente Überwachung mit RCM auf eine sichere Basis stellt, indem es den arbeitsrechtlichen Anforderungen entspricht und dadurch die rechtliche Sicherheit bietet.

2. EUP (elektrisch unterwiesene Personen) Lösung

Eine weitere Möglichkeit ist in der VDE 0100-Teil 410:2018-10 beschrieben. Um auf den RCD (FI) im RZ verzichten zu können, muss die allgemeine Verwendung der Steckdosen und die Benutzung durch Laien dauerhaft ausgeschlossen werden. Die notwendigen Maßnahmen sind im Rahmen einer Gefährdungsbeurteilung festzulegen. Im weiteren Bericht wird auf diese zweite Lösung anhand einer Anwendung detailliert eingegangen.

RCM-Lösung

Der Applikationsbericht beschreibt den Prozess der Gefährdungsbeurteilung und zeigt die RCM-Lösung im Bereich der betriebssicheren Rack-Versorgung mit hohem Personenschutz in Rechenzentren auf.

Bei unserem Kunden verzögert sich die Investition in ein neues zentrales Rechenzentrum aus strategischen Gründen. Ein vorhandener Serverraum wird deshalb temporär wieder besiedelt. Hier sind alle Zuleitungen zu den Racks mit RCD (FI) 0,03 A ausgestattet. Der IT-Verantwortliche hatte in der Vergangenheit einen Ausfall der Gefahrenmeldeanlage durch einen FI-Fall. Diese technische Störung verursachte einen Polizeieinsatz. In einer Kreisstadt im ländlichen Raum wurde das auf dem kurzen bayerischen Dienstweg zwar schnell gelöst, doch eine dauerhafte Lösung zum Ersatz des RCD (FI) sollte nun her.

Für diesen Anwendungsfall bot es sich an, den RCD durch die RCM-Lösung zu substituieren. RCM verwendet dieselbe Messtechnik zur Detektion des Fehlers wie der RCD. Er schaltet den Stromkreis im Gegensatz zum RCD nicht automatisch ab, sondern alarmiert den Fehler. Für den IT-Verbraucher bleibt somit auch im Fehlerfall die Stromversorgung gewährleistet, es kommt zu keinem Ausfall.

In der Abbildung wird anhand eines schleichenden Fehlers die Funktion des RCM erläutert.

Abb.2: Zeitlicher Verlauf des Feherstroms am Rack

Diese Überwachung hat Einzug in neue, moderne Rechenzentren genommen. Beim Kunden gab es durch die Sicherheitsfachkraft die klare Anforderung, dass eine Steckdose ohne automatische Abschaltung im Fehlerfall nicht betrieben werden darf. Die Arbeitsschutz-Philosophie und die Gesetze zur Arbeitssicherheit untersagen den Verzicht auf Sicherheitsmaßnahmen zum Schutz von Personen und fordern gleichwertige Ersatzmaßnahmen. Der Betreiber hat die Betriebssicherheitsverordnung als gesetzliche Grundlage und weitere Vorschriften für seine Mitarbeiter zwingend einzuhalten.

In der Betriebssicherheitsverordnung wird vom Arbeitgeber die Erstellung einer Gefährdungsbeurteilung für die Arbeitsplätze gefordert. Mit dieser Gefährdungsbeurteilung versetzt sich der Arbeitgeber in die Lage, den Arbeitsplatz zu analysieren, die notwendigen Arbeitsschutzmaßnahmen zu ergreifen und auch zu dokumentieren. Mit der Dokumentation weist er nach, seiner Verantwortung und Vorsorgeverpflichtung vollumfänglich nachgekommen zu sein, und kann diese für die Anpassung der Aufgaben und Arbeitsbedingungen nutzen.

Im Fall des RZ wird die Abweichung vom Schutz der Steckdosen ohne die automatische Abschaltung in der Gefährdungsbeurteilung analysiert und die Gegenmaßnahmen beschrieben und bewertet.

Der Ablauf der Gefährdungsbeurteilung gliedert sich in sechs Schritte, die am nachfolgenden Applikationsbeispiel erläutert werden.

 1. Festlegen von Arbeitsbereichen und Tätigkeiten

Zusammen mit dem IT-Personal wurden für das RZ vier Arbeitsbereiche im Whitespace erarbeitet: Installation steckerfertiger, herstellergeprüfter IT-Komponenten, Fehlersuche und Behebung in der IT-Technik, Wartung TGA (Technische Gebäude Ausrüstung), Operatortätigkeiten.

Beispiel:

„Es werden Wartungsarbeiten und Installationen von IT-Komponenten, z.B. Server-Switche, Router usw. durch IT-Mitarbeiter und externe Dienstleister durchgeführt.
Die Installation besteht aus dem Einbau in die Racks und dem Anschluss von fertig gelieferten Komponenten. Dazu wird die Stromversorgung der Komponenten durch das Einstecken der Netzkabel an der PDU (Power Distribution Unit /Steckdosenleiste) im Rack hergestellt. Des Weiteren werden Verbindungen zum Netzwerk mit Cu-Patchkabel oder LWL-Patchkabel ebenfalls durch Stecken hergestellt.
Im Serverraum erfolgen optische Sichtprüfungen durch IT-Mitarbeiter.
Im Serverraum werden Netzwerkverbindungen durch Patchen von IT-Mitarbeitern hergestellt.
Bei der Fehlerbehebung an den IT-Geräten werden fertige Hot-Plug-Komponenten (Festplatten, Speicher, Netzteile und dergleichen) durch IT-Mitarbeiter und externe Dienstleister ausgetauscht.“

2. Ermitteln der Gefährdungen

Alle einzelnen Gefährdungsfaktoren anhand einer Checkliste abzuarbeiten, gewährt eine vollumfängliche Betrachtung.

Beispiel (Auszug):

Beschreibung der Gefährdung Gefährdung ist nicht vorhanden Gefährdung ist vorhanden
     
2. Elektrische Gefährdungen    
2.1 Elektrischer Schlag X  
2.2 Lichtbögen X  
2.3 Elektrostatische Aufladungen X  
2.4 Kein RCD (FI) für die PDU Steckdosen in den Racks   X

3. Beurteilen der Gefährdungen

Die unter 2 ermittelten Gefährdungen werden mit den Regeln des Arbeitsschutzes, der geltenden Gesetze, der Normen, firmenspezifischen Regelungen und organisatorischen Kriterien abgeglichen und bewertet.

Beispiel:

„Der in der (VDE 0100 Teil 410, 2018-10) Abschnitt 415.1 und 411.3.3 geforderte Schutz der Steckdosenleisten in den Racks (PDU) durch RCD (FI) ist nicht vorhanden. Im Fehlerfall (es fließt ein Ableitstrom > 30mA) erfolgt keine automatische Abschaltung der Steckdose. Der Basisschutz im TN-Netz, die Abschaltung durch Überstromschutzeinrichtung, bleibt erhalten. Eine Meldung vor Erreichen der Alarmschwelle von 30 mA wird bereits bei 25 mA (= Warnschwelle) abgesetzt.
Es werden nur von elektrotechnischen Laien benutzbare IT-Geräte eingesetzt. Stromführende Komponenten an den Geräten, z.B. Netzteile, sind anschlussfertige Komponenten, die von elektrotechnischen Laien getauscht werden dürfen. Es besteht bei allen Arbeiten kein Zugriff auf stromführende Teile. Aus Verfügbarkeitsgründen erfolgt der Tausch in Stecktechnik.“

4. Festlegen konkreter Arbeitsschutzmaßnahmen nach dem Stand der Technik

(bei diesem Schritt ist die Rangfolge der Schutzmaßnahmen nach § 4 Arbeitsschutzgesetz zu beachten)

Beispiel:

„Anstelle der RCD (FI) erfolgt der Einbau von RCM-Messungen für die Stromkreise mit Steckdosen in den Racks.
RCM‘s werden auf eine Alarmschwelle von 30mA Differenzstrom eingestellt. Dieser Schwellenwert entspricht dem Auslösestrom des RCD für die Steckdose.
Die Alarme werden vor Ort im Serverraum und vor der Eingangstür zum Serverraum mit einer Blitzleuchte sowohl optisch als auch akustisch (Summton für MA im Raum) signalisiert. Alarme werden auf das IT-Überwachungssystem gemeldet, das während der Arbeitszeit besetzt ist.
Bei RCM-Alarm sind die Arbeiten an den Racks sofort abzubrechen. Das Rechenzentrum ist zu verlassen. Die Fehlersuche wird unter der Führung einer Elektrofachkraft durchgeführt.
Die Alarmschwelle liegt bei 30 mA, sowie die Warnschwelle bei 25 mA. Die jeweiligen Meldungen erfolgen an das IT-Überwachungssystem.
Die Serverräume werden von einer Elektrofachkraft betreut. Die Reaktionszeit während der Regelarbeitszeit beträgt 4h.
Die Räume dürfen nur von unterwiesenen Personen betreten werden.
Die Mitarbeiter und Fremdfirmen werden zum Verhalten bei RCM-Alarm eingewiesen.“

5. Durchführen der Maßnahmen

In der folgenden Abbildung 3 Blockschaltbild RCM für das Rack ist der prinzipielle Aufbau und die Verschaltung der Komponenten dargestellt. Das RCM-Gerät mit dem Wandler sind in der UV-Whitespace verbaut. Die Blitzleuchten-Hupen-Kombination für den örtlichen Alarm ist an zentraler Stelle im Whitespace angeordnet. Das CheckMK-System steht außerhalb des RZ im IT-Operation-Büro.

Abb.3: Blockschaltbild RCM für das Rack

Um den Umbau der IT-Unterverteilung sicher und fehlerfrei durchführen zu können, ist eine detaillierte Planung der Umbauschritte erforderlich. Die Umsetzung wird in notwendige Schritte untergliedert und in einem Zeitplan beschrieben und getrackt.

Wichtig war dem Kunden, die Funktion der technischen Geräte von einer dritten unabhängigen Stelle prüfen zu lassen. Das kann ein interner Prüfprozess, ein externer Prüfer oder, sofern erforderlich, ein Sachverständiger sein.

Im Zentrum des Umbaus stand die IT-Unterverteilung, bei welcher der neue Stromlaufplan vor der Verdrahtung erstellt wurde. Ein Auszug ist in der folgenden Abbildung dargestellt:

Abb.4: Auszug Stromlaufplan

In der unten abgebildeten Verteilung stand genügend freier Hutschienenplatz zur Verfügung, was die Installation der Differenzstromwandler sehr erleichterte. Der gewählte Hersteller bietet Hutschienenmodule mit vier Wandlern an, die für 230V-Wechselstromabgänge sehr gut geeignet sind. In Abbildung 5 Aufbau UV RZ 2 ist die UV nach erfolgtem Umbau mit dem RCM-Gerät und den Wandlern zu sehen.

Abb.5: Auszug UV-RZ 2

Auf der Außentür der Unterverteilung wird ein Visualisierungspanel installiert, an dem alle Differenzstromwerte angezeigt werden. Der Zustand des Meldeausgangs wird in einer Übersicht dargestellt. Das Panel wird in einer passwortgeschützten Bedienebene zur Einstellung der Warnschwellen und Alarmwerte genutzt (siehe Anzeige Messwerte Differenzströme).

Abb.6: Anzeige Messwerte Differenzströme

Für das permanente Monitoring wird die RCM-Messtechnik über SNMP (engl. Simple Network Management Protocol) auf das IT-Monitoring-System CheckMK aufgeschaltet. Der Kunde nutzt das System, um seine gesamte IT- und Netzwerkinfrastruktur zu überwachen. Die RCM-Warnmeldungen und die Alarme werden von der IT direkt bearbeitet, um z.B. bei Warnwertüberschreitung die defekte Komponente mit der Elektrofachkraft schnellstmöglich zu lokalisieren und zeitnah zu tauschen (siehe Monitoring auf CheckMK).

Abb.7: Monitoring auf CheckMK

Alle Maßnahmen sind zu prüfen und die Umsetzung anhand einer Checkliste zu dokumentieren. Die nachfolgende Liste dokumentiert die Umsetzung:

Abb.8: Beispiel Prozess Maßnahmenkontrolle

6. Überprüfen der Wirksamkeit der Maßnahmen

Es wird ein Prozess für die Überprüfung der Maßnahmen festgelegt.

Beispiel:

„Die Gefährdungsbeurteilung erfolgt mindestens jährlich sowie nach signifikanten Vorkommnissen durch bzw. auf Veranlassung des Referatsleiters.
Die Unterweisung der Mitarbeiter ist jährlich zu wiederholen bzw. nach signifikanten Vorkommnissen.
Der Vertrag mit der Elektrofachkraft ist jährlich zu prüfen.
Es findet eine jährliche Sichtprüfung durch eine Elektrofachkraft statt.
Die Funktion der RCM Geräte ist in den Prüffristen der Wiederholungsprüfung der Unterverteilung nach (DGUV Vorschrift 3, 1997) alle 4 Jahre zu prüfen.“

Zusammenfassung

Personensicherheit beim Umgang mit Elektroinstallationen leitet sich aus der VDE 0100 ab. Abweichungen von der Norm sind grundsätzlich möglich, wenn alternative Schutztechniken verwendet werden. In der Praxis ist dies schwer umsetzbar und wegen des unkalkulierbaren Risikos für den Verantwortlichen im Bereich von Elektroanlagen inakzeptabel. Mit der Gefährdungsbeurteilung kann eine Abweichung von der elektrischen Sicherheitsnorm im Bereich der Rechenzentren verantwortet werden. Die Gefährdungsbeurteilung analysiert und bewertet die Gefährdungen. In ihr werden die Schutzmaßnahmen festgelegt und ihre Umsetzung verfolgt und dokumentiert. Die Gefährdungsbeurteilung bindet die Arbeitssicherheit mit ein und stellt das Vorgehen auf eine gemeinsame Verantwortlichkeit.

Bei fachlichem und korrektem Umgang steht die Gefährdungsbeurteilung nicht im Widerspruch zur geforderten Netzversorgung für Server im Rechenzentrum. Anhand der hier beschriebenen sechs Schritte kann eine mögliche, praxisrelevante Vorgehensweise und das Zusammenspiel dieser konträren Thematiken dargestellt werden. In der Praxis wird dieser Prozess bereits erfolgreich im hier beschriebenen Rechenzentrum umgesetzt.

Ulrich Föll
Dipl.-Ing. (FH) Elektrotechnik
Projektleiter
dc-ce RZ-beratung

Quellenverzeichnis

DIN EN 50600-1; VDE 0801-600-1. (2018-10). Informationstechnik – Einrichtungen und Infrastrukturen von Rechenzentren – Teil 1: Allgemeine Konzepte.
ASR_V3. (Juli 2017). Gefährdungsbeurteilung, Technische Regel für Arbeitsstätten. BAuA, Bundesanstalt für Arbeitsschutz und Arbeitsmedizin.
BetrSichV. (letzte Änderung: 18.10.2017). Verordnung über Sicherheit und Gesundheitsschutz bei der Verwendung von Arbeitsmitteln.
DGUV Vorschrift 3. (1997). Unfallverhütungsvorschrift Elektrische Anlagen und Betriebsmittel. Deutsche Gesetzliche Unfallversicherung Spitzenverband.
Fritzen, G. (2017-1). Universalwerkzeug Differenzstrom-Überwachung, Whitepaper AN1029/V01. Janitza electronics GmbH.
TRBS 1111. (März 2018). Technische Regeln Betriebssicherheit, Gefährdungsbeurteilung. Bundesinnenministerium GMBl 2018, S. 401 [Nr. 22].
VDE 0100 Teil 410. (2018-10). Errichten von Niederspannungsanlagen Teil 4-41: Schutzmaßnahmen – Schutz gegen elektrischen Schlag. VDE Verlag.