Zurück

Lehren aus dem massiven AWS-Ausfall von Amazon

NB Autor by NetBrain 22. März 2017

Es ist keine Eilmeldung zu sagen, dass Menschen nicht perfekt sind. Viele Unternehmen verlassen sich jedoch auf die unrealistische Erwartung, dass ihre IT-Teams niemals einen Fehler machen werden. Laut der laufenden Forschung des Uptime Institute gerät die IT tatsächlich ins Hintertreffen, wenn es darum geht, die Systeme und Dienste am Laufen zu halten, wobei mehr Ausfälle gemeldet werden, die jeweils länger andauern und größere negative Auswirkungen auf das Geschäft haben. Und die Migration Ihrer IT-Services zu den Cloud-Anbietern ist NICHT die Antwort.

AWS-Ausfall 1

Der Ausfall von Amazon Web Services (AWS) im Jahr 2017 ist ein Paradebeispiel. Nach jedem größeren Ausfall bricht Panik aus, und der Druck auf die IT-Teams, das Problem schnell zu identifizieren und zu beheben, kann enorm sein. Dabei kann etwas so Banales wie ein Tippfehler die Ursache sein. Ein einfacher menschlicher Fehler, der dennoch weltweit Chaos bei den Fortune-2000-Unternehmen anrichtete.

Im Fall von Amazon passierte genau das, als ein Techniker versuchte, ein Problem mit seinem Abrechnungssystem zu beheben:

„Ein autorisiertes Mitglied des S3-Teams führte gemäß einem festgelegten Ablaufplan einen Befehl aus, der dazu dienen sollte, eine kleine Anzahl von Servern eines der S3-Subsysteme zu entfernen, das vom S3-Abrechnungsprozess verwendet wird. Leider wurde eine der Eingaben für den Befehl falsch eingegeben , wodurch eine größere Anzahl von Servern als beabsichtigt entfernt wurde.“

Wie die meisten menschlichen Fehler hätte auch dieser vermieden werden können, und zwar nicht nur durch etwas aufmerksameres Tippen. Tatsächlich können Änderungen an einzelnen Geräten vorgenommen werden, nur um festzustellen, dass die IT-Dienste, die diese Geräte durchlaufen, unbeabsichtigt beeinträchtigt wurden. In der Netzwerkwelt kann das Problem sehr akut sein. Traditionell erforderte das Netzwerk-Engineering viel manuelle Arbeit, von der Datenerfassung bis zur manuellen Fehlerbehebung. Handarbeit, insbesondere mühsame Handarbeit, führt oft zu menschlichem Versagen. Und selten durchlaufen alle Anwendungen und Dienste, die an geänderten Geräten beteiligt sind, proaktiv eine Qualitätskontrolle, um sicherzustellen, dass sie voll funktionsfähig sind. Im Fall von AWS arbeitete ein Techniker ein etabliertes Playbook durch und machte einen einfachen Tippfehler, aber es hätte leicht sein können, dass die Änderung korrekt vorgenommen wurde, aber sie hatte unbeabsichtigte Folgen für die IT-Services. Es passiert ständig.

At NetBrain, haben wir unser gesamtes Netzwerkproblem-Diagnose-Automatisierungssystem entwickelt, um die mühsame und inkonsistente manuelle Arbeit zu minimieren, indem wir die Netzwerkautomatisierung durch Executable implementieren Runbooks. Und indem wir unser Echtzeitmodell des Netzwerks und die beabsichtigten erwarteten Ergebnisse nutzen, können wir überprüfen, ob die Änderung gut für das Unternehmen war.

Anstatt sich auf traditionelle, basisorientierte Bemühungen zu verlassen, bei denen Wissen oft nur auf Papier vorliegt oder auf ein Expertenteam beschränkt ist, können Netzwerktechniker ihre bewährten Best-Practice-Prozesse in ausführbare Dateien umwandeln, die mit Kollegen geteilt werden können und dann mit minimalem menschlichen Eingriff funktionieren. Die Macht von intent-based automation Die Vorteile gehen über die Fehlerreduzierung hinaus. Sie beschleunigen auch die Fehlersuche und verteilen die Arbeitslast komplexer Aufgaben auf mehrere Teammitglieder. Dadurch wird die übermäßige Abhängigkeit von implizitem Wissen verringert und eine stärkere Kultur der Zusammenarbeit zwischen den Netzwerk-, Sicherheits- und Change-Management-Teams gefördert. Es ist ein Mittel, um Wissen und Erfahrung in jeder Organisation zu skalieren.

Die Digitalisierung von Best Practices und die Automatisierung ihrer Ausführung ist der Schlüssel. Wenn AWS etwas Ähnliches wie Executable genutzt hätte Runbooks, es ist durchaus möglich, dass der Ausfall vermieden wurde. In unserer Welt können Netzwerkteams problemlos ausführbare Dateien erstellen, ausführen und freigeben Runbooks. Und mit ihnen können sie Probleme beheben, Netzwerklangsamkeit diagnostizieren, sich proaktiv vor Fehlkonfigurationen schützen und vieles mehr – alles ohne Angst zu haben, dass die Frau mit den dicken Fingern singt.

Erfahren Sie mehr über Ausführbare Datei Runbooks und wie Netzwerkingenieure Wissen teilen, manuelle Arbeit reduzieren und das Netzwerk verbessern können.

Weitere Artikeln