Ausfall: Microsoft Exchange
Ausfall des Microsoft Transport Agents der gesamten Exchange Umgebung
Durch einen schwerwiegenden Bug in unserer Microsoft Exchange Umgebung, betroffen sind bei Microsoft alle Exchange Versionen von 2013 - 2019, ist die Zustellung und der Versand aller Mails gestört gewesen!
Betroffen sind:
- Alle ein und ausgehenden Mails von unserer Umgebung und zu unsere Umgebung
- Ebenfalls die Zustellung aller Mails innerhalb unserer Umgebung
Es hat keinen Verlust an e-Mails gegeben
Der Bug hat dafür gesorgt, dass die entsprechende Komponente des Transport Agents, der sog. Malware Agent, gestört funktioniert hat und die Mails nach der Zuweisung auf dem entsprechenden Mailbox Server in der Queue gehalten hat. (Fehlermeldung: "Die Nachricht wurde vom Kategorisierungs-Agent zurückgestellt")
Dadurch sind die e-Mails nicht korrekt zugestellt worden, aber sie wurden angenommen und verblieben in der Queue. Nach Lösen des Problems sind alle e-Mails entsprechend korrekt zugestellt worden.
Time Table des Ausfalls
- Bedingt durch den Zeitpunkt des Ausfalls (01.01 und ein Samstag) und den Bedingungen (es hat keine generelle Fehlermeldung gegeben und auch die Agenten selbst lieferten keinen Fehler zurück, blieb der Ausfall leider mehrere Stunden unentdeckt.
- Erst gegen 17 Uhr sind bei einem täglichen Routine Report mehrere ansteigende Queues aufgefallen.
- Umgehende Fehleranalysen haben gegen 17:35 die Ursache des Ausfalls zu Tage gefördert.
- Der schnelle Work-around wurde auf einem Node zum testen der Lösung um 17:43 ausgeführt:
Get-TransportAgent "Malware Agent" | Disable-TransportAgent - Nach unmittelbarer Ausführung sind alle zurückgehaltenen e-Mails umgehend wieder zugestellt worden.
- Um 17:52 ist die Lösung auf allen Mailbox Nodes ausgeführt worden, daher sind die betroffenen e-Mails auch erst mit Zeitstempel 17:52 in der Kunden Mailboxen eingelangt.
Fazit:
Dieser Bug hat weltweit viele Unternehmen betroffen, so leider auch uns. Glück im Unglück kann man zusammenfassen, dass die Kombination durch den Neujahres Feiertag sowie einem Samstag dafür gesorgt hat, dass unsere Kunden außerhalb von Online Shop Betreibern kaum eine Einschränkung erfahren haben.
Die Situation hat aber auch wieder grundsätzlich gezeigt, wie wichtig vorhandenes Know-How in Kombination mit entsprechender Flexibilität ist. So sind viele Unternehmen weltweit bis in den heutigen Montag mit diesem Problem konfrontiert gewesen.
Mittlerweile hat auch Microsoft einen entsprechenden automatischen Fix für dieses Problem released, der das Problem dauerhaft löst.
Ich entschuldige mich für etwaige Unannehmlichkeiten durch diesen Ausfall gleich zu Jahresbeginn und hoffe, Sie sind dennoch gut im Jahr 2022 gelandet!
Ihr Magnus Witzik, opti-net IT-Solutions