Das Wichtigste in Kürze
Das Wichtigste in Kürze- Der gefährliche Fall ist nicht der Absturz, sondern der Agent, der weiterläuft und leise Unsinn produziert
- Ohne Erwartungswert je Lauf ist jede Ausgabe plausibel und jeder Fehler unsichtbar
- Vier Kennzahlen genügen: Menge, Quote, Dauer und Anteil der Ausnahmen
- Jede Schreibaktion gehört protokolliert, sonst ist im Fehlerfall nicht rekonstruierbar, was passiert ist
Wenn ein automatischer Ablauf abstürzt, ist das unangenehm, aber harmlos. Jemand bekommt eine Meldung, schaut nach, behebt das Problem. Der teure Fall sieht anders aus: Der Ablauf läuft weiter, meldet nichts und liefert trotzdem falsche Ergebnisse. Solche Fehler bleiben im Schnitt Wochen unentdeckt, und ihre Kosten entstehen nicht durch den Ausfall, sondern durch alles, was in der Zwischenzeit auf falschen Daten aufgebaut wurde.
Warum stille Fehler so lange überleben
Ein Sprachmodell antwortet immer. Es gibt keinen Zustand, in dem es sagt, dass ihm die Grundlage fehlt. Bekommt es eine leere Liste, formuliert es eine plausible Aussage über eine leere Liste. Bekommt es ein abgeschnittenes Dokument, fasst es das ab, was es gesehen hat, ohne den fehlenden Teil zu erwähnen.
Dazu kommt die Kette dahinter. Eine Suche, die statt vierzig Treffern plötzlich null liefert, ist technisch kein Fehler. Der Folgeschritt verarbeitet null Datensätze, meldet Erfolg, und der Tagesbericht sagt, dass alles durchgelaufen ist. Er hat recht. Er sagt nur nichts darüber, ob etwas passiert ist.
Der Erwartungswert ist die wichtigste Zahl
Die wirksamste Massnahme ist zugleich die einfachste: Zu jedem Ablauf gehört eine Erwartung, wie viel er normalerweise leistet. Ein Belegabgleich verarbeitet an einem Werktag zwischen vierzig und sechzig Positionen. Ein Posteingangsagent sortiert zwischen achtzig und hundertzwanzig Nachrichten.
Erst diese Zahl macht Abweichungen sichtbar. Drei statt fünfzig Positionen sind dann keine unauffällige Ausgabe mehr, sondern ein Alarm. Ohne Erwartungswert ist jede Zahl plausibel, weil es nichts gibt, womit man sie vergleicht.
Vier Kennzahlen reichen zum Start
- 1Menge: Wie viele Vorgänge wurden je Lauf verarbeitet, verglichen mit dem Erwartungsbereich
- 2Erfolgsquote: Welcher Anteil der Durchläufe kam sauber bis zum Ende
- 3Laufzeit: Wie lange dauerte ein Durchlauf, denn Ausreisser nach oben und unten zeigen beide Probleme
- 4Ausnahmen: Welcher Anteil landete in der manuellen Bearbeitung, denn ein stiller Anstieg frisst die Ersparnis auf
Diese vier Zahlen brauchen kein eigenes Werkzeug. Ein täglicher Kurzbericht in den Kanal, in dem ohnehin gearbeitet wird, reicht vollständig, solange er die Erwartung mitliefert und nicht nur den nackten Wert.
Das Protokoll ist keine Kür
Jede Schreibaktion eines Agenten gehört protokolliert: Zeitpunkt, auslösender Vorgang, betroffener Datensatz, Ergebnis. Das klingt nach Bürokratie, bis zum ersten Mal ein Kunde eine falsche Information bekommen hat und die Frage im Raum steht, was das System eigentlich getan hat.
Ohne Protokoll ist diese Frage nicht beantwortbar. Mit Protokoll dauert die Antwort zwei Minuten. Der Unterschied zeigt sich nie im Normalbetrieb, sondern genau dann, wenn es unangenehm wird.
Wer schaut eigentlich hin
Überwachung ohne Zuständigkeit ist wirkungslos. Zu jedem produktiven Ablauf gehört eine Person, die den Kurzbericht tatsächlich liest, und eine Vertretung für Ferien und Krankheit. Wenn eine Meldung in einem Kanal landet, den alle sehen und niemand verantwortet, wird sie zuverlässig übersehen.
Fazit von Marcel
Der Lauf, der mir am meisten beigebracht hat, hat nie eine Fehlermeldung erzeugt. Ein Abgleich lief wochenlang sauber durch und verarbeitete jeden Morgen null Datensätze, weil sich eine Bedingung weiter oben in der Kette geändert hatte. Technisch war alles grün. Seitdem ist meine erste Frage bei jedem neuen Ablauf nicht, was er tut, wenn er abstürzt, sondern wie ich merke, dass er nichts mehr tut. Wer darauf keine Antwort hat, hat keinen Betrieb, sondern eine Hoffnung.
Marcel Kaschner · Founder & Managing Director, ZAVION
Häufige Fragen
Was ist der Unterschied zwischen einem Absturz und einem stillen Fehler?
Ein Absturz meldet sich. Er erzeugt eine Fehlermeldung, jemand wird benachrichtigt, das Problem wird behoben. Ein stiller Fehler läuft technisch einwandfrei durch und liefert trotzdem ein falsches Ergebnis, etwa weil eine Suche keine Treffer mehr hat oder eine Schnittstelle leere Felder zurückgibt. Genau diese Fälle laufen oft wochenlang, bevor sie auffallen.
Welche Kennzahlen braucht man mindestens?
Vier reichen für den Anfang: die Menge der verarbeiteten Vorgänge je Lauf, der Anteil erfolgreicher Durchläufe, die Laufzeit und der Anteil der Fälle, die in die manuelle Bearbeitung gehen. Wandert eine dieser vier Zahlen deutlich weg vom Erwartungswert, stimmt etwas nicht, auch wenn keine Fehlermeldung vorliegt.
Warum ist der Erwartungswert so wichtig?
Weil eine Ausgabe ohne Vergleichsgrösse immer plausibel wirkt. Wer weiss, dass ein Lauf normalerweise zwischen vierzig und sechzig Belege verarbeitet, erkennt drei Belege sofort als Störung. Wer es nicht weiss, sieht nur, dass der Lauf erfolgreich war.
Was gehört in ein Protokoll?
Jede Schreibaktion mit Zeitpunkt, auslösendem Vorgang, betroffenem Datensatz und Ergebnis. Ohne diese Spur ist im Fehlerfall nicht rekonstruierbar, was ein Agent tatsächlich verändert hat, und genau das braucht man, wenn ein Kunde eine falsche Information erhalten hat.
