Agenten, die laufen11 Min. Lesezeit

KI-Governance: was es heißt, einen KI-Agenten zu betreiben

Inhalt

KI-Governance ist die Gesamtheit der Pflichten, Aufzeichnungen und Grenzen, die dafür sorgen, dass die Arbeit eines KI-Agenten nach dem Go-live richtig und erklärbar bleibt und eine benannte Stelle für das Ergebnis einsteht. Für einen Agenten im täglichen Einsatz heißt KI-Governance vor allem eines: Jemand betreibt ihn.

Einen KI-Agenten zu betreiben heißt fünf Dinge, alle nach dem Go-live: überwachen, was der Agent auf echten Dokumenten tut; ihn korrigieren, wenn er abdriftet; jeden Fall, bei dem er unsicher ist, an eine benannte Person übergeben; ein vollständiges Entscheidungsprotokoll führen; und gegenüber der Organisation, die ihn nutzt, für das Ergebnis einstehen. Der Bau des Agenten umfasst die Wochen eins und zwei. Der Betrieb ist alles ab Woche drei, solange der Agent läuft.

Diese Unterscheidung trennt einen KI-Agenten, der läuft, von einem, der nach dem ersten Quartal stillschweigend abgeschaltet wird. Sieben von zehn KI-Fehlschlägen gehen auf Datenqualität und Governance zurück, nicht auf das Modell. KI-Betrieb ist deshalb kein Anhang zur Einführung. Er ist der Teil, an dem sich das Ergebnis zeigt.

Wer einen KI-Agenten kauft, hat noch niemanden, der für sein Ergebnis einsteht

Viele Organisationen, die in den letzten Jahren einen KI-Agenten angeschafft haben, haben ein Werkzeug gekauft: mit Oberfläche, Abonnement und Dokumentation. Was fehlt, ist eine Person, deren Aufgabe es ist, sich anzusehen, was der Agent gestern getan hat.

Nach dem Startgespräch löst sich die Zuständigkeit auf. Der Fachbereich nimmt an, die IT schaue hin. Die IT nimmt an, der Anbieter schaue hin. Der Anbieter überwacht die Verfügbarkeit. Die Zuordnungen selbst sieht niemand an.

Die Folgen kommen langsam. Eine neue Dokumentart taucht auf und wird einen Monat lang falsch abgelegt. Ein Lieferant ändert das Layout seiner Rechnungen. Ein Fachbereich wird umbenannt. Keiner dieser Fälle ist ein Fehler des Modells. Alle sind Fehler im Betrieb, und alle enden mit demselben Satz in einer Besprechung: Die KI funktioniert nicht.

Bei einem KI-Agenten gilt KI-Governance für jeden einzelnen Fall

KI-Governance im allgemeinen Sinn regelt, wie eine Organisation mit den Risiken der KI umgeht, die sie entwickelt, einkauft und einsetzt: Richtlinien, Rollen, Prüfungen. Das KI-Risikomanagement-Rahmenwerk des US-Normungsinstituts NIST ist freiwillig und behandelt Governance als Querschnittsaufgabe, die alle anderen Schritte durchzieht. Zu seinen Zielen gehören klar festgelegte Rollen für die laufende Überwachung und Überwachungspläne für die Zeit nach der Inbetriebnahme, mit Wegen zum Eingreifen und zum Abschalten.

Ein KI-Agent ordnet jeden Fall zu, sobald er eingeht. Eine Richtlinie, die einmal im Jahr geprüft wird, reicht dafür allein nicht aus. KI-Governance muss deshalb für jeden einzelnen Fall gelten: eine Konfidenzschwelle, die den Agenten anhält, wenn er unsicher ist; ein Protokolleintrag, der jede Zuordnung erklärt; eine Person, die sich die Ergebnisse von gestern ansieht.

Auf einen betriebenen Vorgang übertragen, sehen die vier Funktionen des NIST-Rahmenwerks so aus. Das ist unsere Lesart, keine Zertifizierung:

NIST-FunktionWas sie im Rahmenwerk umfasstWas sie für einen betriebenen Vorgang heißt
Govern (Steuerung)Rollen, Verantwortlichkeiten und eine Risikokultur in der OrganisationEin benannter Betreiber, die Betriebsvereinbarung und der Fachbereich, der den Vorgang verantwortet
Map (Kontext)Den Zusammenhang, in dem die Risiken eines KI-Systems entstehenWoche eins: Klassen, Beispiele, das eine Zielsystem und was nicht zum Auftrag gehört
Measure (Messung)Methoden, um KI-Risiken zu bewerten und zu überwachenDie vor dem Start vereinbarte Trefferquote, die Abnahme in Woche drei und die Konfidenz jeder Zuordnung
Manage (Umgang mit Risiken)Die Reaktion auf erkannte und gemessene Risiken, einschließlich VorfällenÜbergabe unter der Schwelle, Korrekturen, das Entscheidungsprotokoll und ein Eingriffspfad, über den eine Person den Agenten jederzeit anhalten kann

Diese Arbeit beschreibt der Rest dieses Beitrags. Was geschieht, wenn sie fehlt, zeigt der Beitrag warum KI-Projekte scheitern.

KI-Betrieb besteht aus fünf festen Pflichten

Ein Betreiber steht für das Ergebnis des Agenten ein, so wie ein Lohnbüro für die Lohnabrechnungen einsteht. Bei uns sind die Pflichten festgelegt und stehen in der Betriebsvereinbarung.

PflichtWas sie in einer Betriebswoche bedeutetWas ohne sie geschieht
ÜberwachenJede Zuordnung ist mit ihrer Konfidenz sichtbar; wir sehen uns die Verteilung an, nicht nur einzelne Fälle.Der Fachbereich bemerkt die Abweichung Monate später, als Beschwerde.
KorrigierenFehlzuordnungen fließen als Beispiele zurück; Klassen werden angepasst, wenn sich die Organisation ändert.Derselbe Fehler wiederholt sich, bis niemand dem Agenten mehr traut.
ÜbergebenFälle unter der Konfidenzschwelle gehen automatisch an eine benannte Person, mit Begründung.Unsichere Fälle werden geraten, und niemand weiß, welche.
ProtokollierenJede Zuordnung steht im Entscheidungsprotokoll, mit Zeitstempel und Begründung.Fragt eine Prüfung, die Verwaltungsspitze oder ein Kunde nach dem Warum, gibt es keine Antwort.
EinstehenEine benannte Ansprechperson verantwortet die vor dem Go-live vereinbarte Trefferquote.Das Werkzeug hat auf dem Papier einen Verantwortlichen, in der Praxis keinen.

Der Betrieb beginnt mit einer Zahl, die feststeht, bevor es den Agenten gibt

Ein Agent lässt sich nur gegen ein Ziel betreiben. Unseres ist die Trefferquote: der Anteil der Fälle, die der Agent richtig zuordnet. Sie wird vor dem Start des Pilotbetriebs mit dem Fachbereich vereinbart, der den Vorgang verantwortet, und in Woche drei bei der Abnahme geprüft.

Alles im Betrieb bezieht sich auf diese Zahl. Die Überwachung fragt, ob die Quote hält. Die Korrektur fragt, was sie verändert hat. Die schriftliche Auswertung nach Woche sieben nennt sie.

Ohne diese Zahl wird Betrieb zur Meinungsfrage. Mit ihr braucht die Antwort auf die Frage, ob der Agent funktioniert, eine Zeile.

Ein Vorgang hält den Betrieb messbar

Wir bauen und betreiben einen Vorgang nach dem anderen: ein Eingang, eine Aufgabe, ein Zielsystem. Ein Vorgang ist alles, was täglich ankommt, dieselbe Frage beantwortet und im selben System landet. Eingangspost, die den Fachbereichen zugeordnet wird. Lieferscheine, die gelesen und an Lager, Qualitätssicherung oder Buchhaltung weitergeleitet werden. Rechnungen, deren Kopfdaten erfasst und mit einem Zuordnungsvorschlag an die Buchhaltung übergeben werden. Jeder unserer KI-Mitarbeiter ist für genau einen solchen Vorgang gebaut.

Die Grenze ist keine Bescheidenheit. Ein einstufiger Vorgang hat eine Trefferquote, eine Konfidenzschwelle und ein Zielsystem. Deshalb lässt er sich überwachen, korrigieren und auswerten. Ein mehrstufiger Ablauf mit Verzweigungen und zwei Zielsystemen hat nichts davon als einzelne Zahl, und sein Betrieb bleibt Rätselraten, so gut die Übersichten auch aussehen. Ein zweiter Vorgang ist ein zweiter Auftrag mit eigener Trefferquote.

Was der Agent tutWas der Agent nie tut
Dokument klassifizieren und einem Fachbereich oder einer Vorgangsart zuordnenGenehmigen, buchen, bezahlen oder löschen
Die Metadaten auslesen, die das Zielsystem brauchtFristen setzen oder Rechtsfolgen auslösen
Die Aufgabe in genau einem bestehenden Zielsystem anlegenIn ein zweites System zurückschreiben
Fälle unter der Konfidenzschwelle mit Begründung an eine Person übergebenIm Zweifel selbst weitermachen

Die Übergabe an einen Menschen ist der wichtigste Teil des Entwurfs

Jeder Agent liegt manchmal falsch. Die Verwaltungsspitze, die Geschäftsführung oder eine Prüfung fragt nicht, ob er falsch lag, sondern was danach geschah. Eine Konfidenzschwelle macht aus dieser Frage eine Regel: Unterhalb der vereinbarten Sicherheit hält der Agent an, übergibt den Fall an die benannte Person und protokolliert, warum. Oberhalb ordnet er zu und protokolliert, warum. Einen dritten Zustand, in dem der Agent rät, gibt es nicht.

Die Schwelle legen wir mit dem Fachbereich fest, nicht allein. Sie wird in den vier produktiven Wochen des Pilotbetriebs auf echtem Volumen eingestellt. Ist sie zu hoch, landet fast alles bei einer Person und nichts ist gespart. Ist sie zu niedrig, verschwinden Fehler im Protokoll. Der richtige Wert ist der, den der Fachbereich vertreten kann. Wie die Übergabe im Einzelnen abläuft, beschreibt der Beitrag zur Konfidenzschwelle und zum menschlichen Eingriffspfad.

Rechenschaft heißt: Jede Zuordnung lässt sich später erklären

Das Entscheidungsprotokoll ist der Nachweis des Betreibers. Für jeden Fall hält es fest, was eingegangen ist, wie der Agent zugeordnet hat, wie sicher er war, auf welcher Regel oder welchem Beispiel die Zuordnung beruht und ob ein Mensch eingegriffen hat. Es ist so geschrieben, dass die Prüfer der Organisation es lesen können.

Zum Betrieb gehört außerdem:

  • Vollständig innerhalb der EU, verantwortet aus Düsseldorf.
  • Zu jedem Pilotbetrieb gehört ein Auftragsverarbeitungsvertrag (AVV).
  • Das Entscheidungsprotokoll steht als Nachweis für Prüfungen nach der KI-Verordnung zur Verfügung.
  • Ein festgelegter menschlicher Eingriffspfad, dokumentiert und jederzeit auslösbar.

Was Feld für Feld in das Protokoll gehört, beschreibt der Beitrag zum Entscheidungsprotokoll.

Managed AI heißt hier: Wir betreiben, Ihr Fachbereich gibt Auskunft

Managed AI bezeichnet ein Modell, in dem ein Dienstleister die KI nicht nur liefert, sondern für die Organisation betreibt. Entscheidend ist, wofür er einsteht: für den Server oder für die Zuordnungen. Bei uns ist die Aufteilung festgelegt.

WerAufgabe
Fachbereichbeantwortet in Woche eins unsere Fragen zum Vorgang, nennt Klassen und Beispiele, vereinbart mit uns die Trefferquote und klärt die Fälle, die der Agent übergibt
IT oder Rechenzentrumstellt den Zugang zum Zielsystem bereit: bestehende Schnittstelle, Watch-Folder, sFTP, E-Mail oder Standard-API
Agentivobaut den Agenten in den ersten zwei Wochen und betreibt ihn danach: überwacht, korrigiert, verantwortet

Sie bauen, konfigurieren und trainieren nichts selbst. Darin liegt der Unterschied zu einem Werkzeug, das nach dem Kauf Ihrem Team gehört und von ihm betrieben werden muss.

Sieben Wochen machen aus einem Kauf einen Betrieb

Der Pilotbetrieb heißt so, weil er ab Woche drei produktiv auf echten Dokumenten läuft und keine Vorführung ist. Er hat einen Festpreis, vor dem Start vereinbart, und ein festes Ende.

WocheWas passiert
1Prozessgespräch mit dem Fachbereich, Klassen festlegen, Beispiele sichten, Zugänge klären
2Wir bauen und trainieren den Agenten, richten die Qualitätsprüfung ein und testen auf echten Dokumenten
3Abnahme gegen die vereinbarte Trefferquote, Go-live, Übergabedokument
4 bis 7Produktiver Betrieb auf echtem Volumen; wir überwachen und korrigieren
Ende Woche 7Schriftliche Auswertung: erreichte Trefferquote, bearbeitete Fälle, gesparte Zeit

Wird die vereinbarte Trefferquote erreicht, geht der Betrieb mit einer monatlich kündbaren Betriebsvereinbarung weiter. Wird sie verfehlt, endet der Pilotbetrieb ohne weitere Verpflichtung. In beiden Fällen hat die Organisation danach eine Zahl, ein Protokoll und eine schriftliche Auswertung.

Fünf Fragen an jeden Anbieter zeigen, ob er Betrieb anbietet

  1. Wer sieht sich an, was der Agent gestern getan hat, und wie heißt diese Person?
  2. Welche Trefferquote sagen Sie zu, und wie wurde sie vereinbart?
  3. Was passiert mit einem Fall, bei dem der Agent unsicher ist, und wo ist das dokumentiert?
  4. Zeigen Sie mir das Entscheidungsprotokoll für einen Fall, von Anfang bis Ende.
  5. Was genau gehört nicht zum Auftrag, schriftlich?

Ein Anbieter, der alle fünf Fragen konkret beantwortet, bietet Betrieb an. Ein Anbieter, der mit einer Roadmap antwortet, bietet ein Werkzeug an.

Häufige Fragen

Ist KI-Betrieb dasselbe wie Hosting?

Nein. Hosting hält die Software am Laufen, Betrieb hält die Zuordnungen richtig. Zum Betrieb gehören das Überwachen der Zuordnungen, das Korrigieren bei Abweichungen, die Übergabe unsicherer Fälle an eine Person, das Entscheidungsprotokoll und die Verantwortung für die vereinbarte Trefferquote. Ein gehosteter Agent, den niemand überwacht, ist nicht betrieben, so gut seine Verfügbarkeit auch ist.

Kann unser eigenes Team den Agenten betreiben?

Grundsätzlich ja, wenn jemand die fünf Pflichten als Teil seiner Stelle übernimmt und Konfidenz und Abweichungen sehen kann. In der Praxis bleiben viele Einführungen genau hier stehen: Das Werkzeug hat auf dem Papier einen Verantwortlichen und im Kalender keinen. Deshalb verkaufen wir den Betrieb und nicht das Werkzeug. Ihr Fachbereich beantwortet Fragen, den Rest übernehmen wir.

Was tut der Agent, wenn er unsicher ist?

Er hält an, übergibt den Fall mit seiner Begründung an eine benannte Person und protokolliert die Übergabe. Die Sicherheit, unterhalb derer das geschieht, ist die Konfidenzschwelle. Sie wird vor dem Pilotbetrieb mit dem Fachbereich vereinbart und auf echtem Volumen eingestellt. Im unsicheren Bereich rät der Agent nie, er übergibt.

Wie wird die Trefferquote gemessen?

Auf echten Dokumenten, bei der Abnahme in Woche drei und danach fortlaufend. Der Fachbereich prüft eine Stichprobe der Zuordnungen gegen das, was er selbst zugeordnet hätte. Der Anteil, den der Agent richtig zugeordnet hat, ist die Trefferquote. Sinkt sie, korrigieren wir den Agenten, statt darüber zu diskutieren, ob KI funktioniert.

Was gehört nicht zum Betrieb?

Ein zweiter Eingangskanal, ein zweites Zielsystem, mehrstufige Abläufe mit Verzweigungen, Eigenentwicklung gegen ein Altsystem und jede Handlung jenseits von Klassifizieren, Auslesen, Weiterleiten und Aufgabe anlegen. Jedes davon ist entweder ein zweiter Vorgang oder bewusst ausgeschlossen, damit der erste messbar bleibt.

Der nächste Schritt

Wenn in Ihrer Organisation täglich ein Eingang von Hand sortiert wird, ist das ein Vorgang, und genau dafür ist ein Pilotbetrieb da: ein Eingang, eine Aufgabe, ein Zielsystem. Festpreis, vor dem Start vereinbart. Sieben Wochen, vier davon im produktiven Betrieb auf Ihren echten Dokumenten.

Pilotbetrieb anfragen

← Zurück zu den Beiträgen