Agenten, die laufen7 Min. Lesezeit

KI-Projekt gescheitert: warum es meist an Daten und Governance liegt

Inhalt

KI-Projekt gescheitert? Dann lag es meist nicht am Modell. Sieben von zehn KI-Fehlschlägen gehen auf Datenqualität und Governance zurück, nicht auf das Modell. Die Tabelle zeigt fünf typische Ursachen, woran man sie erkennt und welcher Mechanismus im Betrieb eines KI-Agenten jede davon abfängt:

UrsacheWoran man sie erkenntWas sie abfängt
Keine messbare AufgabeDas Vorhaben heißt „KI für unsere Dokumente“, und niemand kann hinterher sagen, ob es funktioniert hatEin Vorgang und eine Trefferquote, die vor dem Start vereinbart ist
Daten, die nicht zur Aufgabe passenDas System kennt allgemeine Beispiele, aber nicht die Dokumente und Klassen der eigenen OrganisationKlassen und Beispiele, in Woche eins mit dem Fachbereich festgelegt, und ein Test auf echten Dokumenten in Woche zwei
Niemand verantwortet das Ergebnis nach dem Go-liveDas Werkzeug läuft, aber niemand sieht sich an, was es gestern getan hatEin Betreiber, der überwacht, korrigiert und für die vereinbarte Trefferquote einsteht
Unsichere Fälle werden geratenFehler tauchen Wochen später als Beschwerden aufEine Konfidenzschwelle, unterhalb derer der Agent den Fall an eine benannte Person übergibt
Niemand kann eine Zuordnung erklärenEine Prüfung oder die Geschäftsführung fragt nach dem Warum, und es gibt keinen EintragEin Entscheidungsprotokoll mit Zeitstempel und Begründung für jeden Fall

Die meisten KI-Fehlschläge beginnen außerhalb des Modells

Das Modell bekommt die meiste Aufmerksamkeit, ist aber meist nicht der Teil, der versagt. Die US-Forschungsorganisation RAND hat 65 erfahrene Datenwissenschaftler und Ingenieure befragt, warum KI-Projekte scheitern (RAND, 2024). Am häufigsten nannten sie zwei Ursachen: ein falsch verstandenes Problem, bei dem Modelle auf die falsche Kennzahl optimiert werden, und fehlende Daten, die zur Aufgabe passen. Dazu kamen Technik um ihrer selbst willen, fehlende Infrastruktur, um Daten zu verwalten und Modelle in den Produktivbetrieb zu bringen, und Probleme, die für KI zu schwer sind. Nur die letzte dieser Ursachen betrifft die Grenzen der Technik.

Auch die Abhilfe liegt deshalb meist nicht im Modell. Sie liegt in der Aufgabe, in den Daten und in der Frage, wer nach dem Go-live hinsieht.

Ohne messbare Aufgabe kann ein Projekt weder gelingen noch scheitern

Die häufigste Ursache in den Interviews von RAND ist ein Problem, das nie genau genug beschrieben wurde. „KI für unsere Dokumente“ ist eine Richtung, keine Aufgabe. Es gibt keine Zahl, die zeigt, ob es funktioniert hat, und so endet das Vorhaben in einer Diskussion statt in einem Ergebnis.

Wir beginnen deshalb mit einem Vorgang: ein Eingang, eine Aufgabe, ein Zielsystem. Eingangspost, die den Fachbereichen zugeordnet wird, ist ein Vorgang. Lieferscheine, die an das Lager gehen, oder Rechnungen, die mit einem Zuordnungsvorschlag an die Buchhaltung übergeben werden, sind es auch. Vor dem Start des Pilotbetriebs vereinbaren wir mit dem Fachbereich, der den Vorgang verantwortet, eine Trefferquote: den Anteil der Fälle, die der Agent richtig zuordnen soll. Die Abnahme in Woche drei misst gegen diese Zahl.

Datenarbeit gehört zur Aufgabe, nicht in ein Programm für das ganze Haus

Datenqualität klingt nach einem Vorhaben für die ganze Organisation. Für einen Vorgang ist sie kleiner und greifbarer: die Klassen, denen der Agent zuordnet, Beispiele für jede Klasse und der Zugang zu den Dokumenten, die tatsächlich ankommen.

In Woche eins sichten wir mit dem Fachbereich echte Beispiele und legen die Klassen fest. In Woche zwei bauen und trainieren wir den Agenten und testen ihn auf echten Dokumenten. Lücken in den Daten zeigen sich so im Test auf den eigenen Dokumenten der Organisation, nicht Monate nach dem Go-live.

Fehler nach dem Go-live bleiben unsichtbar, wenn niemand den Agenten betreibt

Die Befragten bei RAND beschreiben Organisationen, die von Prototyp zu Prototyp springen und dann blind sind für Fehler, die erst nach der Inbetriebnahme auftreten (RAND, 2024). Eine neue Dokumentart, ein umbenannter Fachbereich oder ein neues Rechnungslayout eines Lieferanten verändern, was der Agent sieht. Nichts davon ist ein Fehler des Modells, und alles davon verschlechtert das Ergebnis, wenn niemand hinsieht.

Betrieb heißt: überwachen, korrigieren, verantworten. Im Pilotbetrieb sind die Wochen vier bis sieben produktiver Betrieb auf echtem Volumen, und wir überwachen und korrigieren. Ist die vereinbarte Trefferquote erreicht, geht der Betrieb mit einer monatlich kündbaren Betriebsvereinbarung weiter. Was zur KI-Governance eines laufenden Agenten gehört, beschreibt unser Leitfaden Pflicht für Pflicht.

Ein unsicherer Agent muss anhalten, nicht raten

Ein Agent, der jeden Fall gleich behandelt, versteckt seine Fehler zwischen seinen Treffern. Eine Konfidenzschwelle trennt beides: Unterhalb der vereinbarten Sicherheit legt der Agent keine Aufgabe an, übergibt den Fall mit seiner Begründung an eine benannte Person und protokolliert die Übergabe. Oberhalb ordnet er zu und protokolliert, warum.

Die Schwelle wird mit dem Fachbereich vereinbart und im Pilotbetrieb auf echtem Volumen eingestellt. Wie die Übergabe im Einzelnen abläuft, beschreibt der Beitrag zur Konfidenzschwelle.

Eine Zuordnung, die niemand erklären kann, kostet Vertrauen bei der ersten Nachfrage

Vorhaben enden auch dann, wenn jemand fragt, warum ein Dokument dorthin ging, wo es hinging, und niemand antworten kann. Das Entscheidungsprotokoll antwortet mit einem Eintrag: was eingegangen ist, wohin es zugeordnet wurde, mit welcher Konfidenz, auf welcher Grundlage, ob ein Mensch eingegriffen hat und wann.

Das Entscheidungsprotokoll steht als Nachweis für Prüfungen nach der KI-Verordnung zur Verfügung. Aus der Frage nach dem Warum wird so ein Nachschlagen. Welche Felder hineingehören, beschreibt der Beitrag zum Entscheidungsprotokoll.

Ein festgefahrenes Vorhaben beginnt neu mit einem kleineren Ziel

Ein festgefahrenes KI-Vorhaben braucht keinen größeren Rahmen, sondern einen kleineren: einen Vorgang mit messbarem Ergebnis. Was der erste Versuch gezeigt hat, welche Dokumente ankommen, welche Klassen es gibt und welche Ausnahmen auftauchen, ist gute Vorarbeit für Woche eins.

Wir bauen den Agenten im Gespräch mit Ihrem Fachbereich und betreiben ihn danach. Ein KI-Mitarbeiter übernimmt genau einen Vorgang, schreibt in genau ein Zielsystem und übergibt, was er nicht sicher zuordnen kann, an einen Menschen. Ihr Team baut, konfiguriert und trainiert nichts selbst.

Häufige Fragen

Liegt es am Modell, wenn ein KI-Projekt scheitert?

Meist nicht. Sieben von zehn KI-Fehlschlägen gehen auf Datenqualität und Governance zurück, nicht auf das Modell. Typisch sind eine Aufgabe ohne messbares Ziel, Daten, die nicht zur Aufgabe passen, und niemand, der nach dem Go-live hinsieht. Ein besseres Modell behebt keine dieser Ursachen. Eine klar begrenzte Aufgabe, eine vereinbarte Trefferquote und ein Betreiber, der für das Ergebnis einsteht, beheben sie.

Was sollten wir in einem festgefahrenen KI-Projekt zuerst prüfen?

Vier Fragen. Gibt es eine einzelne Aufgabe mit einer Zahl, die zeigt, ob sie gelingt? Wer sieht sich an, was das System gestern getan hat? Was geschieht mit Fällen, bei denen es unsicher ist? Lässt sich eine einzelne Zuordnung im Nachhinein erklären? Wo eine dieser Antworten fehlt, liegt meist die Ursache, nicht im Modell.

Was bleibt von unserem ersten Versuch nutzbar?

Vor allem das Wissen über den Vorgang: welche Dokumente ankommen, welche Klassen es gibt, welche Ausnahmen auftauchen und wer sie heute klärt. Das ist der Stoff für das Prozessgespräch in Woche eins. Das Zielsystem bleibt, ebenso eine Schnittstelle, die es schon gibt. Neu sind der Agent, den wir bauen, und der Betrieb, den wir übernehmen.

Woran erkennen wir, dass es diesmal funktioniert?

An einer Zahl, die vor dem Start feststeht: der Trefferquote. Sie wird in Woche drei auf echten Dokumenten abgenommen und in den Wochen vier bis sieben auf echtem Volumen weiter gemessen. Am Ende steht eine schriftliche Auswertung mit erreichter Trefferquote, bearbeiteten Fällen und gesparter Zeit. Wird die Quote verfehlt, endet der Pilotbetrieb ohne weitere Verpflichtung.

Ist ein Projekt gescheitert, wenn der Agent Fälle an Menschen übergibt?

Nein. Die Übergabe unsicherer Fälle ist vorgesehen und kein Fehler. Unterhalb der Konfidenzschwelle hält der Agent an und übergibt den Fall mit Begründung an eine benannte Person. Gescheitert ist ein Vorhaben, wenn unsichere Fälle geraten werden und niemand weiß, welche. Wie viele Fälle übergeben werden, stellen wir im Pilotbetrieb mit dem Fachbereich auf echtem Volumen ein.

Der nächste Schritt

Wenn ein erstes KI-Vorhaben bei Ihnen stillsteht, beginnen Sie mit einem Vorgang, der täglich ankommt und heute von Hand sortiert wird: ein Eingang, eine Aufgabe, ein Zielsystem. Dafür ist der Pilotbetrieb da. Festpreis, vor dem Start vereinbart. Sieben Wochen, vier davon im produktiven Betrieb auf Ihren echten Dokumenten, gemessen an einer Trefferquote, die vorher feststeht.

Pilotbetrieb anfragen

← Zurück zu den Beiträgen