EU AI Act in der Praxis14 Min. Lesezeit

Hochrisiko-KI-Systeme: was die KI-Verordnung von einem Klassifizierungs-Agenten verlangt

Inhalt

Hochrisiko-KI-Systeme sind nach Art. 6 der KI-Verordnung (EU) 2024/1689, EUR-Lex KI-Systeme, die als Sicherheitsbauteil eines regulierten Produkts dienen (Anhang I) oder für einen Anwendungsfall aus Anhang III bestimmt sind. Für einen Klassifizierungs-Agenten zählt deshalb der Zweck, für den er Dokumente zuordnet. Vier Fragen klären, was die Verordnung von Ihrer Organisation verlangt:

  1. Ist es ein KI-System? Art. 3 Nr. 1 meint ein maschinengestütztes System, das mit unterschiedlichem Grad an Autonomie arbeitet und aus seinen Eingaben ableitet, wie es Ausgaben wie Vorhersagen, Inhalte oder Empfehlungen erzeugt.
  2. Welche Rolle hat Ihre Organisation? Anbieter (Art. 3 Nr. 3) und Betreiber (Art. 3 Nr. 4) tragen unterschiedliche Pflichten.
  3. Nennt Anhang III den Zweck, und greift eine Ausnahme nach Art. 6 Abs. 3? Das wird für jeden Vorgang einzeln bewertet und dokumentiert.
  4. Ab wann gilt was? Die Pflichten für Hochrisiko-KI-Systeme nach Anhang III gelten laut Art. 113 in der geänderten Fassung, EUR-Lex ab dem 2. Dezember 2027.

Über die Einstufung entscheidet der Zweck, nicht die Technik

Art. 6 kennt zwei Wege zum Hochrisiko-KI-System. Der erste führt über Anhang I: Das KI-System ist Sicherheitsbauteil eines Produkts oder selbst ein Produkt, das nach den dort genannten Harmonisierungsvorschriften eine Konformitätsbewertung durch Dritte braucht, etwa ein Spielzeug, ein Aufzug oder ein Medizinprodukt (Art. 6 Abs. 1). Der zweite führt über Anhang III: Das System ist für einen der dort genannten Anwendungsfälle bestimmt (Art. 6 Abs. 2).

Für einen Agenten, der Eingangspost liest und einem Fachbereich zuordnet, ist vor allem der zweite Weg zu prüfen. Laut Bundesnetzagentur ist für die Einstufung der Verwendungszweck entscheidend. Die Verordnung nennt ihn Zweckbestimmung (Art. 3 Nr. 12): die Verwendung, für die der Anbieter das System bestimmt, wie sie in Betriebsanleitung, Verkaufsunterlagen und technischer Dokumentation beschrieben ist.

Dieselbe Technik kann deshalb in einem Vorgang hochriskant sein und in einem anderen nicht. Der Zweck gehört so genau aufgeschrieben, dass eine dritte Person ihn prüfen kann.

Anhang III nennt Anwendungsfälle, keine Techniken

Anhang III der KI-Verordnung, EUR-Lex listet acht Bereiche. In jedem sind bestimmte Zwecke genannt:

Bereich in Anhang IIIBeispiel für einen genannten Zweck
1 Biometriebiometrische Fernidentifizierung, Emotionserkennung
2 Kritische InfrastrukturSicherheitsbauteile in kritischer digitaler Infrastruktur, im Straßenverkehr oder in der Wasser-, Gas-, Wärme- und Stromversorgung
3 Allgemeine und berufliche BildungZulassung zu Bildungseinrichtungen, Bewertung von Lernergebnissen
4 Beschäftigung und PersonalmanagementBewerbungen sichten oder filtern, Bewerber bewerten
5 Grundlegende private und öffentliche DiensteAnspruch auf öffentliche Unterstützungsleistungen beurteilen, Kreditwürdigkeit prüfen, Notrufe bewerten und klassifizieren
6 StrafverfolgungVerlässlichkeit von Beweismitteln bewerten
7 Migration, Asyl und GrenzkontrollePrüfung von Asyl- und Visumanträgen unterstützen
8 Rechtspflege und demokratische ProzesseJustizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Recht unterstützen

Für einen Klassifizierungs-Agenten folgen aus dem Text von Anhang III zwei Dinge. Erstens steht das Klassifizieren selbst darin: bei Notrufen, die bewertet und klassifiziert werden (Nr. 5 Buchst. d), und bei Bewerbungen, die gesichtet oder gefiltert werden (Nr. 4 Buchst. a). Die Technik, die einen Lieferschein dem Lager zuordnet, ist dieselbe, die eine Bewerbung aussortieren könnte. Zweitens kommt es darauf an, was die Zuordnung für natürliche Personen bedeutet. Ein Agent, der in einer Behörde Anträge auf Unterstützungsleistungen an Sachgebiete verteilt, arbeitet in der Nähe von Nr. 5 Buchst. a. Ob er darunter fällt, hängt davon ab, was die Zuordnung für die Beurteilung des Anspruchs bewirkt; das ist im Einzelfall zu bewerten.

Art. 6 Abs. 3 nimmt Systeme ohne erhebliches Risiko aus

Ein in Anhang III genanntes System gilt nach Art. 6 Abs. 3, EUR-Lex nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, unter anderem weil es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst. Das gilt, wenn eine von vier Bedingungen erfüllt ist:

  1. Das System soll eine eng gefasste Verfahrensaufgabe durchführen.
  2. Es soll das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessern.
  3. Es soll Entscheidungsmuster oder Abweichungen von früheren Mustern erkennen und die zuvor abgeschlossene menschliche Bewertung nicht ohne angemessene menschliche Überprüfung ersetzen oder beeinflussen.
  4. Es soll eine vorbereitende Aufgabe für eine Bewertung durchführen, die für einen Anwendungsfall in Anhang III relevant ist.

Eine Regel geht allen vier vor: Nimmt ein System aus Anhang III ein Profiling natürlicher Personen vor, gilt es immer als hochriskant. Nach Art. 6 Abs. 5 soll die Kommission Leitlinien mit Praxisbeispielen für hochriskante und nicht hochriskante Anwendungsfälle bereitstellen; ihren Stand führt die Bundesnetzagentur in ihrem Zeitplan zur KI-Verordnung.

Wer sich auf die Ausnahme beruft, dokumentiert die Bewertung vorher

Nach Art. 6 Abs. 4, EUR-Lex dokumentiert ein Anbieter, der ein System aus Anhang III für nicht hochriskant hält, seine Bewertung, bevor er es in Verkehr bringt oder in Betrieb nimmt. Er registriert das System nach Art. 49 Abs. 2 in der EU-Datenbank und legt die Dokumentation den zuständigen Behörden auf Verlangen vor. Der KI-Omnibus hat diese Registrierung beibehalten und die dafür nötigen Angaben verringert (Verordnung (EU) 2026/1744, Erwägungsgrund 22, EUR-Lex).

Eine solche Bewertung braucht Tatsachen über den Vorgang. Für einen Klassifizierungs-Agenten stehen sie an diesen Stellen des Betriebs:

Frage für die Bewertung nach Art. 6 Abs. 3Wo die Tatsache im Betrieb steht
Welche Aufgabe genau erledigt das System?Der vereinbarte Vorgang: ein Eingang, eine Aufgabe, ein Zielsystem
Was tut es ausdrücklich nicht?Die Abgrenzung: klassifizieren, Metadaten auslesen, weiterleiten, Aufgabe anlegen; nicht buchen, genehmigen, bezahlen, löschen oder Fristen auslösen
Wer bearbeitet die Sache danach?Der zuständige Fachbereich, bei dem die Aufgabe im Zielsystem ankommt
Was geschieht, wenn das System unsicher ist?Unterhalb der Konfidenzschwelle geht der Fall an eine benannte Person
Werden Profile natürlicher Personen gebildet?Die Klassen aus dem Prozessgespräch in Woche 1 und die ausgelesenen Metadaten
Lässt sich jede Zuordnung nachvollziehen?Das Entscheidungsprotokoll: jede Zuordnung mit Zeitstempel und Begründung

Diese Unterlagen ersetzen die Bewertung nicht; sie sind ihr Material. Dieser Beitrag nimmt das Ergebnis für keinen Vorgang vorweg.

Betreiber im Sinne der Verordnung ist, wer das System in eigener Verantwortung verwendet

Wenn Agentivo schreibt, dass wir einen KI-Mitarbeiter betreiben, meinen wir: überwachen, korrigieren und das Ergebnis verantworten. Die KI-Verordnung verwendet das Wort als Rechtsbegriff. Betreiber ist nach Art. 3 Nr. 4, EUR-Lex eine Person, Behörde oder Stelle, die ein KI-System in eigener Verantwortung verwendet. Anbieter ist nach Art. 3 Nr. 3, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt.

Die Bundesnetzagentur erläutert, dass eine juristische Person Betreiber bleibt, wenn sie Auftragnehmer in den Betrieb eines Systems einbezieht, solange diese in ihrem Namen, unter ihrer Verantwortung und Kontrolle handeln. Umgekehrt kann ein Betreiber nach Art. 25 zum Anbieter werden, etwa wenn er die Zweckbestimmung eines Systems so ändert, dass es hochriskant wird.

Welche Rolle Ihre Organisation und welche Agentivo bei Ihrem Vorgang hat, folgt aus diesen Definitionen und aus dem Vertrag; die Pflichten der folgenden Abschnitte hängen daran. Was die Verordnung insgesamt von Unternehmen als Betreiber verlangt, steht im Beitrag KI-Verordnung für Unternehmen.

Gilt ein Agent als hochriskant, verlangt Art. 26 vom Betreiber Aufsicht, Überwachung und Protokolle

Art. 26 der KI-Verordnung, EUR-Lex legt fest, was Betreiber von Hochrisiko-KI-Systemen tun. Für einen Klassifizierungs-Agenten sind diese Absätze dem Alltag am nächsten:

Pflicht des BetreibersAbsatzWoran der Betrieb anknüpft
Verwendung gemäß Betriebsanleitung, mit technischen und organisatorischen MaßnahmenAbs. 1Die vereinbarte Abgrenzung des Vorgangs und das Übergabedokument
Menschliche Aufsicht durch Personen mit Kompetenz, Ausbildung und BefugnisAbs. 2Benannte Personen, an die der Agent unsichere Fälle übergibt
Eingabedaten passend und repräsentativ, soweit sie der Kontrolle des Betreibers unterliegenAbs. 4Klassen und Beispiele aus dem Prozessgespräch
Betrieb überwachen, bei Risiko Anbieter und Behörde informieren und die Verwendung aussetzenAbs. 5Wir überwachen und korrigieren; der Eingriffspfad hält den Agenten an
Automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren, soweit unter eigener KontrolleAbs. 6Das Entscheidungsprotokoll mit Zeitstempel und Begründung
Arbeitnehmervertretung und betroffene Beschäftigte vorher informierenAbs. 7Liegt bei Ihrer Organisation
Betroffene Personen informieren, wenn das System Entscheidungen über sie trifft oder dabei unterstütztAbs. 11Liegt bei Ihrer Organisation
Mit den zuständigen Behörden zusammenarbeitenAbs. 12Protokoll und Unterlagen auf Anfrage

Die rechte Spalte beschreibt, was im Betrieb vorhanden ist. Sie sagt nicht, dass eine Pflicht damit erfüllt ist; das bewertet Ihre Prüfung. Für Systeme nach Anhang III gilt Art. 26 ab dem 2. Dezember 2027 (Art. 113 Buchst. c, EUR-Lex).

Öffentliche Stellen schätzen vorher die Folgen für Grundrechte ab

Betreiber, die Einrichtungen des öffentlichen Rechts sind oder als private Einrichtungen öffentliche Dienste erbringen, führen vor der Inbetriebnahme eines Hochrisiko-KI-Systems nach Anhang III eine Grundrechte-Folgenabschätzung durch; dasselbe gilt für Betreiber bestimmter Systeme aus Anhang III Nr. 5 (Kreditwürdigkeit, Lebens- und Krankenversicherung). Ausgenommen sind Systeme der kritischen Infrastruktur nach Anhang III Nr. 2 (Art. 27, EUR-Lex).

Die Abschätzung beschreibt unter anderem, wie und wie oft das System verwendet wird, wer betroffen sein kann, die Risiken, die menschliche Aufsicht und das Vorgehen, wenn Risiken eintreten. Seit dem KI-Omnibus kann sie auf die einschlägigen Abschnitte einer Datenschutz-Folgenabschätzung verweisen (Art. 27 Abs. 4, konsolidierte Fassung, EUR-Lex).

Behörden, die ein Hochrisiko-KI-System aus Anhang III (außer Nr. 2) verwenden, registrieren sich außerdem vorher in der EU-Datenbank, wählen dort das System aus und registrieren dessen Verwendung (Art. 49 Abs. 3).

Art. 12 und Art. 14 verlangen Rückverfolgbarkeit und einen Eingriff zu jeder Zeit

Beide Anforderungen richten sich an den Anbieter, der ein Hochrisiko-KI-System baut, und beide bestimmen, womit der Betreiber arbeitet.

Art. 12, EUR-Lex verlangt, dass ein Hochrisiko-KI-System Ereignisse über seinen gesamten Lebenszyklus automatisch protokolliert. Die Protokolle machen das Funktionieren in einem dem Zweck angemessenen Maß rückverfolgbar: um Risiken zu erkennen, die Beobachtung nach dem Inverkehrbringen zu erleichtern und den Betrieb nach Art. 26 Abs. 5 zu überwachen.

Art. 14 Abs. 4 verlangt, dass die Personen, denen die Aufsicht übertragen ist, Fähigkeiten und Grenzen des Systems verstehen, sich der Neigung zu übermäßigem Vertrauen in seine Ausgaben bewusst bleiben, die Ausgabe richtig deuten, sie außer Acht lassen oder rückgängig machen und den Betrieb mit einer Stopptaste oder einem ähnlichen Verfahren unterbrechen können.

Im Betrieb eines Klassifizierungs-Agenten sind das drei Mechanismen:

  • Das Entscheidungsprotokoll hält jede Zuordnung mit Zeitstempel und Begründung fest.
  • Die Konfidenzschwelle ist die Sicherheit, unterhalb derer der Agent anhält und den Fall an eine benannte Person übergibt.
  • Der menschliche Eingriffspfad ist dokumentiert und jederzeit auslösbar: Eine Person kann den Agenten anhalten, eine Zuordnung korrigieren oder einen Fall übernehmen.

Ob diese Mechanismen den Anforderungen im Einzelfall genügen, ist Teil der Prüfung, nicht dieses Beitrags.

Der KI-Omnibus hat die Hochrisiko-Fristen auf Dezember 2027 verschoben

Die Verordnung (EU) 2026/1744 vom 8. Juli 2026, EUR-Lex, der KI-Omnibus, hat Art. 113 geändert. Sie wurde am 24. Juli 2026 im Amtsblatt veröffentlicht und ist laut Bundesnetzagentur seit dem 27. Juli 2026 in Kraft. Ursprünglich sollten die Hochrisiko-Pflichten für Anhang III ab dem 2. August 2026 gelten. Nach der konsolidierten Fassung, EUR-Lex gilt jetzt:

AbWas giltGrundlage
1. August 2024Die Verordnung ist in KraftArt. 113 Satz 1; Erwägungsgrund 1 der Verordnung (EU) 2026/1744
2. Februar 2025Kapitel I und II: KI-Kompetenz (Art. 4) und verbotene Praktiken (Art. 5)Art. 113 Buchst. a
2. August 2026Allgemeiner Geltungsbeginn, darunter die Transparenzpflichten nach Art. 50Art. 113 Satz 2
2. Dezember 2026Die mit dem KI-Omnibus neu aufgenommenen VerboteArt. 113 Buchst. a
2. Dezember 2027Kapitel III Abschnitte 1 bis 3 für Hochrisiko-KI-Systeme nach Anhang III, darunter Art. 6, Art. 26 und Art. 27Art. 113 Buchst. c Ziffer i
2. August 2028Dieselben Abschnitte für Hochrisiko-KI-Systeme nach Anhang IArt. 113 Buchst. c Ziffer ii
2. August 2030Hochrisiko-KI-Systeme für Behörden, die schon vorher in Verkehr gebracht wurdenArt. 111 Abs. 2

Für Hochrisiko-KI-Systeme, die vor dem Geltungsbeginn von Kapitel III in Verkehr gebracht oder in Betrieb genommen wurden, gilt die Verordnung nach Art. 111 Abs. 2 nur, wenn sie danach in ihrer Konzeption erheblich verändert werden. Anbieter und Betreiber von Hochrisiko-KI-Systemen, die von Behörden verwendet werden sollen, erfüllen die Anforderungen in jedem Fall bis zum 2. August 2030 (Art. 111, konsolidierte Fassung, EUR-Lex). Wer mit Unterlagen aus der Zeit vor Juli 2026 arbeitet, gleicht deren Daten am besten mit der konsolidierten Fassung ab.

Auch ohne Hochrisiko-Einstufung gelten Art. 4 und, je nach Ausgabe, Art. 50

Die KI-Kompetenz nach Art. 4 in der geänderten Fassung, EUR-Lex betrifft jeden Anbieter und Betreiber, nicht nur hochriskante Systeme. Seit dem KI-Omnibus verlangt Art. 4 Maßnahmen, die die KI-Kompetenz des Personals und anderer Personen unterstützen, die in ihrem Auftrag mit Betrieb und Nutzung befasst sind, ohne ein bestimmtes Niveau für einzelne Personen vorzuschreiben. Für einen betriebenen Agenten sind das vor allem die Menschen, die übergebene Fälle bearbeiten, das Entscheidungsprotokoll lesen und den Eingriffspfad auslösen können; mehr dazu im Beitrag zur KI-Kompetenz-Schulung.

Seit dem 2. August 2026 gelten laut Bundesnetzagentur außerdem die Transparenzpflichten nach Art. 50 für bestimmte Systeme, etwa solche, die für die direkte Interaktion mit Menschen bestimmt sind. Ob Art. 50 einen Klassifizierungs-Agenten betrifft, ist eine eigene Prüfung, zum Beispiel wenn er Eingangsbestätigungen an Menschen versendet.

Ein Pilotbetrieb liefert die Unterlagen, auf die sich eine Einstufung stützt

Eine Einstufung braucht Tatsachen, und die entstehen im Betrieb. Der Pilotbetrieb dauert sieben Wochen, vier davon produktiver Betrieb auf Ihren echten Dokumenten:

  1. Woche 1: Das Prozessgespräch mit Ihrem Fachbereich legt Vorgang, Klassen und Zugänge fest.
  2. Woche 3: Abnahme gegen die vorher vereinbarte Trefferquote, Go-live und Übergabe.
  3. Wochen 4 bis 7: Der Agent läuft auf echtem Volumen, jede Zuordnung steht im Entscheidungsprotokoll, und wir überwachen und korrigieren.
  4. Ende Woche 7: schriftliche Auswertung mit erreichter Trefferquote, bearbeiteten Fällen und gesparter Zeit.

Zu jedem Betrieb gehört:

  • Vollständig innerhalb der EU, verantwortet aus Düsseldorf.
  • Zu jedem Pilotbetrieb gehört ein Auftragsverarbeitungsvertrag (AVV).
  • Das Entscheidungsprotokoll steht als Nachweis für Prüfungen nach der KI-Verordnung zur Verfügung.
  • Ein festgelegter menschlicher Eingriffspfad, dokumentiert und jederzeit auslösbar.

Agentivo ist keine Kanzlei. Dieser Beitrag erklärt die Kriterien der KI-Verordnung (EU) 2024/1689; ob Ihr Vorgang hochriskant ist und wer welche Rolle trägt, bewerten Sie mit Ihrer rechtlichen Beratung. Für personenbezogene Daten gilt daneben die DSGVO, die die KI-Verordnung nach Art. 2 Abs. 7 unberührt lässt; dazu der Beitrag zu DSGVO-konformer KI.

Häufige Fragen

Ist ein KI-Agent, der Eingangspost klassifiziert, ein Hochrisiko-KI-System?

Das lässt sich nicht pauschal beantworten. Maßgeblich ist der Zweck: Ist er in Anhang III genannt, gilt das System als hochriskant, es sei denn, eine Ausnahme nach Art. 6 Abs. 3 greift. Ein Profiling natürlicher Personen ist immer hochriskant. Die Bewertung wird für jeden Vorgang einzeln dokumentiert; dieser Beitrag nimmt sie nicht vorweg, und Agentivo ist keine Kanzlei.

Ab wann gelten die Pflichten für Hochrisiko-KI-Systeme?

Nach Art. 113 in der Fassung des KI-Omnibus ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Anhang I. Die KI-Kompetenz (Art. 4) und die Verbote (Art. 5) gelten seit dem 2. Februar 2025, die Transparenzpflichten (Art. 50) seit dem 2. August 2026. Quelle ist die konsolidierte Fassung.

Wer ist bei einem betriebenen Agenten Anbieter, wer Betreiber?

Das folgt aus Art. 3 Nr. 3 und 4 und aus dem Vertrag. Betreiber ist, wer das System in eigener Verantwortung verwendet; Anbieter, wer es entwickelt und unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt. Laut Bundesnetzagentur bleibt eine Organisation Betreiber, wenn Auftragnehmer in ihrem Namen und unter ihrer Kontrolle mitarbeiten.

Was soll ein Entscheidungsprotokoll nach der KI-Verordnung leisten?

Art. 12 verlangt für Hochrisiko-KI-Systeme eine automatische Protokollierung, die das Funktionieren dem Zweck angemessen rückverfolgbar macht. Betreiber bewahren die Protokolle, soweit sie ihrer Kontrolle unterliegen, nach Art. 26 Abs. 6 mindestens sechs Monate auf, sofern anderes Recht nichts anderes bestimmt. Unser Entscheidungsprotokoll hält jede Zuordnung mit Zeitstempel und Begründung fest.

Ersetzt das Entscheidungsprotokoll die rechtliche Bewertung?

Nein. Das Protokoll weist nach, was mit jedem Dokument geschehen ist und warum. Ob Ihr Vorgang unter Anhang III fällt, ob eine Ausnahme greift und wer welche Rolle trägt, bewerten Sie mit Ihrer rechtlichen Beratung. Wir liefern dafür die Tatsachen: den Vorgang mit seiner Abgrenzung, das Protokoll, den Eingriffspfad und die schriftliche Auswertung.

Gilt die KI-Verordnung auch, wenn der Agent nicht hochriskant ist?

In Teilen. Art. 4 verlangt seit dem 2. Februar 2025 von jedem Anbieter und Betreiber Maßnahmen, die die KI-Kompetenz der beteiligten Menschen unterstützen. Art. 50 betrifft seit dem 2. August 2026 bestimmte Systeme, etwa solche, die direkt mit Menschen interagieren. Art. 8 bis 15 und Art. 26 gelten dagegen nur für Hochrisiko-KI-Systeme.

Der nächste Schritt

Wenn in Ihrer Organisation ein Eingang täglich von Hand zugeordnet wird und Sie für einen KI-Mitarbeiter Unterlagen brauchen, auf die sich eine Einstufung stützen kann, ist das der Vorgang für einen Pilotbetrieb: ein Eingang, eine Aufgabe, ein Zielsystem. Festpreis, vor dem Start vereinbart. Sieben Wochen, vier davon im produktiven Betrieb auf Ihren echten Dokumenten, jede Zuordnung im Entscheidungsprotokoll.

Pilotbetrieb anfragen

← Zurück zu den Beiträgen