Die Entscheidungsgrenze zwischen Modell und Mensch
Ein Modell liefert einen Vorschlag. Wer ihn annehmen darf, unter welchen Bedingungen und wer im Zweifel widerspricht, legen wir vor der Umsetzung schriftlich fest.
Ein Vorschlag ist noch keine Entscheidung
Human-in-the-Loop ist in vielen Angeboten eine Haltung. Bei uns ist es eine Einstellung im System, für die eine benannte Rolle geradesteht.
Wenn ein System einen Antrag ablehnt, eine Rechnung beanstandet oder eine Lage als kritisch meldet, will hinterher jemand wissen, wer das zu verantworten hat. Diese Antwort muss vor dem Betrieb feststehen. Wird sie erst im Schadensfall gesucht, findet sie sich bei der Person, die zuletzt auf einen Knopf gedrückt hat, und das ist selten die, die den Rahmen gesetzt hat.
Deshalb schreiben wir für jeden Anwendungsfall auf, wie weit das System gehen darf. Die Festlegung passt auf eine Seite, benennt Funktionen statt Personen und wird von der Fachseite gezeichnet. Die IT setzt sie um, entscheidet aber nicht über sie, weil die Folgen einer Fehlentscheidung im Fachbereich anfallen und nicht im Serverraum.
KI-generiertes Bild
Von der Empfehlung bis zur selbstständigen Ausführung
Zwischen vollständiger Handarbeit und vollständiger Automatik liegen mehrere Zwischenstufen. Jeder Anwendungsfall bekommt genau eine davon zugewiesen.
Auf der niedrigsten Stufe schlägt das System vor und ein Mensch entscheidet jeden Fall; der Vorschlag wirkt nie von allein, er spart nur die Suche. Eine Stufe darüber entscheidet das System vor, und ein Mensch bestätigt, bevor etwas wirkt. Muss die Wirkung sofort eintreten, kehren wir die Reihenfolge um: Das System handelt, und ein Mensch kann innerhalb einer festen Frist widersprechen.
Erst wenn ein Fehler folgenlos korrigierbar ist, handelt das System selbstständig und wird nur über eine festgelegte Stichprobe geprüft. Welche Stufe gilt, folgt der Folgenschwere und nicht der Güte des Modells: Ein System, das selten irrt, darf trotzdem nicht allein über eine Kündigung oder eine Räumung befinden. Für einen Teil dieser Fälle schreibt die KI-Verordnung die Aufsicht durch Menschen ohnehin vor; welche Systeme erfasst sind, ordnet die Seite zumEU AI Act ein.
Ein Blatt statt einer Absprache
Im Gespräch ordnen wir Ihren Vorgang einer Stufe zu und benennen die Funktion, die freigibt.
Das Festlegungsblatt und ein Beispiel aus dem Einsatz
Am Ende steht ein knappes Papier je Anwendungsfall. Es benennt die Entscheidung, die zugeordnete Stufe, die verantwortliche Funktion, die Fallgruppen, in denen das System abbricht und übergibt, den Eskalationsweg mit Frist und das Prüfintervall. Es liegt bei der Fachseite und nicht im Quellcode.
Die Konfiguration erzwingt diese Grenze. Jeder Lauf hält Eingabe, Modellstand, Ergebnis und Freigabe fest; in dem vereinbarten Abstand wird eine Stichprobe geprüft. Abweichungen führen nicht zu einer neuen Kachel oder Checkliste, sondern zu einer präziseren schriftlichen Festlegung.
Wie belastbar diese Ordnung unter Zeitdruck ist, zeigte sich bei der Kerwe Weinheim: Ein Modell wertete anonymisierte Drohnenbilder der Feuerwehr aus und meldete eine kritische Entwicklung der Personendichte. Entschieden hat das System nichts, die Maßnahme im Gassenverlauf traf die Einsatzleitung gemeinsam mit der Stadt. Der Aufbau steht in derReferenz zur Kerwe.
Wie das in der Praxis aussieht
Ein Einsatz unter Zeitdruck, die Felder mit ihren jeweiligen Grenzen und die regulatorische Einordnung dazu.
Kurze Antworten auf die Fragen, die vor einem ersten Gespräch meist geklärt werden.
Was ist Human-in-the-Loop?
Ein Mensch prüft oder bestätigt einen klar definierten Schritt, bevor das System eine fachlich relevante Wirkung auslöst. Die Rolle und der Freigabepunkt werden technisch erzwungen und protokolliert.
Wie wird die Entscheidungsgrenze dokumentiert?
Für jeden Anwendungsfall wird festgehalten, welche Eingaben das Modell sieht, welches Ergebnis es liefert, wann es abbrechen muss und welche Rolle anschließend entscheidet.
Die Grenze gehört an den Anfang
Bringen Sie einen Vorgang mit, bei dem eine Fehlentscheidung Folgen hat. Wir ziehen die Grenze gemeinsam, bevor über Technik gesprochen wird.
