Die Entscheidungsgrenze zwischen Modell und Mensch
Ein Modell liefert einen Vorschlag. Wer ihn annehmen darf, unter welchen Bedingungen und wer im Zweifel widerspricht, legen wir vor der Umsetzung schriftlich fest.
Ein Vorschlag ist noch keine Entscheidung
Human-in-the-Loop ist in vielen Angeboten eine Haltung. Bei uns ist es eine Einstellung im System, für die eine benannte Rolle geradesteht.
Wenn ein System einen Antrag ablehnt, eine Rechnung beanstandet oder eine Lage als kritisch meldet, will hinterher jemand wissen, wer das zu verantworten hat. Diese Antwort muss vor dem Betrieb feststehen. Wird sie erst im Schadensfall gesucht, findet sie sich bei der Person, die zuletzt auf einen Knopf gedrückt hat, und das ist selten die, die den Rahmen gesetzt hat.
Deshalb schreiben wir für jeden Anwendungsfall auf, wie weit das System gehen darf. Die Festlegung passt auf eine Seite, benennt Funktionen statt Personen und wird von der Fachseite gezeichnet. Die IT setzt sie um, entscheidet aber nicht über sie, weil die Folgen einer Fehlentscheidung im Fachbereich anfallen und nicht im Serverraum.
Von der Empfehlung bis zur selbstständigen Ausführung
Zwischen vollständiger Handarbeit und vollständiger Automatik liegen mehrere Zwischenstufen. Jeder Anwendungsfall bekommt genau eine davon zugewiesen.
Auf der niedrigsten Stufe schlägt das System vor und ein Mensch entscheidet jeden Fall; der Vorschlag wirkt nie von allein, er spart nur die Suche. Eine Stufe darüber entscheidet das System vor, und ein Mensch bestätigt, bevor etwas wirkt. Muss die Wirkung sofort eintreten, kehren wir die Reihenfolge um: Das System handelt, und ein Mensch kann innerhalb einer festen Frist widersprechen.
Erst wenn ein Fehler folgenlos korrigierbar ist, handelt das System selbstständig und wird nur über eine festgelegte Stichprobe geprüft. Welche Stufe gilt, folgt der Folgenschwere und nicht der Güte des Modells: Ein System, das selten irrt, darf trotzdem nicht allein über eine Kündigung oder eine Räumung befinden. Für einen Teil dieser Fälle schreibt die KI-Verordnung die Aufsicht durch Menschen ohnehin vor; welche Systeme erfasst sind, ordnet die Seite zumEU AI Act ein.
Im Gespräch ordnen wir Ihren Vorgang einer Stufe zu und benennen die Funktion, die freigibt.
Das Festlegungsblatt und ein Beispiel aus dem Einsatz
Am Ende steht ein knappes Papier je Anwendungsfall. Es benennt die Entscheidung, die zugeordnete Stufe, die verantwortliche Funktion, die Fallgruppen, in denen das System abbricht und übergibt, den Eskalationsweg mit Frist und das Prüfintervall. Es liegt bei der Fachseite und nicht im Quellcode.
Scan eines ausgefüllten Festlegungsblatts, Namen und Kundenbezug entfernt. Freigabe durch die Fachseite des betreffenden Hauses nötig.
Wie belastbar diese Ordnung unter Zeitdruck ist, zeigte sich bei der Kerwe Weinheim: Ein Modell wertete anonymisierte Drohnenbilder der Feuerwehr aus und meldete eine kritische Entwicklung der Personendichte. Entschieden hat das System nichts, die Maßnahme im Gassenverlauf traf die Einsatzleitung gemeinsam mit der Stadt. Der Aufbau steht in derReferenz zur Kerwe.
Was Revision und Datenschutz vorgelegt bekommen
- Festlegung je Anwendungsfall
- Ein gezeichnetes Blatt mit Entscheidung, Stufe, Funktion und Frist
- Liste der Ausschlussfälle
- Fallgruppen, bei denen der Lauf abbricht und übergibt
- Erzwingung in der Konfiguration
- Keine Wirkung ohne Freigabe der zuständigen Rolle
- Protokoll je Lauf
- Eingabe, Modellstand, Ergebnis und Freigabe, für die Revision auswertbar
- Stichprobe im vereinbarten Abstand
- Ein Prüfvermerk mit den Abweichungen und der nachgeschärften Festlegung
Wie das in der Praxis aussieht
Ein Einsatz unter Zeitdruck, die Felder mit ihren jeweiligen Grenzen und die regulatorische Einordnung dazu.
Die Grenze gehört an den Anfang
Bringen Sie einen Vorgang mit, bei dem eine Fehlentscheidung Folgen hat. Wir ziehen die Grenze gemeinsam, bevor über Technik gesprochen wird.
L&I IT-solutions · Werderstr. 4 · 69469 Weinheim