Human in the Loop: Wo Menschen prüfen, entscheiden und freigeben

An welcher Stelle das Urteil wirksam wird

Der Begriff wird häufig für KI-Systeme verwendet, reicht aber über sie hinaus. Auch regelbasierte Produktionsabläufe können einen menschlichen Entscheidungspunkt enthalten. Maßgeblich ist die Aufgabe der Person im Ablauf.

Beispiel: Eine ausstehende Prüfung darf nicht zur Freigabe werden

In einem fiktiven Chargenprozess wird ein auffälliger Messwert erfasst. Die vorgesehene Regel hält die Weiterverarbeitung bis zur fachlichen Prüfung gesperrt. Die zuständige Person erhält Messwert, relevante Vorgabe und die noch offenen Fragen.

Sie kann die Daten prüfen, eine begründete Berichtigung veranlassen oder den Fall eskalieren. Eine Wiederholungsmessung richtet sich nach dem dafür geltenden Verfahren; sie ist keine beliebige Alternative zu einem unerwünschten Ergebnis. Jede angebotene Option braucht eine erkennbare Wirkung auf den laufenden Vorgang.

Für das Beispiel gilt ausdrücklich: Reagiert die zuständige Person nicht innerhalb der festgelegten Bearbeitungsfrist, bleibt die Sperre bestehen und die Aufgabe wird eskaliert. Schweigen gilt nicht als Zustimmung. Die konkrete Frist und etwaige physische Schutzreaktionen müssen für den jeweiligen Prozess gesondert bestimmt werden.

Workflow-Modelle können Prüfpunkt und Übergänge beschreiben. Ob die Person den Vorgang tatsächlich rechtzeitig beeinflussen kann, zeigt sich erst mit erreichbarer Zuständigkeit, nutzbarer Information und wirksamer Ausführung ihrer Entscheidung.

Menschliche Aufsicht muss wirksam sein

Ein menschlicher Prüfpunkt erfüllt seinen Zweck nur, wenn die Person eine eigenständige Beurteilung vornehmen kann. Dazu benötigt sie verständliche Informationen über den Anlass, die verwendeten Daten, das vorgeschlagene Ergebnis und die möglichen Folgen. Ebenso wichtig sind eindeutige Handlungsoptionen: akzeptieren, ablehnen, korrigieren, zusätzliche Informationen anfordern, eskalieren oder stoppen.

Das NIST AI Risk Management Framework betrachtet KI-Systeme als soziotechnische Systeme, deren Risiken aus dem Zusammenspiel von Technik, Nutzung, beteiligten Personen und Einsatzkontext entstehen. Es fordert klar definierte Rollen und Verantwortlichkeiten sowie eine kontextbezogene Betrachtung über den gesamten Lebenszyklus.^[1] Menschliche Aufsicht ist damit keine einzelne Oberfläche, sondern Teil von Governance, Prozessgestaltung und Betrieb.

Ein System darf die Entscheidung außerdem nicht faktisch vorwegnehmen. Wenn Ablehnung mehrere zusätzliche Schritte erfordert, während Zustimmung mit einem Klick erfolgt, lenkt bereits die Oberfläche. Wenn eine Person in kurzer Zeit hunderte Empfehlungen bestätigen soll, ohne die zugrunde liegenden Informationen prüfen zu können, entsteht eine Abzeichnungsschleife statt wirksamer Kontrolle.

Die Aufgabenteilung richtet sich nach Risiko, Reversibilität und verbindlichen Vorgaben. Eine leicht korrigierbare Sortierung kann anders behandelt werden als ein sicherheitsrelevanter Eingriff. Wo ein menschlicher Prüfpunkt vorgeschrieben ist, steht er nicht zur freien Disposition: Die Chargenfreigabe zum Inverkehrbringen liegt bei der sachkundigen Person nach § 16 AMWHV.[5]

Sieben Fragen für die Gestaltung eines wirksamen Loops

Die folgenden sieben Prüffragen dienen diesem Beitrag als Arbeitshilfe, nicht als universeller Standard:

1. Anlass: Welches Ereignis oder welche Unsicherheit ruft den Menschen auf?
2. Rolle: Wer darf und wer muss die Situation beurteilen?
3. Kontext: Welche Informationen und Herkunftsnachweise werden benötigt?
4. Optionen: Welche Entscheidungen, Korrekturen oder Eskalationen sind möglich?
5. Wirkung: Was verändert jede Option im Prozess?
6. Zeit: Wie lange kann der Ablauf warten, und was geschieht ohne Reaktion?
7. Nachweis: Wie bleiben Entscheidung, Grund und Prozessfolgen nachvollziehbar?

Diese Fragen verhindern, dass „der Mensch bleibt beteiligt“ eine bloße Absichtserklärung bleibt. Sie machen aus menschlicher Aufsicht eine prüfbare Systemfunktion. Für wiederkehrende Entscheidungen können zusätzlich Qualitätskennzahlen sinnvoll sein: Wie oft werden Vorschläge korrigiert? Bei welchen Fallgruppen fehlen Informationen? Wo entstehen lange Wartezeiten oder routinemäßige Bestätigungen?

Die Auswertung darf nicht dazu führen, menschliche Entscheidungen allein nach Zustimmung zum System zu bewerten. Eine hohe Korrekturrate kann auf unklare Vorgaben, schlechte Daten oder ein ungeeignetes Modell hinweisen. Eine sehr niedrige Korrekturrate kann ebenso bedeuten, dass die Prüfung keine reale Wirkung besitzt.

Drei Positionen des Menschen im Regelkreis

Die menschliche Rolle lässt sich danach unterscheiden, wann und mit welcher Wirkung sie eingreift:

Bei Human in the Loop erfolgt die menschliche Entscheidung typischerweise vor einer wirksamen Systemhandlung oder als notwendiger Bestandteil davon. Human on the Loop bezeichnet häufig eine überwachende Rolle: Das System handelt zunächst selbst, während eine Person den Verlauf beobachtet und bei Bedarf eingreifen kann. Human out of the Loop beschreibt einen Ablauf ohne operativen menschlichen Eingriff.

Diese Begriffe werden in Literatur und Praxis nicht vollständig einheitlich verwendet. Für eine belastbare Architektur ist das konkrete Etikett deshalb weniger wichtig als die genaue Beschreibung: Welche Person sieht welche Informationen? Zu welchem Zeitpunkt? Welche Entscheidung darf sie treffen? Kann sie die Handlung tatsächlich verhindern oder rückgängig machen? Was geschieht, wenn niemand rechtzeitig reagiert?

Auch Verantwortlichkeit muss explizit bleiben. Ein Systemvorschlag ist keine verantwortliche Rolle. Organisationen müssen festlegen, wer eine Entscheidung treffen darf, welche Qualifikation erforderlich ist und wie Vertretung, Eskalation und Interessenkonflikte behandelt werden.

Automatisierung kann Urteilskraft unterstützen und verzerren

Menschen neigen nicht automatisch zu einer kritischen Prüfung, nur weil ihnen ein Systemvorschlag angezeigt wird. Eine überzeugend präsentierte Empfehlung kann überbewertet werden. Umgekehrt kann ein unzuverlässiges oder schlecht erklärtes System dauerhaft ignoriert werden, selbst wenn es später einen relevanten Hinweis liefert.

Parasuraman und Riley unterscheiden in ihrer grundlegenden Arbeit zwischen angemessener Nutzung, Fehlgebrauch, Nichtnutzung und missbräuchlicher Gestaltung von Automatisierung. Entscheidend ist die Übereinstimmung zwischen den Fähigkeiten des Systems, den Anforderungen der Aufgabe und der menschlichen Einschätzung dieser Fähigkeiten.^[3]

NIST beschreibt in Appendix C, dass die Zusammenarbeit mit KI unter bestimmten Bedingungen menschliche Verzerrungen verstärken kann. Mensch und System zusammen erzielen damit nicht zwangsläufig ein besseres Urteil als jeweils allein.[1] Für die Gestaltung folgt daraus: Unsicherheiten und bekannte Grenzen müssen bei der Bewertung erkennbar sein, statt hinter einem eindeutigen Ampelsymbol zu verschwinden.

Auch dauerhafte Überwachung kann Aufmerksamkeit schwächen. Wenn fast alle Vorschläge richtig sind, wird die seltene Abweichung leicht übersehen. Die Architektur sollte deshalb vermeiden, Menschen lediglich als Fehlerfänger für eine ansonsten autonome Kette einzuplanen. Kritische Prüfungen benötigen ausreichend Zeit, erkennbare Anlässe und eine Aufgabe, bei der menschliche Urteilskraft tatsächlich gebraucht wird.

Gute Entscheidungen benötigen den richtigen Kontext

Eine Empfehlung ohne Entstehungszusammenhang ist schwer zu beurteilen. Die prüfende Person muss erkennen können, welches Objekt betroffen ist, welcher Prozesszustand vorliegt, welche Daten verwendet wurden und welche Vorgaben gelten. Bei einer Materialfreigabe können beispielsweise Charge, Lieferant, Prüfergebnisse, Abweichungen, verwendete Methoden und die gültige Spezifikation relevant sein.

Mehr Information ist dabei nicht automatisch besser. Eine ungeordnete Sammlung von Rohdaten verlagert die eigentliche Systemarbeit auf den Menschen. Der Kontext muss zur konkreten Entscheidung passen: zuerst die entscheidungsrelevanten Angaben, danach nachvollziehbare Details und Quellen. Abweichungen und Unsicherheiten sollten sichtbar sein, ohne den Normalfall mit Warnungen zu überladen.

Amershi et al. leiten aus Forschung und Evaluation 18 Leitlinien für Human-AI-Interaktion ab. Dazu gehören, Fähigkeiten und mögliche Fehler des Systems verständlich zu machen, Informationen passend zur aktuellen Aufgabe zu zeigen, unerwünschte Vorschläge leicht verwerfbar zu gestalten, Korrekturen zu ermöglichen und Gründe für Systemverhalten zugänglich zu machen.^[2]

Digitale Arbeitsanweisungen können einen solchen Entscheidungspunkt in die reale Arbeit einbetten. Sie stellen den gültigen Schritt, den bekannten Prozesskontext und die erforderlichen Eingaben bereit. Human in the Loop beschreibt dagegen die Rolle der Person: Sie beurteilt nicht nur, ob ein Feld ausgefüllt ist, sondern übernimmt an einer fachlich bestimmten Stelle eine wirksame Prüfung oder Entscheidung.

Ein Entscheidungsunterstützungssystem kann diese Prüfung vorbereiten, indem es entscheidungsrelevante Daten, Modelle, Alternativen und Unsicherheiten zusammenführt. Human in the Loop bestimmt dagegen, wie die verantwortliche Person in den Ablauf eingebunden ist und welche reale Eingriffsmöglichkeit sie besitzt.

Eine Berichtigung betrifft zunächst den konkreten Vorgang

Wird der Messwert im Chargenbeispiel berichtigt, verändert sich zunächst die Datengrundlage dieses Vorgangs. Ob zusätzlich die Prüfregel angepasst werden sollte, ist eine andere Frage mit einer eigenen Bewertung. Die Oberfläche sollte diese Wirkungen unterscheidbar machen; die Leitlinien von Amershi et al. behandeln unter anderem verständliche Rückmeldungen über Nutzerhandlungen.[2]

Der Human Feedback Loop führt einen solchen Hinweis in die spätere Prüfung zurück. Auch die Nichtreaktion hat dort eine andere Bedeutung: Operativ bleibt im Beispiel die Sperre bestehen. Für die Weiterentwicklung sagt das Schweigen allein nicht, ob die Person den Hinweis richtig fand, keine Zeit hatte oder ihn nicht verstand.

Was Human in the Loop nicht garantiert

Menschliche Beteiligung macht ein System nicht automatisch sicher, fair oder richtig. Eine Person kann fehlerhafte Informationen erhalten, eine Empfehlung unkritisch übernehmen oder unter organisatorischem Druck entscheiden. Verantwortlichkeit darf deshalb nicht pauschal auf die letzte Person in der Kette verschoben werden, wenn Systemgestaltung, Datenbasis oder Arbeitsbedingungen eine eigenständige Prüfung faktisch verhindern.

Auch Erklärungen lösen nicht jedes Problem. Eine plausible Begründung kann Vertrauen erhöhen, obwohl das zugrunde liegende Ergebnis falsch ist. Entscheidend bleibt, ob die bereitgestellten Informationen fachlich relevant, prüfbar und für die zuständige Person verständlich sind.

Human in the Loop ist außerdem kein Ersatz für technische Qualitätssicherung. Validierung, Zugriffsschutz, Datenqualität, Überwachung und sichere Fehlerzustände bleiben erforderlich. Menschen sollten nicht dauerhaft Defizite kompensieren müssen, die bereits im Systemdesign vermieden werden können.

MHRA Abschnitt 4.5 beschreibt für die Datenintegrität in GxP-Prozessen die ergänzende Grenze: Automatisierung und validierte Systeme können Risiken verringern, beseitigen sie aber nicht. Die Risikobewertung muss auch beteiligte Personen, Anleitungen, Schulung und Qualitätssysteme berücksichtigen. Wenn Menschen beeinflussen, welche Daten erfasst, berichtet oder aufbewahrt werden, können schwache organisatorische Kontrollen und übermäßiges Vertrauen in den validierten Systemzustand zusätzliche Risiken schaffen.^[6] Für das Chargenbeispiel folgt daraus: Auch die Befugnis zur Messwertberichtigung braucht ein klares Verfahren und qualifiziertes Personal. Eine allgemeine Pflicht zur menschlichen Prüfung jedes automatisierten Schritts lässt sich daraus nicht ableiten.

Schließlich ist nicht jede Entscheidung für menschliche Einzelprüfung geeignet. Hohe Frequenz, kurze Reaktionszeiten oder große Datenmengen können eine andere Aufgabenteilung erfordern. Dann müssen Grenzwerte, automatische Schutzmechanismen und Eskalationswege so gestaltet sein, dass menschliche Aufmerksamkeit gezielt dort eingesetzt wird, wo sie wirksam sein kann.

Eine hohe Zustimmungsquote erklärt die Qualität der Prüfung nicht

Wenn fast alle Empfehlungen bestätigt werden, kann das für passende Vorschläge sprechen – oder dafür, dass die Prüfung praktisch ausfällt. Die Quote allein unterscheidet diese Fälle nicht. Aufschluss geben die Gründe für Entscheidungen, verfügbare Prüfzeit und der Umgang mit widersprüchlichen Angaben.

Ein menschlicher Prüfpunkt ist daher auch nach seiner Einführung zu beobachten: Kann eine begründete Ablehnung wirksam werden, und wird sie im Arbeitsalltag tatsächlich möglich gemacht? Erst die Verbindung von Gestaltung und Nutzung zeigt, ob menschliches Urteil den vorgesehenen Einfluss besitzt.