Erklärbare Entscheidungsempfehlungen: Grundlagen für menschliche Prüfung

Erklärbare Entscheidungsempfehlungen legen ihre Grundlage offen

Das National Institute of Standards and Technology unterscheidet vier grundlegende Anforderungen an erklärbare Systeme: Sie sollen für Ergebnisse Belege oder Gründe liefern, diese für die jeweiligen Nutzer verständlich darstellen, die tatsächliche Arbeitsweise des Systems zutreffend wiedergeben und ihre Wissensgrenzen erkennen.^[1] Für betriebliche Entscheidungsempfehlungen lässt sich daraus eine klare Leitlinie ableiten: Eine Ausgabe ist nicht schon deshalb erklärbar, weil neben ihr irgendeine Begründung erscheint.

Erklärbarkeit ist außerdem rollen- und situationsabhängig. Eine Fachkraft benötigt andere Einzelheiten als eine freigabeberechtigte Person, die Qualitätssicherung oder die spätere Untersuchung einer Abweichung. Dieselbe Empfehlung kann deshalb mehrere Erklärungsebenen besitzen, ohne dass ihre fachliche Grundlage verändert wird.

Beispiel: Empfehlung für eine zusätzliche Inprozessprüfung

Ein vereinfachtes, fiktives Szenario: Während einer Charge erkennt ein System, dass drei aufeinanderfolgende Messwerte innerhalb des angegebenen Spezifikationsbereichs liegen, sich aber schneller in Richtung einer Warngrenze bewegen als bei vergleichbaren freigegebenen Verläufen. Es empfiehlt, vor dem nächsten Verarbeitungsschritt eine zusätzliche Probe zu entnehmen. Die Warngrenze dient in diesem Szenario als vorsorgliche Hinweisschwelle; sie ist von der Spezifikationsgrenze zu unterscheiden. Trendberechnung, Auswahl der Vergleichsverläufe und Auslöseschwelle müssten für eine tatsächliche Anwendung festgelegt und geprüft werden.

Die erste Erklärungsebene nennt die Handlung und den Hauptgrund: „Zusätzliche Probe vor Schritt 7 empfohlen: Die letzten drei Messwerte nähern sich der Warngrenze schneller als in den herangezogenen Vergleichsverläufen. Die Einzelwerte liegen noch im angegebenen Spezifikationsbereich; für einen Teil des Vergleichszeitraums fehlt ein Umgebungswert.“ Damit bleibt erkennbar, dass der Vorschlag auf dem beschriebenen Trend beruht und nicht auf einer Überschreitung des Spezifikationsbereichs. Eine vollständige Konformitätsbewertung folgt daraus nicht.

Eine vertiefende Ansicht zeigt die drei Messwerte, Gerät und Zeitpunkte, die geltende Prüfvorschrift, die verwendete Warngrenze und die herangezogene Vergleichsgruppe. Sie macht nachvollziehbar, nach welchen Merkmalen die Verläufe ausgewählt wurden und welche Aussage wegen des fehlenden Umgebungswerts eingeschränkt bleibt. Als Alternative ist die planmäßige Fortführung dargestellt; gegen sie spricht der beobachtete Trend, nicht bereits ein festgestellter Qualitätsmangel.

Die verantwortliche Person prüft die Grundlage. Sie kann die zusätzliche Probe anordnen, die Empfehlung mit dokumentierter Begründung ablehnen oder wegen unzureichender Informationen eskalieren. Die Erklärung macht den Entscheidungsraum sichtbar, übernimmt aber nicht die Entscheidung.

Fünf Prüffragen für die Erklärung einer Empfehlung

Die folgenden fünf Fragen dienen hier als Arbeitshilfe. Sie sind kein universeller Mindeststandard; ihre Ausgestaltung hängt vom Verfahren und der Entscheidungssituation ab. Erstens: Was wird empfohlen? Die vorgeschlagene Handlung muss eindeutig benannt und von bloßen Hinweisen oder Warnungen unterschieden werden. Zweitens: Worauf beruht die Empfehlung? Relevante Messwerte, Ereignisse, Dokumente, Regeln und bestätigte Erfahrungszusammenhänge müssen auffindbar bleiben.

Drittens: Welche Faktoren waren ausschlaggebend? Eine vollständige Datenliste hilft wenig, wenn die verantwortliche Person nicht erkennt, welche Abweichung oder Bedingung den Vorschlag wesentlich beeinflusst hat. Viertens: Welche Unsicherheit oder Grenze besteht? Fehlende Informationen, ein ungewöhnlicher Fall oder ein enger Geltungsbereich müssen sichtbar sein. Fünftens: Wurden Alternativen verglichen, und wenn ja, wie? Ein solcher Vergleich kann den Vorschlag verständlicher machen. Hat das Verfahren keine Alternativen bewertet, darf die Erklärung diese Prüfung nicht nachträglich behaupten.

Diese Bestandteile müssen nicht immer gleichzeitig auf der ersten Oberfläche stehen. Eine kurze Darstellung kann die Empfehlung, ihren Hauptgrund und eine wesentliche Grenze zeigen. Vertiefende Ebenen können Datenherkunft, Regelversion, Vergleichsfälle und weitere Alternativen zugänglich machen. Entscheidend ist, dass die Verkürzung keine fachlich wichtige Einschränkung verdeckt.

Relevante Faktoren sind hilfreicher als eine vollständige Datenwand

Ein komplexer Vorgang kann Hunderte Datenpunkte enthalten. Sie alle gleichzeitig anzuzeigen, erzeugt formale Vollständigkeit, aber nicht zwingend Verständnis. Erklärungen wählen deshalb jene Faktoren aus, die für die konkrete Empfehlung den größten Unterschied gemacht haben. Diese Auswahl selbst muss jedoch nachvollziehbar und darf nicht irreführend sein.

Tim Miller zeigt anhand sozialwissenschaftlicher Forschung, dass Menschen Erklärungen häufig kontrastiv verstehen: Sie fragen nicht nur, warum eine Option empfohlen wurde, sondern warum diese Option anstelle einer anderen vorgeschlagen wird.^[3] Eine betriebliche Erklärung kann deshalb besonders nützlich sein, wenn sie den entscheidenden Unterschied benennt – etwa warum eine zusätzliche Prüfung empfohlen wird, obwohl der Messwert noch innerhalb einer allgemeinen Toleranz liegt.

Der wichtigste Faktor ist nicht automatisch eine Ursache. Statistische Zusammenhänge, Regelbedingungen und kausale Aussagen müssen sprachlich getrennt bleiben. „Trat in ähnlichen Fällen gemeinsam auf“ ist etwas anderes als „verursacht“. Eine erklärbare Empfehlung darf diese Grenze nicht durch eine zu sichere Formulierung verwischen.

Die Erklärung auf den tatsächlich verwendeten Stand beziehen

Der Trend im Beispiel ist eine Ableitung. Die Einzelwerte allein erklären daher nicht, weshalb er als auffällig behandelt wurde. Zusätzlich sind Berechnung, ausgewählte Vergleichsverläufe und verwendete Schwelle relevant. Fehlt eine dieser Grundlagen, bleibt genau diese Prüfung offen.

Anhand der Data Provenance muss nachvollziehbar sein, aus welchen Datenständen und Verarbeitungsschritten die Empfehlung entstanden ist. Später korrigierte Messwerte oder neue Regelversionen dürfen nicht als damalige Empfehlungsgrundlage erscheinen.

Eine heutige Neuberechnung kann zu einem anderen Ergebnis kommen. Sie muss dann als neue Bewertung mit eigener Grundlage erkennbar sein, damit beide Ergebnisse sinnvoll verglichen werden können.

Unsicherheit und Wissensgrenzen gehören in die Erklärung

Eine Empfehlung kann auf unvollständigen, verspäteten oder nur eingeschränkt vergleichbaren Informationen beruhen. Solche Grenzen sind kein technisches Detail, das ausschließlich in ein Protokoll gehört. Sie verändern, wie eine verantwortliche Person den Vorschlag gewichten darf.

Unsicherheit kann verschiedene Ursachen haben: Ein erforderlicher Kontextwert fehlt, ein Messgerät meldet eingeschränkte Qualität, ein Vergleichsfall ist nur teilweise ähnlich oder ein Modell wurde für diesen Sonderfall noch nicht geprüft. Diese Ursachen sollten getrennt benannt werden. Eine einzige Prozentzahl kann leicht den Eindruck präziser Gewissheit erzeugen, obwohl mehrere unterschiedliche Unsicherheiten zusammenkommen.

Auch eine Schwelle muss verständlich bleiben. Wird eine Empfehlung ab einem bestimmten Wert ausgelöst, sollte erkennbar sein, ob diese Grenze aus einer freigegebenen Regel, einer statistischen Verteilung oder einer betrieblichen Konvention stammt. Die Anzeige der Schwelle allein erklärt noch nicht, weshalb sie für den aktuellen Prozess gilt.

Alternativen und Randbedingungen machen den Entscheidungsraum sichtbar

Eine Empfehlung wirkt schnell wie die einzig zulässige Handlung, wenn andere Möglichkeiten unsichtbar bleiben. Eine gute Erklärung zeigt deshalb, welche realistischen Alternativen bestanden und welche Randbedingung gegen sie sprach. Das muss keine vollständige Simulation aller denkbaren Wege sein. Relevant sind die Optionen, die unter den geltenden Prozess-, Qualitäts- und Sicherheitsbedingungen tatsächlich zur Verfügung stehen.

Bei einer vorgeschlagenen Nachprüfung kann die Alternative etwa lauten, den Prozess ohne zusätzliche Messung fortzuführen. Wurden beide Optionen tatsächlich verglichen, zeigt die Erklärung, welche konkrete Auffälligkeit bei dieser Abwägung für den zusätzlichen Prüfaufwand sprach. Hat dagegen nur eine Regel den Vorschlag ausgelöst, benennt sie diese Regel, ohne eine Bewertung der anderen Option zu behaupten. Ist eine Alternative aufgrund einer freigegebenen SOP ausgeschlossen, muss auch diese Regelgrundlage sichtbar sein.

Gleichzeitig darf ein System keine Scheinauswahl erzeugen. Wenn eine regulatorische oder sicherheitsbezogene Bedingung nur einen zulässigen Weg lässt, handelt es sich nicht um eine offene Entscheidungsempfehlung. Die Oberfläche sollte dann eine verbindliche Anforderung mit ihrer Grundlage darstellen und nicht so tun, als könne der Mensch sie beliebig abwählen.

Erklärungen müssen zur Rolle und zur Aufgabe passen

Erklärbarkeit ist keine feste Eigenschaft eines einzelnen Textes. Eine Erklärung ist nur dann nützlich, wenn die adressierte Person sie in ihrer Aufgabe verstehen und überprüfen kann. Doshi-Velez und Kim betonen, dass Interpretierbarkeit nicht nur behauptet, sondern bezogen auf Zweck, Nutzer und Aufgabe bewertet werden muss.^[4]

Eine ausführende Fachkraft benötigt beispielsweise den betroffenen Prozessschritt, den unmittelbaren Grund und die zulässigen Handlungen. Die Qualitätssicherung braucht zusätzlich Datenherkunft, Regelversion und vergleichbare Fälle. Für eine spätere Untersuchung sind die vollständige Empfehlung, die damalige Darstellung, die menschliche Reaktion und der anschließende Prozessverlauf wichtig.

Mehr Detail ist dabei nicht automatisch besser. Zu viele technische Informationen können die entscheidende Einschränkung verdecken. Umgekehrt darf eine vereinfachte Erklärung nicht den Eindruck erwecken, sie bilde die gesamte interne Berechnung ab. Zachary Lipton warnt davor, unterschiedliche Bedeutungen von Interpretierbarkeit und nachträglicher Erklärung gleichzusetzen.^[5]

Eine Empfehlung unterstützt die Entscheidung, sie ersetzt sie nicht

Systeme zur Entscheidungsunterstützung bilden die übergeordnete Systemgattung: Sie stellen Informationen, Bewertungen oder Handlungsoptionen für eine Entscheidungssituation bereit. Erklärbare Entscheidungsempfehlungen betreffen einen engeren Ausschnitt. Sie beantworten, weshalb eine bestimmte Option in genau dieser Situation vorgeschlagen wird und wie ein Mensch ihre Grundlage prüfen kann.

Die Empfehlung bleibt ein Beitrag zur Entscheidung. Sie darf nicht sprachlich als zwingende Anweisung erscheinen, wenn die verantwortliche Rolle zwischen mehreren zulässigen Optionen wählen muss.

Bei Human in the Loop kann die erklärbare Empfehlung eine nachvollziehbare Grundlage für die menschliche Prüfung oder Entscheidung liefern. Sie legt jedoch weder die organisatorische Verantwortung fest noch garantiert sie, dass die Person unter realen Arbeitsbedingungen wirksam eingreifen kann.

Die europäischen Leitlinien für vertrauenswürdige KI verbinden Transparenz mit menschlicher Handlungsfähigkeit und Aufsicht. Erklärungen sollen an die betroffenen Anspruchsgruppen angepasst sein und Fähigkeiten sowie Grenzen eines Systems erkennbar machen.^[2] Diese Grundsätze sind auch dann nützlich, wenn eine betriebliche Empfehlung nicht aus einem KI-Modell, sondern aus Regeln, Vergleichsfällen oder einer Kombination verschiedener Verfahren entsteht.

Eine Ablehnung kann die Empfehlung oder ihre Erklärung betreffen

Wird der Vorschlag abgelehnt, kann der Grund im Vergleichsverfahren liegen oder lediglich darin, dass die entscheidende Datenlücke nicht verständlich dargestellt war. Diese Rückmeldungen verlangen unterschiedliche Untersuchungen. Zustimmung allein bestätigt ebenfalls weder Inhalt noch Erklärungstreue.

Ein Human Feedback Loop führt solche Rückmeldungen in die Prüfung zurück. Für die Erklärung sollte zunächst feststehen, ob Datengrundlage, fachlicher Schluss oder Darstellung beanstandet wurde.

Was eine verständliche Erklärung nicht beweist

Eine verständliche Erklärung beweist nicht, dass die Empfehlung richtig, vollständig, fair oder sicher ist. Sie kann fehlerhafte Eingaben zutreffend wiedergeben, eine ungeeignete Regel korrekt beschreiben oder eine nachträgliche Begründung liefern, die das tatsächliche Systemverhalten nur unzureichend abbildet. Genau deshalb trennt NIST eine verständliche Erklärung von ihrer Genauigkeit und von der Fähigkeit, Wissensgrenzen zu erkennen.

Auch Nachvollziehbarkeit ist nicht automatisch Kausalität. Wenn ähnliche Prozessverläufe häufig gemeinsam mit einem späteren Qualitätsproblem auftraten, kann dieser Zusammenhang eine zusätzliche Prüfung begründen. Er erlaubt aber ohne weitere Untersuchung nicht die Aussage, der Verlauf habe das Problem verursacht.

Schließlich darf Erklärbarkeit nicht zur Verlagerung von Verantwortung führen. Eine Person kann nur verantwortlich prüfen, wenn sie ausreichend Zeit, Befugnis, Fachwissen und eine reale Möglichkeit zur Abweichung besitzt. Ein formal vorhandener Erklärungsknopf gleicht keinen Entscheidungsprozess aus, der menschliche Kontrolle praktisch verhindert.

Die Kurzbegründung muss den entscheidenden Vergleich erhalten

Im Beispiel reicht „Die Werte steigen“ als Erklärung nicht aus. Ausschlaggebend ist die beschriebene Entwicklung gegenüber den ausgewählten Vergleichsverläufen. Auch die relevante Datenlücke muss bei der Verkürzung sichtbar bleiben.

Eine Erklärung ist dann prüfbar, wenn ihre Aussagen zur tatsächlichen Empfehlungsgrundlage passen. Verständliche Sprache hilft bei dieser Prüfung; ob Empfehlung und zugrunde liegendes Verfahren fachlich geeignet sind, bleibt zusätzlich zu beurteilen.