Fitness und Precision: Wie gut Ereignisdaten und Prozessmodell zusammenpassen

Zwei Blickrichtungen auf dasselbe Log-Modell-Paar

Ein Modell, das sehr viele Wege zulässt, kann alle Beobachtungen erklären und trotzdem kaum zwischen ihnen unterscheiden. Ein enges Modell kann umgekehrt reale Verläufe ausschließen. Die Kennzahlen sind deshalb gemeinsam und mit ihrer Berechnungsmethode zu betrachten.

M1 und M2 erklären dieselben Beobachtungen unterschiedlich eng

Ein fiktives Log enthält die Folgen A → B → D und A → C → D. M1 erlaubt genau diese beiden Wege. M2 lässt zusätzlich Wege über E und F sowie Wiederholungen zu. Beide können die zwei aufgezeichneten Folgen vollständig wiedergeben.

Der Unterschied liegt im zusätzlich eröffneten Verhalten. Ein Precision-Verfahren, das die an beobachteten Zuständen möglichen, aber nicht beobachteten Fortsetzungen bewertet, kann M2 entsprechend ungünstiger einordnen. Ein konkreter Zahlenwert oder eine Rangfolge für beliebige Precision-Maße folgt aus dieser Skizze nicht; dafür müssen formales Modell, Maß und Berechnung feststehen.

Wird in M1 der Weg über C entfernt, kann es die zweite beobachtete Folge nicht mehr vollständig wiedergeben. Eine stärkere Einschränkung allein ist daher kein ausreichendes Qualitätsziel. Außerdem bleibt fachlich zu klären, ob E und F legitime seltene Wege oder unbeabsichtigte Modellfreiheiten darstellen.

Fitness bewertet die Wiedergabe beobachteter Verläufe

Fitness richtet den Blick vom Ereignislog auf das Modell. Eine Ausführung besitzt eine hohe Fitness, wenn ihre Ereignisfolge im Modell ohne oder mit nur geringen Abweichungen nachvollzogen werden kann. Muss das Analyseverfahren viele beobachtete Ereignisse überspringen oder im Modell nicht aufgezeichnete Schritte ergänzen, sinkt die Fitness.

Die genaue Berechnung hängt vom Verfahren ab. Daher ist „Fitness 0,92“ ohne Angabe von Methode, Modelltyp, Kosten und Aggregation keine vollständige Aussage. Werte verschiedener Werkzeuge oder Konfigurationen dürfen nicht automatisch gleichgesetzt werden.

Auch eine perfekte Fitness ist kein Beweis für ein gutes Modell. Ein sehr offenes Modell kann alle Traces zulassen und dadurch eine Fitness von eins erreichen. Erst die gemeinsame Betrachtung mit Precision und weiteren Qualitätsdimensionen zeigt, ob das Modell das Verhalten zugleich sinnvoll begrenzt.

Precision begrenzt zusätzlich erlaubtes Verhalten

Precision richtet den Blick in die Gegenrichtung: vom Modell auf die Beobachtungen. Ein verbreiteter Ansatz untersucht an Zuständen, die durch aufgezeichnete Ausführungen erreicht werden, welche nächsten Schritte das Modell zulässt und welche davon im Log tatsächlich beobachtet wurden. Eröffnet das Modell viele nicht beobachtete Alternativen, sinkt die Precision.

Muñoz-Gama und Carmona entwickelten eine Precision-Betrachtung, die Situationen zählt, in denen das Modell vom Log abweicht, und dafür das Modell entlang des Logs durchläuft, statt sein gesamtes Verhalten zu prüfen.^[3] Solche Abweichungen heißen „escaping edges“: Aktivitäten, die das Modell nach einem beobachteten Präfix als nächsten Schritt zulässt, die im Log nach diesem Präfix aber nie beobachtet wurden.^[6]

Geringe Precision wird häufig als Hinweis auf Underfitting verstanden. Das Modell ist dann zu allgemein, um charakteristische Einschränkungen des realen Prozesses abzubilden. Trotzdem ist eine nicht beobachtete Alternative nicht automatisch falsch. Sie kann einen seltenen, aber vorgesehenen Notfall- oder Sonderprozess darstellen.

Ereignislog und Prozessmodell bilden die Vergleichsgrundlage

Für beide Kennzahlen werden mindestens ein Ereignislog, ein formal auswertbares Prozessmodell und eine nachvollziehbare Zuordnung zwischen Ereignisklassen und Modellaktivitäten benötigt. Das Log enthält beobachtete Ausführungen innerhalb eines bestimmten Zeitraums. Das Modell beschreibt zulässige beziehungsweise mögliche Ausführungsfolgen.

Diese zwei Seiten sind nicht gleich vollständig. Ein Log enthält nur Verhalten, das tatsächlich aufgezeichnet und in die Analyse einbezogen wurde. Es kann seltene, saisonale oder noch nicht eingetretene Sonderfälle auslassen. Ein Modell kann dagegen Alternativen beschreiben, die fachlich vorgesehen sind, im betrachteten Zeitraum aber nicht vorkamen.

Deshalb hängen Fitness und Precision vom gewählten Datenausschnitt ab. Zeitraum, Fallbildung, Ereignisgranularität, Filter, Modellversion und Kostenparameter gehören zur Aussage einer Messung. Ohne diese Angaben ist ein einzelner Wert kaum belastbar vergleichbar.

Token-basierte Werte hängen vom Replay ab

Token-basierte Fitness setzt beim Nachspielen im Petri-Netz fehlende und überschüssige Tokens zu den produzierten und konsumierten Tokens in Beziehung.[1] Die vorgesehenen Tokens der Endmarkierung sind dabei kein Restfehler.

Beim tokenbasierten Conformance Checking ist für den Vergleich zweier Werte relevant, wie das Verfahren fehlende Tokens ergänzt und mit stillen oder mehrdeutigen Modellschritten umgeht. Solche Entscheidungen können den weiteren Replay-Verlauf und damit das Ergebnis verändern.

Kosten und Normalisierung prägen Alignment-Fitness

Alignment-basierte Fitness bewertet Abweichungen zwischen Log und zulässiger Modellausführung über eine Kostenfunktion.[2] Die Gewichtung kann beispielsweise einen fehlenden sichtbaren Prüfschritt anders behandeln als ein zusätzliches Ereignis. Stille Modellschritte besitzen absichtlich kein zugehöriges Logereignis.

Zum Ergebnis gehören deshalb Kostenfunktion, Behandlung solcher Schritte und Normalisierung. Zwei Werkzeuge können auf demselben Log-Modell-Paar unterschiedliche Werte liefern, wenn diese Festlegungen abweichen. Ein Vergleich sollte zuerst die Berechnungsgrundlage abgleichen, bevor er einen Qualitätsunterschied behauptet.

Ein höherer Gesamtwert kann durch die Auswahl entstehen

Angenommen, aus dem fiktiven Log wird die Folge über C herausgefiltert. Das eingeschränkte M1 ohne C würde nun zum verbleibenden Bestand besser passen. Die reale Ausführung hat sich dadurch nicht verbessert; nur die Vergleichsgrundlage wurde enger.

Auch die Aggregation beeinflusst den Eindruck. Ein Mittel über alle Fälle gewichtet häufige Varianten anders als eine Auswertung, die jede unterschiedliche Variante einmal berücksichtigt. Ein hoher Gesamtwert kann einen seltenen, fachlich wichtigen abweichenden Weg verdecken.

Ein Ergebnisbericht sollte daher Auswahl, Häufigkeiten und Aggregation offenlegen. Veränderungen gegenüber einer früheren Auswertung sind erst dann als Entwicklung interpretierbar, wenn die geänderten Grundlagen bekannt sind.

Fitness und Precision bilden keinen einfachen Zielwert

Fitness und Precision können zu einem harmonischen Mittel zusammengeführt werden. Ein solcher Gesamtwert erleichtert Rangfolgen, verdeckt aber, warum ein Modell besser oder schlechter abschneidet. Zwei Modelle können denselben kombinierten Wert besitzen, obwohl eines reale Fälle auslässt und das andere viel zusätzliches Verhalten erlaubt.

Das Process Mining Manifesto nennt neben Fitness und Precision auch Generalisierung und Einfachheit als Qualitätsdimensionen eines Prozessmodells.^[4] Generalisierung betrifft die Fähigkeit, plausibles, noch nicht beobachtetes Verhalten angemessen abzubilden. Einfachheit bevorzugt verständliche Modelle ohne unnötige Komplexität.

Diese Ziele können miteinander konkurrieren. Ein Modell, das jeden einzelnen Trace exakt nachzeichnet, kann Fitness und Precision im vorhandenen Log maximieren, aber schlecht generalisieren und kaum verständlich sein. Die Auswahl sollte deshalb vom Analysezweck, dem erwarteten Prozessspektrum und der fachlichen Beurteilbarkeit ausgehen.

Datenqualität beeinflusst beide Kennzahlen

Fehlende Ereignisse senken scheinbar die Fitness, wenn das Modell einen Schritt erwartet, der technisch nicht aufgezeichnet wurde. Doppelte oder falsch geordnete Ereignisse können zusätzliche Log-Züge erzeugen. Uneinheitliche Aktivitätsnamen teilen fachlich gleiche Schritte in verschiedene Klassen auf.

Auch Precision reagiert auf den Datenausschnitt. Enthält ein Log nur die häufigsten Produktarten oder ausschließlich erfolgreich abgeschlossene Fälle, erscheinen legitime Alternativen im Modell als nicht beobachtetes Verhalten. Ein kurzer Zeitraum kann seltene Freigabe-, Eskalations- oder Sicherheitswege systematisch auslassen.

Die Analyse muss daher offenlegen, welche Fälle vollständig sind, welche Filter gelten und welche Prozessversion untersucht wird. Ein niedriger Wert ist zunächst ein Untersuchungsanlass: Er kann einen Modellfehler, einen realen Sonderweg, unvollständige Daten oder ein fehlerhaftes Mapping anzeigen.

Entdeckte Modelle benötigen eine getrennte Bewertung

Process Discovery erzeugt Prozessmodelle aus beobachteten Ereignisfolgen. Fitness und Precision helfen anschließend zu beurteilen, ob ein entdecktes Modell die Daten angemessen wiedergibt und zugleich nicht übermäßig viel Verhalten eröffnet.

Eine Bewertung auf denselben Daten, aus denen das Modell erzeugt wurde, kann jedoch zu optimistisch sein. Für robuste Aussagen kann es sinnvoll sein, Daten zeitlich oder fallbezogen in Trainings- und Prüfbestände aufzuteilen. Dann zeigt sich, ob das Modell nur vorhandene Einzelfälle nachzeichnet oder auch weitere vergleichbare Ausführungen angemessen beschreibt.

Auch Prozessvarianten bleiben relevant. Ein aggregierter Fitnesswert kann verdecken, dass die häufigste Variante perfekt passt, während ein fachlich wichtiger Sonderweg regelmäßig abweicht. Kennzahlen sollten deshalb nach Variante, Produktgruppe, Standort oder Modellversion aufschlüsselbar sein.

Objektzentrierte Prozesse benötigen passende Definitionen

Klassische Fitness- und Precision-Verfahren gehen häufig von fallbezogenen Traces aus. Reale Produktionsprozesse verbinden jedoch gleichzeitig Chargen, Materialien, Proben, Aufgaben, Geräte und Aufträge. Eine einzige Fallkennung kann solche Beziehungen künstlich vereinfachen.

Für Object-Centric Process Mining wurden deshalb eigene Fitness- und Precision-Begriffe für objektzentrierte Petri-Netze und Ereignislogs entwickelt. Adams und van der Aalst berücksichtigen dabei, dass Ereignisse mit mehreren Objekten und Objektarten verbunden sein können.^[5]

Werte aus klassischer und objektzentrierter Auswertung sind nicht ohne Weiteres vergleichbar. Zunächst muss feststehen, welche Prozessperspektive die betriebliche Frage angemessen abbildet.

Die folgende Grafik ergänzt das qualitative M1/M2-Beispiel um veröffentlichte Ergebnisse objektzentrierter Modelle. A, B und C bezeichnen die Modelle der Studie, nicht M1 und M2.

Der hohe Precision-Wert von B ist zusammen mit seiner geringeren Fitness und den ausgelassenen Ereignissen zu lesen. Er belegt keine umfassende Abdeckung des Logs.

Was Fitness und Precision nicht beweisen

• Nicht beobachtet bedeutet nicht unzulässig. Seltene oder zukünftige Alternativen können fachlich notwendig sein.
• Eine Abweichung erklärt keine Ursache. Modell, Mapping, Daten und Ausführung müssen getrennt geprüft werden.
• Die Kennzahlen ersetzen keine Compliance-Bewertung. Rechtliche und fachliche Zulässigkeit erfordern verantwortliche Beurteilung.

Die Zahl braucht ihren Vergleichsgegenstand

M1 und M2 zeigen, warum eine gute Wiedergabe des Logs noch keine präzise Begrenzung des Modellverhaltens bedeutet. Das gefilterte Log zeigt außerdem, wie sich ein Wert ohne jede Änderung der Arbeit verbessern kann.

Eine belastbare Interpretation nennt deshalb immer Log, Modell und Maß. Erst mit Datenauswahl, Parametern und Aggregation lässt sich beurteilen, was ein Unterschied zwischen zwei Ergebnissen tatsächlich aussagt.