Was haben Hai-Angriffe mit Eiscreme zu tun?

Falle 1. – Korrelation ist nicht Kausalität

Ihre Daten haben ein Muster aufgezeigt, das in Wirklichkeit gar nicht existiert.

Ein plakatives Beispiel für einen solchen Fall: Der Eisverkauf und die Zahl der Haiangriffe nehmen jedes Jahr zeitgleich zu. Überträgt man die Daten in ein Diagramm, verlaufen die Kurven fast synchron. Die Korrelation ist stark. Aber ein Verbot von Eiscreme würde nicht die Haiangriffe verhindern. Beide Phänomene nehmen aufgrund des warmen Wetters zu. Diese verborgene Variable erklärt den Zusammenhang.

Auch wenn Eiscreme und Haie im Geschäftsalltag eher selten vorkommen, fallen Teams im Umgang mit Geschäftsdaten auf ganz ähnliche Muster herein. Beispielsweise steigen parallel zu einer Werbeschaltung die Umsatzzahlen. Es ist verlockend, daraus zu schließen, dass die Kampagne das Wachstum ausgelöst hat – doch was hat sich sonst noch verändert? Saisonale Effekte, der Rückzug eines Wettbewerbers vom Markt oder eine Preisanpassung könnten denselben Trend erklären. Dass sich zwei Kennzahlen synchron entwickeln, ist noch kein Beweis dafür, dass die eine die Ursache für die andere ist.

Wenn Korrelation mit Kausalität gleichgesetzt wird, kann es dazu führen, dass Unternehmen Initiativen ausweiten, die eigentlich gar keine Ergebnisse liefern. Stattdessen werden Investitionen gestrichen, die zielführender wären.

Worauf man achten sollte: Bevor Sie sagen "X hat Y verursacht", fragen Sie sich: Welche anderen Variablen haben sich gleichzeitig verändert? Könnte ein dritter Faktor beides erklären? Bleibt der Effekt bestehen, wenn man saisonale Schwankungen herausrechnet?

Falle 2. – Fehlende Erklärbarkeit

Das KI-Modell liefert zwar eine Antwort, aber der Analyseweg ist nicht nachvollziehbar.

Stellen Sie sich vor, Ihr Modell kennzeichnet eine Transaktion als Betrug, lehnt einen Kreditantrag ab oder filtert einen Kandidaten aus dem Bewerbungsprozess heraus. Dann fragt jemand: Warum hat es diese Entscheidung getroffen?

Wenn Ihre beste Antwort dann lautet: "Das Modell hat es so gesagt", haben Sie ein Vertrauensproblem. Die EU-KI-Verordnung (EU AI Act) fordert bereits die Erklärbarkeit von Hochrisikoanwendungen. 

Aufsichtsbehörden, Prüfer und alle von diesen Entscheidungen Betroffenen stellen die Frage: Wie sind Sie zu diesem Ergebnis gekommen? Dies ist die sogenannte Erklärbarkeitslücke. Die meisten Modelle sind auf Genauigkeit und nicht auf Transparenz optimiert. Sie liefern also eine Vorhersage, ohne die Begründung dafür offenzulegen. Die Lösung besteht nicht darin, auf KI zu verzichten. Vielmehr geht es darum, Systeme zu entwickeln, in denen jeder Schritt sichtbar ist, in denen man auf jeden Teil des Prozesses klicken und sehen kann, welche Daten eingegeben wurden, welche Logik angewendet wurde und wie das Ergebnis erzeugt wurde. Wenn der Prüfer fragt: "Wie?", sollten Sie ihm den gesamten Weg von der Eingabe bis zur Entscheidung aufzeigen können.

Worauf man achten sollte: Wenn jemand fragt, warum Ihr Modell eine bestimmte Entscheidung getroffen hat, und Sie erst im Code nachsehen oder raten müssen, ist das ein Zeichen dafür, dass der Prozess mehr Transparenz benötigt, bevor er für echte Entscheidungen bereit ist.

Falle 3. – Überanpassung

Ihr Modell erreicht bei den Testdaten eine Genauigkeit von 98 % – alle jubeln. Aber sobald es live geht, sind die Vorhersagen in der Hälfte der Fälle falsch.

Dieses Phänomen wird als Überanpassung oder "Overfitting" bezeichnet: Das Modell hat die Trainingsdaten lediglich auswendig gelernt, anstatt die darin enthaltenen tatsächlichen Muster zu erfassen. Jede Eigenheit, jeder Ausreißer und jeder Zufall aus dem Datensatz wird fest in das Modell integriert. Dadurch wirkt es im Nachhinein zwar brillant, ist aber nicht in der Lage, mit neuen Daten umzugehen.

Ein Vergleich wäre eine Strategie zur Verhinderung von Kundenabwanderung. Diese funktioniert bei den aktuellen Kunden im Heimatmarkt hervorragend, aber beim Eintritt in einen neuen Markt versagt sie. Überträgt man dies auf ein KI-Modell, dann hätte dieses nicht gelernt, "was zur Abwanderung von Kunden führt", sondern, "was in diesem speziellen Quartal bei genau diesen Personen zur Abwanderung geführt hat" – und das ist nicht dasselbe. Tückisch ist, dass sich eine solche Überanpassung nicht ankündigt. Die Kennzahlen sehen hervorragend aus und die Grafiken wirken sauber. Alles scheint in Ordnung zu sein, bis das Modell auf reale Daten trifft, die nicht mit dem Trainingsdatensatz übereinstimmen.

Worauf man achten sollte: Wenn die Leistung Ihres Modells bei Tests mit bisher unbekannten Daten deutlich abfällt, hat es Rauschen statt des eigentlichen Signals gelernt. Validieren Sie das Modell stets anhand von Holdout-Daten und seien Sie bei Ergebnissen, die zu gut erscheinen, skeptisch.

Alle drei "Fallen" haben eines gemeinsam: Das Ergebnis, das das Daten- und KI-Modell liefert, sieht auf den ersten Blick korrekt aus. Das Dashboard ist grün und der Genauigkeitswert hoch. Nichts an den oberflächlichen Ergebnissen deutet auf ein Problem hin. Das eigentliche Problem liegt nicht in der Antwort selbst, sondern in der Art und Weise, wie sie erzielt wurde und wie transparent und nachvollziehbar dieser Weg ist.

"Teams, die ihre Analysen in sichtbaren und nachvollziehbaren Schritten aufbauen, erkennen solche Probleme meist frühzeitig. Wer sich hingegen auf 'Black-Box'-Ergebnisse verlässt, bemerkt Fehler oft erst, nachdem bereits eine Fehlentscheidung getroffen wurde", erklärt Christian Birkhold, VP Products bei KNIME. "Der Unterschied zwischen 'Unser Modell klappt' gegenüber 'Unser Modell klappt – und wir können die Entscheidungsfindung jederzeit belegen' macht den Unterschied zwischen einer guten Demo und einem vertrauenswürdigen System aus."