Gast: Christian Krauter
Consultant bei einer großen Versicherung, promoviert an der Middlesex University (London) zu AI-gestützten Entscheidungen und Vertrauen.
Christian Krauter und Dr. Jan-Arne Gewert diskutieren die provokante These, dass Mensch-KI-Teams imSchnitt schlechter abschneiden als Menschen oder KI allein. Der Ausgangspunk war ein LinkedIn-Post von Christian. Im Gespräch geht es um die Gründe (kognitiveÖkonomie, Anchoring Bias, post-hoc-Erklärungen von generativer KI), die richtige Gestaltung von Human-in-the-Loop-Prozessen, Einsatzgebiete von KI inder Versicherung, Risiken wie Deskilling und Over-/Underreliance sowie konkrete Design-Kriterien für Führungskräfte. Zentrale Botschaft: Deutschland hat vorallem ein Haltungsproblem, kein KI-Problem – und Appropriate Reliance istgestaltbar
Warum Human-in-the-Loop oft scheitert
- Viele Organisationen sehen„Human in the Loop“ als Allheilmittel für Compliance und Qualität.
- In der Praxis überfordert dasoperative Mitarbeitende: Sie müssen unter Zeitdruck KI-Ergebnissevalidieren/falsifizieren, ohne den Fall richtig zu kennen.
- Drei zentrale Mechanismen:
1. Die KI ist in manchen Aufgaben bereits besser als der Mensch →pauschales Gegenprüfen macht keinen Sinn. 2. Kognitive Ökonomie / „Denkfaulheit“: Menschen sparen mentaleAnstrengung und übernehmen plausibel klingende Erklärungen. 3. Anchoring Bias: Wenn das KI-Ergebnis zuerst gezeigt wird, kostet es mehr mentale Energie, dagegen zu entscheiden.
- Generative KI liefert post-hoc-Erklärungen, die nicht immer kausal korrekt sind – das erschwert dasWidersprechen zusätzlich.
Technische und organisatorische Gegenmaßnahmen
- Multi-Modell-Voting /LLM-Voting zur Konfidenzschätzung.
- Nur bei niedriger Konfidenzoder besonders kritischen Fällen an den Menschen aussteuern.
- Bewusste kognitive Reibungerzeugen (z. B. weniger „glatte“ Texte, offensichtliche Unstimmigkeiteneinbauen), damit der Mensch nachdenken muss.
- Human-in-the-Loop richtigdesignen statt pauschal einzusetzen
KI im Versicherungswesen
Große Potenziale liegen aktuellvor allem im Input-Management: Klassifikation und Extraktion von Fachdaten ausBriefen, E-Mails und (noch) Faxen, anschließende Weiterverarbeitung oder dunkleAutomation. Daneben klassische Use Cases wie Betrugserkennung.
Fokus der Promotion: operative Mitarbeitende
Christian untersucht vor allemoperative, repetitive Entscheidungen (z. B. Scoring-ähnliche Klassifikationen).Dort tritt Over- und Underreliance stärker auf als bei strategischenFührungsentscheidungen. Gründe: hohe Fallzahlen, geringere leistungsbasierteVergütung und die kognitive Ökonomie.
Appropriate Reliance ist gestaltbar – underhöht die Verantwortung
Führungskräfte und Mitarbeitendewerden zunehmend zu Auditoren von KI-Ergebnissen. Das erfordert bewussteHaltung: Urteilsfähigkeit nicht abschalten. Deskilling (Abbau von Fachwissenund kritischem Denken) ist eine reale Gefahr, wenn man Entscheidungen dauerhaftan die KI abgibt.
Führung, Selbstbild und KI als „Devil’sAdvocate“
- Jan-Arne berichtet aus derFührungspraxis: Je höher in der Hierarchie, desto weniger ehrliches Feedback.KI kann hier als kritischer Spiegel dienen – wenn man sie entsprechendpromptet.
Wichtige Takeaways
- Mensch-KI-Teams sind nicht perse besser. Die Qualität hängt stark vom Design und der Haltung ab.
- Overreliance entsteht u. a.durch kognitive Ökonomie, Anchoring und zu glatte Erklärungen.
- Appropriate Reliance istgestaltbar (technische, prozessuale und schulische Hebel).
- Deskilling und Verlust derUrteilsfähigkeit sind reale Risiken.
- Führungskräfte müssen sichtbarselbst denken und Verantwortung übernehmen – sonst verlieren sieGlaubwürdigkeit.
- Gute KI-Literacy (nicht nurOberflächenwissen) ist der beste Schutz vor Over- und Underreliance.
---
KIT Publikation zu AppropriateReliance
https://publikationen.bibliothek.kit.edu/1000158077