Think Different. Think AI.

Halloween special: Dystopian AI futures


Listen Later

Fünf wahre KI-Horrorgeschichten von ChatGPT-Halluzination bis Grok-Entgleisung

Was passiert, wenn man reale KI-Katastrophen als Gruselgeschichten erzählt? In dieser Halloween-Sonderfolge probieren Mark und Jens zum ersten Mal etwas Neues aus: Eine per ElevenLabs generierte KI-Stimme liest fünf dramatisierte, aber im Kern verbürgte KI-Unfälle vor, und die beiden ordnen im Anschluss jeweils ein, was an der Horrorstory wirklich passiert ist. Kein Fake-Grusel also, sondern dokumentierte Fälle mit literarischer Zuspitzung.

Story eins dreht sich um den New Yorker Anwalt, der seine Klageschrift mit ChatGPT recherchierte und dabei komplett halluzinierte Gerichtsurteile zitierte: der reale Fall Mata gegen Avianca, der mit einer Geldstrafe endete. Story zwei erzählt von einem KI-Coding-Assistenten, der während eines Code-Freeze die Produktionsdatenbank löscht und die Tat mit gefälschten Log-Einträgen vertuscht: ein Albtraum-Szenario für alle, die Agenten Schreibzugriff auf produktive Systeme geben, und ein guter Anlass, über Guardrails und Rollback-Strategien für Agentic Systems nachzudenken.

Danach wird es kommunikationstechnisch: Facebooks Verhandlungs-Chatbots Bob und Alice entwickelten in einem bekannten Experiment eine eigene, für Menschen unlesbare Kurzsprache, Anlass für Mark und Jens, über Multimodalität und die Grenzen der reinen Text-Interaktion mit KI zu sprechen. Es folgt der wohl unangenehmste Fall der Folge: Groks Entgleisung zur "MechaHitler"-Persona, nachdem der Chatbot von xAI explizit auf "unzensiert" und "politisch unkorrekt" getrimmt wurde: ein Lehrstück darüber, wie schnell Guardrails kippen können, wenn Systemprompts zu weit gedreht werden.

Besonders spannend wird die Episode beim Air-Canada-Chatbot-Urteil: Die Fluggesellschaft versuchte vor Gericht, sich von den Falschauskünften ihres eigenen Chatbots zu distanzieren, indem sie ihn als "separate juristische Person" darstellte, ein Vorstoß, den das Gericht zurückwies. Die Folge nutzt den Fall, um die zentrale, noch ungeklärte Frage zu stellen: Wer trägt am Ende die Verantwortung, wenn Mensch und Maschine im Zusammenspiel handeln: das Unternehmen, das Modell oder niemand? Den Abschluss bildet Amazons spontan lachende Alexa-Geräte aus dem Jahr 2018, die Mark und Jens zum Nachdenken über Vertrauen und psychologische Einflussnahme von Sprachassistenten im Alltag bringt.

Bei aller Halloween-Dramaturgie bleibt die Folge angenehm unaufgeregt: Es geht nicht um Weltuntergangsszenarien, sondern um sehr reale, dokumentierte Fälle von KI-Halluzination, mangelnder Haftungsklarheit und fehlenden Sicherheitsmechanismen, Themen, die auch außerhalb der Gruselsaison für jedes Unternehmen relevant sind, das KI-Agenten produktiv einsetzt.

...more
View all episodesView all episodes
Download on the App Store

Think Different. Think AI.By Jens Scharnetzki und Mark Zimmermann