Send us a text

In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. 

Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss für alle, die verstehen wollen, wie wir KI transparent und kontrollierbar gestalten können!

Haben Sie Lust auf bei den AI Transparency Days dabei zu sein, dann melden Sie sich gerne unter https://www.edif.ai/events an. 

Support the show

Send us a text

Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und echten mentalen Zuständen.

Paper: Probing the Preferences of a Language Model: Integrating Verbal and Behavioral Tests of AI Welfare - https://arxiv.org/abs/2509.07961

Support the show

Send us a text

In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern.

Support the show

Send us a text

In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und diskutieren weitere Anwendungsfälle von Klimapolitik bis Stadtplanung.

Support the show

Send us a text

In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat.

Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf der Erkenntnis, dass diese Transformation nicht erst mit einer zukünftigen Superintelligenz beginnt, sondern bereits mit heutigen Systemen wie ChatGPT und anderen KI-Tools im Gange ist. Die Episode bietet sowohl eine fundierte Analyse der Mechanismen als auch erste Überlegungen zu möglichen Gegenstrategien wie bewusste Entschleunigung und transparentes Monitoring der KI-Durchdringung.

Support the show

Send us a text

In dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen selbst zu erforschen.

Gelphi et. al. (2025): Towards Machine Theory of Mind with Large Language Model - Augmented Inverse Planning. https://arxiv.org/abs/2507.03682v1

Support the show

Send us a text

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für unsere Zukunft spielt. 

Support the show

Send us a text

In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle.

Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind.

Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte.

Link zum Paper: https://arxiv.org/abs/2502.08640

Support the show

Send us a text

In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können.  

Support the show

Send us a text

Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt.

Support the show