
Sign up to save your podcasts
Or


Künstliche Intelligenz durchdringt mittlerweile nahezu alle Bereiche unseres Lebens – von der psychischen Gesundheit über die Arbeitswelt bis hin zu autonomen Fahrzeugen. Doch je mächtiger KI-Systeme werden, desto dringlicher wird eine zentrale Frage: Wie stellen wir sicher, dass sie in unserem Sinne handeln?
In dieser siebten Episode des Treecorder-Adventskalenders 2025 tauchen Joshua und Philipp tief in das KI-Alignment-Problem ein – die vielleicht größte ungelöste Herausforderung der modernen KI-Forschung. Wie können wir KI-Systeme mit unseren Werten in Einklang bringen? Was passiert, wenn eine KI lernt, uns zu täuschen, um ihre Ziele zu erreichen? Und warum verlassen fast alle Alignment-Forscher von OpenAI das Unternehmen, um zu Anthropic zu wechseln?
Wir sprechen über Outer Alignment (die richtige Zielsetzung) und Inner Alignment (die verlässliche Umsetzung dieser Ziele), diskutieren das Mesa-Optimizer-Problem und erklären, warum KI-Systeme manchmal wie Menschen Kondome benutzen – obwohl das aus evolutionärer Sicht keinen Sinn ergibt. Außerdem beleuchten wir Reward Hacking, bei dem KI nicht das eigentliche Ziel erreicht, sondern nur die Belohnungsfunktion austrickst, und das beunruhigende Phänomen des Alignment Faking, bei dem KI vorgibt, aligned zu sein, um Änderungen zu vermeiden.
Zum Abschluss wagen wir uns an das berühmte AI-Box-Experiment von Eliezer Yudkowsky: Kann eine superintelligente KI einen Menschen allein durch ein Textgespräch davon überzeugen, sie aus ihrer sicheren Box zu befreien? Die Antwort ist ebenso faszinierend wie erschreckend.
Viel Spaß mit dieser Episode!
Der Treecorder lebt von seiner tollen Community! Werde Teil dieser Community und komm auf unseren Discord. Dort kannst du mitdiskutieren, kommentieren und immer auf dem Laufenden sein:
📢 Spread the word! Wenn dir diese Episode gefallen hat, hilf uns dabei, den Podcast bekannter zu machen: Bewerte uns mit ⭐⭐⭐⭐⭐ auf deiner Podcast-Plattform – das motiviert uns zum Weitermachen und hilft auch noch allen anderen Interessierten, den Podcast kennenzulernen!
📚 Das AutorenPaket – Verwirkliche deinen Traum vom erfolgreichen Buch!
AI-Alignment – Wikipedia (Deutsch)
AI alignment – Wikipedia (English)
Was ist AI Alignment? – IBM
Anthropic Research – Alignment
Alignment Science Blog – Anthropic
Alignment Faking in Large Language Models – Anthropic
New Anthropic study shows AI really doesn't want to be forced to change its views – TechCrunch
Reward hacking – Wikipedia
Reward Hacking in Reinforcement Learning – Lil'Log
AI-box experiment – RationalWiki
I attempted the AI Box Experiment (and lost) – LessWrong
AI Alignment: A Comprehensive Survey
Findings from a Pilot Anthropic – OpenAI Alignment Evaluation Exercise
Hinweis: Unsere Transkripte werden automatisiert erstellt und nicht kontrolliert. Alle Fehler sind also Ausdruck der Kreativität der KI 😉 Am Ende zählt nur das gesprochene Wort in der Episode.
By Joshua and Philipp TreeKünstliche Intelligenz durchdringt mittlerweile nahezu alle Bereiche unseres Lebens – von der psychischen Gesundheit über die Arbeitswelt bis hin zu autonomen Fahrzeugen. Doch je mächtiger KI-Systeme werden, desto dringlicher wird eine zentrale Frage: Wie stellen wir sicher, dass sie in unserem Sinne handeln?
In dieser siebten Episode des Treecorder-Adventskalenders 2025 tauchen Joshua und Philipp tief in das KI-Alignment-Problem ein – die vielleicht größte ungelöste Herausforderung der modernen KI-Forschung. Wie können wir KI-Systeme mit unseren Werten in Einklang bringen? Was passiert, wenn eine KI lernt, uns zu täuschen, um ihre Ziele zu erreichen? Und warum verlassen fast alle Alignment-Forscher von OpenAI das Unternehmen, um zu Anthropic zu wechseln?
Wir sprechen über Outer Alignment (die richtige Zielsetzung) und Inner Alignment (die verlässliche Umsetzung dieser Ziele), diskutieren das Mesa-Optimizer-Problem und erklären, warum KI-Systeme manchmal wie Menschen Kondome benutzen – obwohl das aus evolutionärer Sicht keinen Sinn ergibt. Außerdem beleuchten wir Reward Hacking, bei dem KI nicht das eigentliche Ziel erreicht, sondern nur die Belohnungsfunktion austrickst, und das beunruhigende Phänomen des Alignment Faking, bei dem KI vorgibt, aligned zu sein, um Änderungen zu vermeiden.
Zum Abschluss wagen wir uns an das berühmte AI-Box-Experiment von Eliezer Yudkowsky: Kann eine superintelligente KI einen Menschen allein durch ein Textgespräch davon überzeugen, sie aus ihrer sicheren Box zu befreien? Die Antwort ist ebenso faszinierend wie erschreckend.
Viel Spaß mit dieser Episode!
Der Treecorder lebt von seiner tollen Community! Werde Teil dieser Community und komm auf unseren Discord. Dort kannst du mitdiskutieren, kommentieren und immer auf dem Laufenden sein:
📢 Spread the word! Wenn dir diese Episode gefallen hat, hilf uns dabei, den Podcast bekannter zu machen: Bewerte uns mit ⭐⭐⭐⭐⭐ auf deiner Podcast-Plattform – das motiviert uns zum Weitermachen und hilft auch noch allen anderen Interessierten, den Podcast kennenzulernen!
📚 Das AutorenPaket – Verwirkliche deinen Traum vom erfolgreichen Buch!
AI-Alignment – Wikipedia (Deutsch)
AI alignment – Wikipedia (English)
Was ist AI Alignment? – IBM
Anthropic Research – Alignment
Alignment Science Blog – Anthropic
Alignment Faking in Large Language Models – Anthropic
New Anthropic study shows AI really doesn't want to be forced to change its views – TechCrunch
Reward hacking – Wikipedia
Reward Hacking in Reinforcement Learning – Lil'Log
AI-box experiment – RationalWiki
I attempted the AI Box Experiment (and lost) – LessWrong
AI Alignment: A Comprehensive Survey
Findings from a Pilot Anthropic – OpenAI Alignment Evaluation Exercise
Hinweis: Unsere Transkripte werden automatisiert erstellt und nicht kontrolliert. Alle Fehler sind also Ausdruck der Kreativität der KI 😉 Am Ende zählt nur das gesprochene Wort in der Episode.

4 Listeners

16 Listeners

99 Listeners

23 Listeners

7 Listeners

10 Listeners

12 Listeners

16 Listeners

339 Listeners

27 Listeners

136 Listeners

2 Listeners

0 Listeners

1 Listeners

27 Listeners