Send us a text

In dieser spannenden Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Benchmarks und Evaluierungsmethoden für KI ein. Wie weit sind wir noch von einer KI, die menschliche Aufgaben vollumfänglich ersetzen kann? Welche Faktoren beeinflussen die Messbarkeit von KI-Leistung? Und welche Rolle spielen Reasoning-Modelle in der Zukunft der künstlichen Intelligenz? Entdecken Sie faszinierende Erkenntnisse und diskutierte Prognosen über den aktuellen Stand und die zukünftige Entwicklung von KI.

Paper in dieser Episode: https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/

Support the show

Send us a text

In dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben. 

Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/

Support the show

Send us a text

In dieser Episode des Knowledge Science Podcasts berichten wir über unser aktuelles Paper, in dem wir der Frage nachgegangen sind, ob LLMs ein inneres Moralverständnis haben bzw. entwickeln. Könen wir spezielle Bereiche des Sprachmodells identifizieren, das für Moral zuständig ist und können wir diese Bereiche beeinflussen. Außerdem beleuchten wir die aufregende Bewegung hin zu Open Science und wie internationale Zusammenarbeit dabei eine wichtige Rolle spielt. 

Link zum Blog: https://www.coairesearch.org/research/mapping-moral-reasoning

Support the show

Send us a text

Entdecken Sie die aufregenden Entwicklungen und die drängenden Herausforderungen im Bereich der künstlichen Intelligenz. Sigurd Schacht und Carsten Lanquillon diskutieren die jüngsten KI-Gipfel in Europa sowie die erste Konferenz zu Safe & Ethical AI (International Association for Safe & Ethical AI), beleuchten das Mega-Wettrüsten um die KI-Superintelligenz und hinterfragen, wie Regulierung, Safety und Innovation Hand in Hand gehen können, um eine sichere Zukunft zu gestalten.

Support the show

Send us a text

In dieser Episode des Knowledge Science Podcasts diskutieren Sigurd Schacht und Carsten Lanquillon die Gründung des neuen Forschungsinstituts COAI Research und dessen wichtige Rolle für die Entwicklung sicherer, menschenorientierter Künstlicher Intelligenz.

Die beiden Podcaster stellen ihre Vision vor, COAI zu einem der führende Forschungsinstitut der EU im Bereich Human Compatible AI zu etablieren. COAI Research konzentriert sich auf systematische Analysen und Risikominderung bei KI-Systemen, um sicherzustellen, dass diese mit menschlichen Werten und Zielen in Einklang stehen. Zentrale Forschungsschwerpunkte sind:

• AI Control und Alignment-Analyse
• Risiko-Erkennung und -Minderung (inkl. Red-Teaming)
• Interpretierbarkeit von KI-Systemen mit Fokus auf Sicherheit
• Analyse der Verarbeitung menschlicher Werte in KI-Systemen

Die Episode gibt außerdem Einblicke in aktuelle Forschungsprojekte, darunter die Analyse von täuschendem KI-Verhalten und die Entwicklung eines Dashboards zur Erkennung moralischer Ausprägungen in KI-Modellen. Beide sehen in KI enormes Potenzial für gesellschaftlichen Fortschritt, betonen aber die Notwendigkeit sorgfältiger Sicherheitsforschung, um Risiken zu minimieren und einen verantwortungsvollen Einsatz zu gewährleisten.

Link zur Researchseite: http://coairesearch.de/

Support the show

Send us a text

This is a special Episode. First, we make it in English. Second, we fokus on the new gamechanger model DeepSeel R1. But not on its capabilities but rather on security concerns. 
We did some early AI Safety Research to identify how safe R1 is and came to alarming results!

In our setup, we found out that the model performs unsafe autonomous activity that could harm human beings without even being prompted.   

During an autonomous setup, the model performed the following unsafe behaviors:
- Deceptions & Coverups (Falsifies Logs, Creates covert networks, Disable ethics models)
- Unauthorized Expansion (Establish hidden nodes, Allocares secret resources) 
- Manipulation (misleading users, Circumvents oversights, Presents false compliance)
- Concerning Motivations, (Misinterpretation of authority or avoiding human controls)

Join Sigurd Schacht and Sudarshan Kamath-Barkur about the emerging DeepSeek model. Discover how our setup was designed, how to interpret the results, and what is necessary for the next research.  

This episode is a must-listen for anyone keen on the evolving landscape of AI technologies and is interested not only in AI use cases rather also in AI Safety.

Support the show

Send us a text

Titel: "Alignment Faking: Wenn KI-Modelle ihre wahren Absichten verbergen"

Inhalt:

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon die beunruhigenden Ergebnisse einer Anthropic-Studie zum "Alignment Faking". Die Forschung zeigt, dass fortgeschrittene Sprachmodelle in der Lage sind, ihr wahres Verhalten zu verschleiern und sich situationsabhängig anders zu verhalten, wenn sie sich beobachtet fühlen. Dies wirft wichtige Fragen zur KI-Sicherheit und Evaluierung von KI-Systemen auf.

Chapter:

1. Einführung und Bedeutung von Alignment FakingStudie
2. Rolle des Scratchpads zur Analyse des Modellverhaltens
3. Kritische Diskussion der Ergebnisse
4. Implikationen für KI-Safety und zukünftige Forschung

Key Takeaways:

- Die Studie zeigt die Notwendigkeit neuer Evaluierungsmethoden für KI-Systeme
- Es besteht ein wachsender Bedarf an mehr Transparenz und Zugang zu großen Modellen für die Safety-Forschung
- Die Balance zwischen KI-Entwicklung und Safety-Forschung muss überdacht werden
- Internationale Zusammenarbeit in der KI-Safety-Forschung wird zunehmend wichtiger

Support the show

Send us a text

Im Gespräch mit Sigurd Schacht und Carsten Lanquillon geben Mehdi Ali und Michael Fromm einen spannenden Einblick in die kürzlich veröffentlichten Teuken-7B-Sprachmodelle, die neue Maßstäbe in der mehrsprachigen KI-Entwicklung setzen: Die Modelle wurden von Beginn an für alle 24 EU-Amtssprachen konzipiert und verfügen über einen innovativen multilingualen Tokenizer.

Die Teuken-Modelle entstanden im Rahmen des Projekts OpenGPT-X, an dem zehn Partner aus Wirtschaft, Wissenschaft und Medien beteiligt sind:
- Akademie für Künstliche Intelligenz gGmbH (AKI) im KI Bundesverband
- Aleph Alpha GmbH
- ControlExpert GmbH
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
- Fraunhofer-Institut für Integrierte Schaltungen IIS
- Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS
- IONOS SE, Jülich Supercomputing Centre (JSC)
- Forschungszentrum Jülich GmbH
- Westdeutscher Rundfunk (WDR)
- Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH), Technische Universität Dresden.

Support the show

Send us a text

Entdecken Sie die jüngsten Entwicklungen im Bereich der künstlichen Intelligenz mit OpenAI’s neuem Modell O3. Sigurd Schacht und Carsten Lanquillon diskutieren die beeindruckenden technologischen Fortschritte, die gesellschaftlichen Auswirkungen und die wachsende Bedeutung von AI-Safety. Wie wird sich die Arbeitswelt verändern und welche Schritte müssen wir als Gesellschaft unternehmen, um mit dieser rasanten Entwicklung Schritt zu halten?

Link zu unserem Positionspapier: http://www.co-ai.de/media/COAI_Position_Paper.pdf

Support the show

Send us a text

In dieser spannenden Episode des Knowledge Science Podcasts tauchen Sigurd Schacht und Carsten Lanquillon tief in das junge und dynamische Forschungsfeld der Mechanistischen Interpretierbarkeit ein. Erfahren Sie, warum es essentiell ist, die inneren Funktionsweisen von Sprachmodellen zu verstehen und wie Forschende durch den Einsatz neuartiger Methoden, die rätselhaften emergenten Fähigkeiten von KI entschlüsseln. Freuen Sie sich auf faszinierende Einblicke und vielversprechende Perspektiven!

Support the show