Im Grunde vervollständigen Sprachmodelle wie ChatGPT, Gemini oder Claude immer nur das nächste Wort in einem Satz, basierend auf einer statistischen Wahrscheinlichkeitsrechnung. Doch irgendwie entstehen aus diesem simplen Prinzip am Ende Maschinen, die ein Verständnis von der Welt zu haben scheinen, das dem unseren oft erstaunlich nahe kommt. Wie kann das sein? Wir schauen ins Innere der "Generative Pretrained Transformer" Modelle und erklären, wie genau KI eigentlich funktioniert.

Über die Hosts:

Gregor Schmalzried ist freier Tech-Journalist und Berater, er arbeitet u.a. für den Bayerischen Rundfunk und Brand Eins.

Fritz Espenlaub ist freier Journalist und Moderator beim Bayerischen Rundfunk und 1E9 mit Fokus auf Technologie und Wirtschaft.

00:00 Intro

04:01 G wie Generative: Wie Sprachmodelle auf ihr nächstes Wort kommen

08:37 P wie Pre-Trained: Wie läuft das Training ab?

19:14 T wie Transformer: Wie sieht es eigentlich im Inneren eines LLMs aus?

25:47 Was haben wir diese Woche mit KI gemacht?

Redaktion und Mitarbeit:

David Beck, Cristina Cletiu, Chris Eckardt, Fritz Espenlaub, Marie Kilg, Mark Kleber, Gudrun Riedl, Christian Schiffer, Gregor Schmalzried

Links und Quellen:

The Surprising Power of Next Word Prediction: Large Language Models Explained https://cset.georgetown.edu/article/the-surprising-power-of-next-word-prediction-large-language-models-explained-part-1/

Erklärung von Transformer Modellen in der Financial Times: https://ig.ft.com/generative-ai/

Visualisierung von Transformern: https://jalammar.github.io/illustrated-gpt2/

Aleph Alpha und Erklärbarkeit: https://1e9.community/t/die-deutsche-ki-hoffnung-aleph-alpha-mit-transparenz-und-erklaerbarkeit-gegen-openai/19552

Electify - KI-Sprachmodelle beantwortet Fragen zu den EU-Wahlprogrammen: https://electify.eu/

Kontakt:

Wir freuen uns über Fragen und Kommentare an [email protected].

Unterstützt uns:

Wenn euch dieser Podcast gefällt, freuen wir uns über eine Bewertung auf eurer liebsten Podcast-Plattform. Abonniert den KI-Podcast in der ARD Audiothek oder wo immer ihr eure Podcasts hört, um keine Episode zu verpassen. Und empfehlt uns gerne weiter!