Sign up to save your podcasts
Or
Share KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
Share to email
Share to Facebook
Share to X
Share to email
Share to Facebook
Share to X
Or
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
ChatGPT schneidet im Jura-Examen besser ab als Menschen – ChatGPT ist dümmer als ein Grundschüler. Solche Meldungen findet man schon mal am gleichen Tag. Wie kann das sein? Der Grund für dieses sehr unterschiedliche Abschneiden der großen Sprachmodelle in standardisierten Tests liegt in der Art und Weise, wie das vermeintliche Wissen der KI gemessen wird.
Andrea Trinkwalder und Hartmut Gieselmann von der c‘t haben sich angeschaut, wie Benchmarks diese Leistung messen und vergleichen - und wie aussagegkräftig die Ergebnisse solcher Benchmarks sind.
heise.de/ki-update
https://www.heise.de/ct
https://heise.de/-9288453
https://www.heise.de/thema/Kuenstliche-Intelligenz
https://the-decoder.de/
https://www.heiseplus.de/podcast
View all episodes
By Isabel Grünewald, heise online
5
22 ratings
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
ChatGPT schneidet im Jura-Examen besser ab als Menschen – ChatGPT ist dümmer als ein Grundschüler. Solche Meldungen findet man schon mal am gleichen Tag. Wie kann das sein? Der Grund für dieses sehr unterschiedliche Abschneiden der großen Sprachmodelle in standardisierten Tests liegt in der Art und Weise, wie das vermeintliche Wissen der KI gemessen wird.
Andrea Trinkwalder und Hartmut Gieselmann von der c‘t haben sich angeschaut, wie Benchmarks diese Leistung messen und vergleichen - und wie aussagegkräftig die Ergebnisse solcher Benchmarks sind.
heise.de/ki-update
https://www.heise.de/ct
https://heise.de/-9288453
https://www.heise.de/thema/Kuenstliche-Intelligenz
https://the-decoder.de/
https://www.heiseplus.de/podcast
More shows like KI-Update – ein heise-Podcast
View all
IQ - Wissenschaft und Forschung
47 Listeners
Apfelfunk
7 Listeners
#heiseshow (HD-Video)
1 Listeners
Das Wissen | SWR
104 Listeners
c’t uplink - der IT-Podcast aus Nerdistan
10 Listeners
c't uplink (HD-Video)
2 Listeners
#heiseshow (SD-Video)
0 Listeners
heiseshow
2 Listeners
c't uplink (SD-Video)
6 Listeners
Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen
50 Listeners
Spektrum-Podcast
16 Listeners
Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft
16 Listeners
Smarter leben
41 Listeners
kurz informiert by heise online
2 Listeners
Auslegungssache – der c't-Datenschutz-Podcast
1 Listeners
Quarks Daily
35 Listeners
Mac & i - der Apple-Podcast
0 Listeners
Doppelgänger
12 Listeners
Bit-Rauschen: Der Prozessor-Podcast von c’t
0 Listeners
KI verstehen
12 Listeners
RONZHEIMER.
136 Listeners
Der KI-Podcast
19 Listeners
TNBT – Der Podcast zu Apple Vision Pro von Mac & i
1 Listeners
Passwort - der Podcast von heise security
3 Listeners
Vorsicht, Kunde!
0 Listeners
Bits & Böses – der Tech-Crime-Podcast
0 Listeners
CLICK BOOM FLASH - Geschichten aus der Fotowelt
0 Listeners
They Talk Tech – mit Eckert und Wolfangel
0 Listeners
Tech, KI & Schmetterlinge
1 Listeners
c't 4004 – der c't-3003-Podcast
1 Listeners
Darknet Diaries Deutsch
0 Listeners