Sign up to save your podcasts
Or
Share KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
Share to email
Share to Facebook
Share to X
Share to email
Share to Facebook
Share to X
Or
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
ChatGPT schneidet im Jura-Examen besser ab als Menschen – ChatGPT ist dümmer als ein Grundschüler. Solche Meldungen findet man schon mal am gleichen Tag. Wie kann das sein? Der Grund für dieses sehr unterschiedliche Abschneiden der großen Sprachmodelle in standardisierten Tests liegt in der Art und Weise, wie das vermeintliche Wissen der KI gemessen wird.
Andrea Trinkwalder und Hartmut Gieselmann von der c‘t haben sich angeschaut, wie Benchmarks diese Leistung messen und vergleichen - und wie aussagegkräftig die Ergebnisse solcher Benchmarks sind.
heise.de/ki-update
https://www.heise.de/ct
https://heise.de/-9288453
https://www.heise.de/thema/Kuenstliche-Intelligenz
https://the-decoder.de/
https://www.heiseplus.de/podcast
View all episodes
By Isabel Grünewald, heise online
5
22 ratings
KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
ChatGPT schneidet im Jura-Examen besser ab als Menschen – ChatGPT ist dümmer als ein Grundschüler. Solche Meldungen findet man schon mal am gleichen Tag. Wie kann das sein? Der Grund für dieses sehr unterschiedliche Abschneiden der großen Sprachmodelle in standardisierten Tests liegt in der Art und Weise, wie das vermeintliche Wissen der KI gemessen wird.
Andrea Trinkwalder und Hartmut Gieselmann von der c‘t haben sich angeschaut, wie Benchmarks diese Leistung messen und vergleichen - und wie aussagegkräftig die Ergebnisse solcher Benchmarks sind.
heise.de/ki-update
https://www.heise.de/ct
https://heise.de/-9288453
https://www.heise.de/thema/Kuenstliche-Intelligenz
https://the-decoder.de/
https://www.heiseplus.de/podcast
More shows like KI-Update – ein heise-Podcast
View all
#heiseshow (HD-Video)
1 Listeners
c’t uplink - der IT-Podcast aus Nerdistan
9 Listeners
c't uplink (HD-Video)
2 Listeners
#heiseshow (SD-Video)
0 Listeners
heiseshow
3 Listeners
Computer und Kommunikation
9 Listeners
c't uplink (SD-Video)
6 Listeners
F.A.Z. Digitalwirtschaft
11 Listeners
Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft
18 Listeners
kurz informiert by heise online
1 Listeners
Auslegungssache – der c't-Datenschutz-Podcast
1 Listeners
Mac & i - der Apple-Podcast
1 Listeners
Mac & i - der Apple-Podcast
0 Listeners
Bit-Rauschen: Der Prozessor-Podcast von c’t
0 Listeners
F.A.Z. Künstliche Intelligenz
0 Listeners
KI verstehen
9 Listeners
Der KI-Podcast
20 Listeners
TNBT – Der Podcast zu Apple Vision Pro von Mac & i
1 Listeners
Passwort - der Podcast von heise security
3 Listeners
Handelsblatt KI-Briefing - Das News-Update zu Künstlicher Intelligenz
1 Listeners
Vorsicht, Kunde!
0 Listeners
Bits & Böses – der Tech-Crime-Podcast
0 Listeners
CLICK BOOM FLASH - Geschichten aus der Fotowelt
0 Listeners
They Talk Tech – mit Eckert und Wolfangel
0 Listeners
Tech and Tales
0 Listeners
Tech, KI & Schmetterlinge
2 Listeners
c't 3003
0 Listeners