Sign up to save your podcasts
Or
Share Ep. 22: Scaling Laws - El Mapa del Tesoro para Construir LLMs
Share to email
Share to Facebook
Share to X
Share to email
Share to Facebook
Share to X
Or
Ep. 22: Scaling Laws - El Mapa del Tesoro para Construir LLMs
Hoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental: ¿cómo mejoran los modelos de lenguaje si les das más recursos?
La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar.
En el camino hacia GPT-3, GPT-4, Claude y todos los LLMs modernos, este paper fue el mapa del tesoro.
---
"Scaling Laws for Neural Language Models"
Por Kaplan, McCandlish, Henighan, Brown, Chess, Child, Gray, Radford, Wu, y Amodei - OpenAI (2020)
View all episodes
By Cápsulas de Inteligencia Artificial y Machine LearningHoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental: ¿cómo mejoran los modelos de lenguaje si les das más recursos?
La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar.
En el camino hacia GPT-3, GPT-4, Claude y todos los LLMs modernos, este paper fue el mapa del tesoro.
---
"Scaling Laws for Neural Language Models"
Por Kaplan, McCandlish, Henighan, Brown, Chess, Child, Gray, Radford, Wu, y Amodei - OpenAI (2020)