Este episodio es diferente a todos los anteriores. No es un paper sobre arquitectura, algoritmos o experimentos empíricos. Es una tesis doctoral filosófica y matemática que hace una pregunta que suena simple pero es profundamente difícil: ¿qué es exactamente la inteligencia?

El paper la responde con rigor matemático, llegando a una definición formal, para luego examinar qué implicaría una inteligencia superior a la humana.

El autor, Shane Legg, cofundó DeepMind en 2010. En 2008, cuando escribió esto, hablar de AGI "te ponía en el espectro lunático" de la investigación.

Este episodio conecta muchos hilos vistos a lo largo de la serie. El principio MDL ya apareció en el episodio 5 (Hinton & Zemel), en el 19 (Coffee Automaton) y en el 22 (Scaling Laws).

Hoy lo vemos de frente, en su forma completa.El Minimum Description Length (MDL) es una respuesta matemáticamente precisa a la pregunta filosófica más antigua del aprendizaje: ¿cuándo podemos decir que "entendemos" los datos? La respuesta: cuando podemos comprimirlos bien.

Hoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental: ¿cómo mejoran los modelos de lenguaje si les das más recursos?

La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar.

En el camino hacia GPT-3, GPT-4, Claude y todos los LLMs modernos, este paper fue el mapa del tesoro.

---

"Scaling Laws for Neural Language Models"

Por Kaplan, McCandlish, Henighan, Brown, Chess, Child, Gray, Radford, Wu, y Amodei - OpenAI (2020)

El paper de este episodio marcó un hito histórico: el primer sistema de reconocimiento de voz que superó a humanos en pruebas de transcripción.

Y el primer autor es Dario Amodei, quien después fundaría Anthropic.

Deep Speech 2 es también un masterclass en cómo escalar sistemas de ML: datos masivos, infraestructura HPC, y una arquitectura simplificada que funciona mejor que sistemas llenos de componentes especializados.

 Hoy toca uno de los papers más conceptualmente ambiciosos de toda la lista: las Neural Turing Machines (NTMs) de Alex Graves y DeepMind.

La pregunta que este paper intenta responder es audaz: ¿puede una red neuronal aprender algoritmos; no solo reconocer patrones, sino aprender procedimientos que generalicen a entradas que nunca vio?

La respuesta es sí, y la clave es darle a la red algo que los computadores siempre han tenido pero las redes neuronales nunca: memoria externa diferenciable.

Este episodio es el segundo paper de carácter más filosófico en la lista de Sutskever, el primero fue "The First Law of Complexodynamics" en el episodio 1.

De hecho, este paper es una versión matemática y empírica de esa misma pregunta.

La pregunta: ¿por qué la complejidad del universo, y de los sistemas físicos en general, sube primero y luego baja? ¿Por qué hay una época de galaxias, vida y estructuras interesantes, en lugar de ser siempre simple o siempre caótico?

Y la respuesta propuesta se llama apparent complexity (complejidad aparente), medida usando Kolmogorov complexity y un experimento simple pero profundo: una taza de café con leche.

Este episodio planteamos la siguiente pregunta: ¿qué pasa si no solo necesitamos razonar sobre relaciones en un instante, sino que necesitamos recordar relaciones a lo largo del tiempo?

Las LSTMs son excelentes para recordar. Los Relation Networks son excelentes para razonar. ¿Qué pasa si combines ambos? Ese es el Relational Memory Core (RMC).

Hoy entramos al mundo de los modelos generativos: sistemas que no solo clasifican datos, sino que aprenden a generar datos nuevos como imágenes, texto, audio.

"Variational Lossy Autoencoder"Por Chen, Kingma, Salimans, Duan, Dhariwal, Schulman, Sutskever y Abbeel (2016)

Este paper es denso conceptualmente, pero contiene una idea elegante y muy práctica: ¿cómo fuerzas a una red neuronal a aprender una representación que capture solo la estructura global de los datos, descartando los detalles irrelevantes como textura o ruido?

La respuesta involucra combinar dos tipos de modelos poderosos; el VAE y los modelos autorregresivos, de una manera que controla qué tipo de información aprende a comprimir cada uno.

Este episodio es el "sequel" del episodio 10 sobre ResNet.

Si en el episodio 10 aprendimos que los skip connections permiten entrenar redes muy profundas, hoy vamos a profundizar en una pregunta aparentemente pequeña que resulta tener implicaciones grandes: ¿dónde exactamente ponemos el Batch Normalization y el ReLU dentro del bloque residual?

La respuesta a esa pregunta permitió entrenar redes de más de 1000 capas y explica por qué ResNet funciona tan bien desde un punto de vista matemático.

Hoy tocamos uno de los papers más importantes de toda la lista.

No el más famoso (ese es "Attention is All You Need"), pero sí el que lo hizo posible.

En 2014, Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publicaron un trabajo que parecía una mejora técnica en traducción automática, pero que en realidad contenía una idea que cambiaría todo: el mecanismo de atención.

Si "Attention is All You Need" fue la explosión nuclear, este paper fue quien sintetizó el uranio.