Variabilis

En el último episodio les traemos: un curso universitario. El "Stanford CS231n: Convolutional Neural Networks for Visual Recognition". Y por eso vamos a abordarlo de manera diferente: en lugar de resumir el contenido técnico (que son 15 semanas de material imposible de comprimir en 30 minutos), vamos a hablar de por qué Sutskever lo incluyó en su lista, qué lo hace especial, y qué ideas clave puedes llevarte aunque nunca lo curses completo.

Porque CS231n no es solo un curso de visión por computadora. Es quizás el recurso educativo más influyente en la historia reciente del deep learning, uno que convirtió ideas de investigación en herramientas que miles de ingenieros pueden usar.

Hoy tocamos un paper de DeepMind que aborda algo que parece básico pero que resultó ser profundamente difícil para las redes neuronales: el razonamiento relacional.

¿Qué es razonamiento relacional? Es la capacidad de responder preguntas como:

• ¿Qué objeto es más grande: el cubo rojo o la esfera azul?

• ¿Cuántos objetos son del mismo color que el cilindro?

• ¿Está la pelota a la izquierda o a la derecha del cubo?

Para un humano, trivial. Para las mejores redes convolucionales de la época, sorprendentemente difícil. "A simple neural network module for relational reasoning", escrito por Santoro, Raposo, Barrett, Malinowski, Pascanu, Battaglia y Lillicrap (2017), introduce una solución elegante: el Relation Network (RN).

Llegamos a uno de los últimos episodios técnicos de la lista de Sutskever. Es el que más conecta con todo lo que hemos visto: Kolmogorov complexity es el hilo conductor detrás del MDL (ep. 23), la complejidad aparente del Coffee Automaton (ep. 19), la inteligencia de Legg (ep. 24) y fundamentalmente, la pregunta sobre qué es la información.

Este episodio tiene una pregunta detrás de él que suena filosófica pero tiene respuesta matemática precisa: ¿cuándo es verdaderamente aleatoria una secuencia?

Este episodio es diferente a todos los anteriores. No es un paper sobre arquitectura, algoritmos o experimentos empíricos. Es una tesis doctoral filosófica y matemática que hace una pregunta que suena simple pero es profundamente difícil: ¿qué es exactamente la inteligencia?

El paper la responde con rigor matemático, llegando a una definición formal, para luego examinar qué implicaría una inteligencia superior a la humana.

El autor, Shane Legg, cofundó DeepMind en 2010. En 2008, cuando escribió esto, hablar de AGI "te ponía en el espectro lunático" de la investigación.

Este episodio conecta muchos hilos vistos a lo largo de la serie. El principio MDL ya apareció en el episodio 5 (Hinton & Zemel), en el 19 (Coffee Automaton) y en el 22 (Scaling Laws).

Hoy lo vemos de frente, en su forma completa.El Minimum Description Length (MDL) es una respuesta matemáticamente precisa a la pregunta filosófica más antigua del aprendizaje: ¿cuándo podemos decir que "entendemos" los datos? La respuesta: cuando podemos comprimirlos bien.

Hoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental: ¿cómo mejoran los modelos de lenguaje si les das más recursos?

La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar.

En el camino hacia GPT-3, GPT-4, Claude y todos los LLMs modernos, este paper fue el mapa del tesoro.

---

"Scaling Laws for Neural Language Models"

Por Kaplan, McCandlish, Henighan, Brown, Chess, Child, Gray, Radford, Wu, y Amodei - OpenAI (2020)

El paper de este episodio marcó un hito histórico: el primer sistema de reconocimiento de voz que superó a humanos en pruebas de transcripción.

Y el primer autor es Dario Amodei, quien después fundaría Anthropic.

Deep Speech 2 es también un masterclass en cómo escalar sistemas de ML: datos masivos, infraestructura HPC, y una arquitectura simplificada que funciona mejor que sistemas llenos de componentes especializados.

 Hoy toca uno de los papers más conceptualmente ambiciosos de toda la lista: las Neural Turing Machines (NTMs) de Alex Graves y DeepMind.

La pregunta que este paper intenta responder es audaz: ¿puede una red neuronal aprender algoritmos; no solo reconocer patrones, sino aprender procedimientos que generalicen a entradas que nunca vio?

La respuesta es sí, y la clave es darle a la red algo que los computadores siempre han tenido pero las redes neuronales nunca: memoria externa diferenciable.

Este episodio es el segundo paper de carácter más filosófico en la lista de Sutskever, el primero fue "The First Law of Complexodynamics" en el episodio 1.

De hecho, este paper es una versión matemática y empírica de esa misma pregunta.

La pregunta: ¿por qué la complejidad del universo, y de los sistemas físicos en general, sube primero y luego baja? ¿Por qué hay una época de galaxias, vida y estructuras interesantes, en lugar de ser siempre simple o siempre caótico?

Y la respuesta propuesta se llama apparent complexity (complejidad aparente), medida usando Kolmogorov complexity y un experimento simple pero profundo: una taza de café con leche.

Este episodio planteamos la siguiente pregunta: ¿qué pasa si no solo necesitamos razonar sobre relaciones en un instante, sino que necesitamos recordar relaciones a lo largo del tiempo?

Las LSTMs son excelentes para recordar. Los Relation Networks son excelentes para razonar. ¿Qué pasa si combines ambos? Ese es el Relational Memory Core (RMC).