Variabilis

Hoy entramos al mundo de los modelos generativos: sistemas que no solo clasifican datos, sino que aprenden a generar datos nuevos como imágenes, texto, audio.

"Variational Lossy Autoencoder"Por Chen, Kingma, Salimans, Duan, Dhariwal, Schulman, Sutskever y Abbeel (2016)

Este paper es denso conceptualmente, pero contiene una idea elegante y muy práctica: ¿cómo fuerzas a una red neuronal a aprender una representación que capture solo la estructura global de los datos, descartando los detalles irrelevantes como textura o ruido?

La respuesta involucra combinar dos tipos de modelos poderosos; el VAE y los modelos autorregresivos, de una manera que controla qué tipo de información aprende a comprimir cada uno.

Este episodio es el "sequel" del episodio 10 sobre ResNet.

Si en el episodio 10 aprendimos que los skip connections permiten entrenar redes muy profundas, hoy vamos a profundizar en una pregunta aparentemente pequeña que resulta tener implicaciones grandes: ¿dónde exactamente ponemos el Batch Normalization y el ReLU dentro del bloque residual?

La respuesta a esa pregunta permitió entrenar redes de más de 1000 capas y explica por qué ResNet funciona tan bien desde un punto de vista matemático.

Hoy tocamos uno de los papers más importantes de toda la lista.

No el más famoso (ese es "Attention is All You Need"), pero sí el que lo hizo posible.

En 2014, Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publicaron un trabajo que parecía una mejora técnica en traducción automática, pero que en realidad contenía una idea que cambiaría todo: el mecanismo de atención.

Si "Attention is All You Need" fue la explosión nuclear, este paper fue quien sintetizó el uranio.

Hoy entramos a un episodio que puede sonar intimidante: química cuántica. Pero no te preocupes; el verdadero tema es mucho más general y fascinante: ¿cómo hacemos que una red neuronal aprenda sobre grafos?

Este paper de 2017 introdujo el framework MPNN (Message Passing Neural Network), que unificó varias arquitecturas de Graph Neural Networks bajo un solo lenguaje. Y aunque el caso de uso es predecir propiedades de moléculas, la idea es tan general que hoy se usa en redes sociales, sistemas de recomendación, física simulada, y más.

Hoy vamos a resolver un problema que suena técnico pero que en el fondo tiene una elegancia visual muy bonita: ¿cómo hace una red neuronal para entender tanto el detalle fino como el contexto amplio de una imagen, al mismo tiempo y sin perder resolución?

Este paper de 2015 introdujo las dilated convolutions (convoluciones dilatadas), una idea aparentemente simple que se convirtió en ingrediente fundamental en visión por computadora y que luego migró incluso a modelos de audio como WaveNet.

En el episodio 11 cubrimos "Attention is All You Need" — el paper que introdujo los Transformers y que está detrás de GPT, BERT, Claude y prácticamente todo el AI moderno. Era denso, matemático, lleno de ecuaciones. Mucha gente lo leyó, asintió solemnemente... y no lo entendió del todo.

En 2018, Sasha Rush de Harvard NLP publicó The Annotated Transformer: una reimplementación línea por línea del paper, con cada ecuación acompañada de su código PyTorch correspondiente y comentarios que explican el por qué de cada decisión. Y de repente, todo hizo clic.

Este recurso no propone ideas nuevas — su contribución es otra: demostrar que reimplementar un paper es la forma más honesta de entenderlo.

Hoy vamos a hablar del paper más influyente de los últimos años en AI: "Attention is All You Need". Este paper de 2017 introdujo el Transformer, la arquitectura detrás de GPT, BERT, ChatGPT, y prácticamente todo modelo de lenguaje moderno. Es, sin exagerar, uno de los papers más importantes en la historia del machine learning.

Hoy vamos a hablar de ResNet, un paper que resolvió uno de los misterios más frustrantes del deep learning: ¿Por qué las redes más profundas a veces funcionan PEOR que las menos profundas? La solución fue tan elegante y efectiva que cambió la forma en que construimos redes neuronales para siempre.

Hoy vamos con GPipe, un paper que resolvió uno de los problemas más prácticos del deep learning: ¿Cómo entrenas modelos que son demasiado grandes para caber en una sola GPU? La respuesta: Pipeline parallelism con micro-batches. Suena técnico, pero es una idea elegante que permitió entrenar modelos de 6 mil millones de parámetros.

Hoy vamos a hablar de un paper que aborda una pregunta aparentemente simple pero profunda: ¿Importa el orden en que le das datos a una red neuronal? La respuesta sorprendente es: ¡SÍ, mucho! Y este paper de Oriol Vinyals, Samy Bengio y Manjunath Kudlur muestra cómo manejar eso cuando tus datos son naturalmente desordenados (como sets).