Variabilis

En este episodio vamos a hablar de un paper que literalmente cambió el mundo del machine learning. AlexNet, publicado en 2012, marcó el inicio de la revolución del deep learning. Antes de este paper, las redes neuronales profundas eran consideradas difíciles de entrenar y poco prácticas. Después de AlexNet, todo cambió.

Hoy vamos a hablar sobre Pointer Networks, un paper que resolvió un problema fundamental que las arquitecturas seq2seq tradicionales no podían manejar. Este paper es del mismo Oriol Vinyals que vimos en episodios anteriores, y muestra una idea brillantemente simple pero poderosa.

Hoy vamos con un paper fundamental de 1993 escrito por Geoffrey Hinton (sí, ¡el padrino del deep learning!). Este paper conecta teoría de información, estadística bayesiana y redes neuronales de una forma elegante. Aunque es de 1993, sus ideas siguen siendo super relevantes hoy.

Hoy traemos un paper que resolvió uno de los problemas más frustrantes al trabajar con RNNs y LSTMs: ¿cómo evitar el overfitting? La técnica de regularización más exitosa para redes feedforward (dropout) simplemente NO funcionaba en RNNs. Este paper de 2014 por Wojciech Zaremba, Ilya Sutskever y Oriol Vinyals mostró por qué, y cómo arreglarlo.

Hoy vamos a profundizar en QUÉ son exactamente las LSTMs y POR QUÉ funcionan tan bien. Basado en un post de Christopher Olah publicado en el 2015. Siendo este post es uno de los más citados en la historia del deep learning, por sus explicaciones claras y sus increíbles diagramas.

Segundo episodio, segundo post de los 30 sugeridos por Ilya Sutskever.

Exploramos el articulo de Andrej Karpathy, sobre Redes Neuronales Recurrentes o Recurrent Neural Networks (RNNs), titulado The Unreasonable Effectiveness of Recurrent Neural Networks.

Este post, publicado en 2015, demostró de forma espectacular lo que las RNNs podían hacer, y cambió la forma en que muchos pensamos sobre el procesamiento de secuencias.

Primer episodio, primer paper o post de los 30 sugeridos por Ilya Sutskever.

Exploramos el concepto de 'complextropía' de Scott Aaronson - por qué los sistemas (y los modelos de ML) evolucionan desde el caos, alcanzan un peak de complejidad, y luego se simplifican. De la leche en el café a las redes neuronales.