Variabilis

Ep. 12: The Annotated Transformer — Leer un Paper con el Código al Lado


Listen Later

En el episodio 11 cubrimos "Attention is All You Need" — el paper que introdujo los Transformers y que está detrás de GPT, BERT, Claude y prácticamente todo el AI moderno. Era denso, matemático, lleno de ecuaciones. Mucha gente lo leyó, asintió solemnemente... y no lo entendió del todo.

En 2018, Sasha Rush de Harvard NLP publicó The Annotated Transformer: una reimplementación línea por línea del paper, con cada ecuación acompañada de su código PyTorch correspondiente y comentarios que explican el por qué de cada decisión. Y de repente, todo hizo clic.

Este recurso no propone ideas nuevas — su contribución es otra: demostrar que reimplementar un paper es la forma más honesta de entenderlo.

...more
View all episodesView all episodes
Download on the App Store

VariabilisBy Cápsulas de Inteligencia Artificial y Machine Learning