Sign up to save your podcasts
Or
Share Lo que esconden los pesos
Share to email
Share to Facebook
Share to X
Share to email
Share to Facebook
Share to X
Or
Lo que esconden los pesos
Lo que esconden los pesos¿Cómo sabe una red neuronal qué parte de sí misma cambiar cuando comete un error? En este episodio de Paperslab exploramos dos papers recientes sobre interpretabilidad mecanística y aprendizaje en redes neuronales profundas: cómo se propaga el error hacia atrás (backpropagation) y cómo se pueden recuperar, de forma dirigida, los mecanismos internos que deciden qué componentes importan dentro de un modelo grande.
El primer paper, “Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks” (Junlong Shen, Xingyu Li), conecta el Predictive Coding —una alternativa biológicamente plausible a la backpropagation tradicional— con el cálculo exacto del Jacobiano transpuesto, eliminando la última operación no local que quedaba pendiente en ese modelo. Tiene implicaciones tanto para el aprendizaje automático como para la neurociencia computacional.
El segundo, “Targeted Recovery of Weight-Space Mechanisms From Neural Networks” (Antoine Vigouroux, Lee Sharkey), presenta una técnica de descomposición de parámetros dirigida que permite escalar la interpretabilidad mecanística a modelos grandes, identificando solo los componentes relevantes para una tarea específica, sin el costo de descomponer la red entera.
Un episodio para quienes quieren entender no solo qué hace un modelo de lenguaje, sino cómo aprende y qué mecanismos usa por dentro para decidir qué es importante.
Papers de este episodio:
🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.
🔗 Todos los episodios: podcast.paperslab.es
View all episodes
By EstebanLo que esconden los pesos¿Cómo sabe una red neuronal qué parte de sí misma cambiar cuando comete un error? En este episodio de Paperslab exploramos dos papers recientes sobre interpretabilidad mecanística y aprendizaje en redes neuronales profundas: cómo se propaga el error hacia atrás (backpropagation) y cómo se pueden recuperar, de forma dirigida, los mecanismos internos que deciden qué componentes importan dentro de un modelo grande.
El primer paper, “Weight Feedback Computes the Jacobian Transpose Locally in Modern Deep Networks” (Junlong Shen, Xingyu Li), conecta el Predictive Coding —una alternativa biológicamente plausible a la backpropagation tradicional— con el cálculo exacto del Jacobiano transpuesto, eliminando la última operación no local que quedaba pendiente en ese modelo. Tiene implicaciones tanto para el aprendizaje automático como para la neurociencia computacional.
El segundo, “Targeted Recovery of Weight-Space Mechanisms From Neural Networks” (Antoine Vigouroux, Lee Sharkey), presenta una técnica de descomposición de parámetros dirigida que permite escalar la interpretabilidad mecanística a modelos grandes, identificando solo los componentes relevantes para una tarea específica, sin el costo de descomponer la red entera.
Un episodio para quienes quieren entender no solo qué hace un modelo de lenguaje, sino cómo aprende y qué mecanismos usa por dentro para decidir qué es importante.
Papers de este episodio:
🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.
🔗 Todos los episodios: podcast.paperslab.es