LeJEPA es una evolución de la arquitectura JEPA que aprende el significado profundo de los datos prediciendo
representaciones en lugar de píxeles, pero eliminando la necesidad de usar inestables parches históricos
(como el aprendizaje contrastivo o modelos maestro-alumno) para evitar que el sistema colapse.
Su gran innovación es utilizar SIGReg, un método que soluciona este problema de raíz al obligar a los
embeddings a mantener una estructura geométrica de nube esférica (Gaussiana isotrópica). Esto da como resultado
un modelo estable, libre de "magia negra" y altamente escalable, donde el rendimiento durante el entrenamiento
por fin permite predecir con precisión su éxito en tareas y dominios reales.
Participan en la tertulia: Paco Zamora, Josu Gorostegui y Guillermo Barbadillo.
Recuerda que puedes enviarnos dudas, comentarios y sugerencias en: https://x.com/TERTUL_ia
Más info en: https://ironbar.github.io/tertulia_inteligencia_artificial/