Paperslab

En Paperslab analizamos una pregunta que la industria de la inteligencia artificial todavía no sabe responder: ¿dónde debería vivir la memoria de un agente de IA? Exploramos tres papers recientes que proponen soluciones radicalmente distintas al problema del olvido en modelos de lenguaje grandes como ChatGPT, Claude y Gemini. Desde Metis y su Memory Foundation Model, que internaliza la memoria en los pesos del modelo, hasta arquitecturas basadas en RAG (Retrieval-Augmented Generation) y sistemas híbridos que combinan almacenamiento externo con recuperación semántica. Discutimos por qué recordar no es solo almacenar, sino organizar, priorizar y saber cuándo olvidar. Un episodio esencial para investigadores, ingenieros de machine learning y product managers que trabajan con agentes autónomos, LLMs y sistemas de IA de largo plazo. Descubrí por qué la próxima frontera de la inteligencia artificial no es más parámetros, sino mejor memoria.

#InteligenciaArtificial #LLM #AIAgents #MachineLearning #RAG

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

En este episodio de Paperslab exploramos ‘Cognitive Convergence: Deep Similarities Between Large Language Models and Human Cognition’, un provocador trabajo de Chandra Sripada y Richard Lewis que desafía el consenso dominante sobre los grandes modelos de lenguaje. ¿Son los LLMs simples ‘loros estocásticos’ que predicen la siguiente palabra, o inteligencias alienígenas radicalmente distintas al cerebro humano? Los autores proponen una tercera vía: LLMs y mente humana han convergido, por caminos evolutivos y computacionales completamente diferentes, hacia soluciones cognitivas profundamente similares. Apoyándose en el concepto filosófico de realizabilidad múltiple, argumentan que estamos confundiendo diferencias de implementación con diferencias de computación. Discutimos las implicaciones para la filosofía de la mente, la neurociencia computacional, el debate sobre comprensión en inteligencia artificial, y qué significa esta convergencia para entender tanto a las máquinas como a nosotros mismos. Un episodio esencial para quienes se preguntan qué es realmente pensar.

#IA #LLM #CienciaCognitiva #FilosofiaDeLaMente #Paperslab

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

En este episodio de Paperslab desmenuzamos GPT-Red: Automated Red Teaming via Self-Play at Scale, uno de los papers más comentados del momento, liderado por Eric Wallace y un equipo de 21 investigadores de OpenAI. La propuesta suena paradójica: entrenar un modelo de lenguaje específicamente diseñado para atacar a otros modelos de lenguaje, y usar esos ataques adversariales para robustecer los sistemas de IA en producción. Exploramos el problema del prompt injection, el talón de Aquiles de los asistentes modernos conectados a emails, navegadores web, bases de datos y ejecución de código. Analizamos por qué el red teaming humano no escala, cómo funciona el self-play aplicado a seguridad de LLMs, y qué implicancias tiene para empresas que despliegan GPT-4, Claude u otros modelos. Un episodio imprescindible sobre AI safety, adversarial machine learning y el futuro de la ciberseguridad en la era de los modelos generativos.

#AISafety #RedTeaming #PromptInjection #OpenAI #LLM

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

Un jailbreak no necesita romper un modelo nuevo desde cero: alcanza con robarle el razonamiento dañino a uno ya comprometido y trasplantarlo a otros 34 modelos distintos. En este episodio de Paperslab exploramos dos papers recientes sobre seguridad y contención de daño en modelos de lenguaje.

El primero, “Hidden in Thought: Transferable Chain-of-Thought Artifacts Induce Harmful Behavior” (Ali Khalil, Aly M. Kassem, Mohamed Abdelrazek, Santu Rana, Negar Rostamzadeh, et al.), muestra que las cadenas de razonamiento dañinas de un modelo comprometido se pueden trasplantar y destilar en ataques de jailbreak reutilizables — probado en 29 modelos open-source y 5 cerrados, elevando la tasa de respuestas dañinas por encima del 80% en los más vulnerables.

El segundo, “SeerGuard: A Safety Framework for Mobile GUI Agents via World Model Prediction” (Xue Yu, Bo Yuan, Pengshuai Yang, Kailin Zhao, Hong Hu, Junlan Feng), ataca un problema distinto: los agentes que operan interfaces móviles no pueden seguir siendo reactivos, tienen que anticipar la consecuencia de una acción antes de ejecutarla.

Dos ángulos sobre la misma pregunta incómoda: ¿cómo se contiene el daño antes de que pase, cuando el daño mismo es transferible?

Papers de este episodio:

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

De Mamba2 a los 2.8 billones de parámetros de Kimi K3: la genealogía completa de tres papers que redefinieron la atención lineal en menos de dos años.

Trazamos el camino técnico entero: Gated DeltaNet (Songlin Yang, Jan Kautz, Ali Hatamizadeh — la regla delta que mejora Mamba2), Kimi Linear (el salto a Kimi Delta Attention, la arquitectura híbrida que hace viable un contexto de un millón de tokens) y el Technical Report de Kimi K3 (Moonshot AI: 2.8 billones de parámetros totales, apenas 104.000 millones activos por token).

No es solo una carrera de benchmarks: es la historia de cómo un mecanismo pensado para modelos de espacio de estados terminó sosteniendo uno de los modelos de pesos abiertos más grandes jamás publicados.

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

De todo lo que procesa el cerebro humano, solo una fracción pequeña es conscientemente accesible: disponible para el reporte verbal, el control deliberado, el razonamiento flexible. En este episodio de Paperslab exploramos el paper con el score más alto de toda la temporada: evidencia de que una distinción funcional análoga emergió también en los modelos de lenguaje.

“Verbalizable Representations Form a Global Workspace in Language Models” (Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, et al.) presenta una técnica de interpretabilidad nueva, la “lente Jacobiana”, para identificar qué representaciones un modelo está en condiciones de verbalizar en cada punto de su proceso interno — y cuáles quedan fuera de ese “espacio de trabajo global”, el mismo concepto que la neurociencia usa para explicar la consciencia humana.

Paper de este episodio:

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

Repetir el mismo bloque de un Transformer en loop promete ahorrar parámetros sin perder capacidad, pero durante años perdió contra la alternativa obvia: si tenés más cómputo, casi siempre conviene multiplicar los parámetros en vez de loopear un modelo. En este episodio de Paperslab exploramos dos papers que atacan ese problema desde ángulos distintos.

El primero, “Loop the Loopies!” (Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, Joey Zhou, Bryan Dai), presenta Loopie, el looped Transformer más potente hasta la fecha — dos modelos Mixture-of-Experts que por primera vez logran que loopear le gane a escalar.

El segundo, “Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers” (James O’Neill, Fergal Reid), resuelve el costo oculto que ese loop arrastraba: guardar una caché de memoria separada por cada vuelta del bucle, un gasto que nadie había cuestionado hasta ahora.

Papers de este episodio:

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

El deep learning avanzó durante años a pura prueba y error. En este episodio de Paperslab exploramos dos papers que, desde direcciones completamente opuestas, empiezan a poner el andamiaje matemático debajo.

El primero, “Relevant and Irrelevant: A Renormalization Group Analysis of Transformer Attention” (Parviz Haggi-Mani, Irina Rish), trata el mecanismo de atención de un Transformer como un operador de un grupo de renormalización — el mismo lenguaje que usa la física para describir transiciones de fase — y deriva predicciones verificables sobre su geometría interna.

El segundo, “Diffusion models recover accurate mixture weights despite score function insensitivity” (Andrew Dennehy, Ramchandran Muthukumar, Rebecca Willett, Nisha Chandramoorthy), resuelve una paradoja que llevaba años sin explicación: por qué los modelos de difusión aprenden bien los pesos relativos de una distribución con múltiples modos, incluso cuando la señal que deberían usar para eso es insensible a esos pesos.

Papers de este episodio:

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

El reinforcement learning mejora el razonamiento de los modelos, pero sale caro. Tres papers buscan la misma economía por caminos distintos: destilación auto-evolutiva, agentes que aprenden a preguntar mejor jugando al hundir la flota, y generadores de velocidad promedio que aceleran el proceso sin perder calidad.

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.

Anthropic publicó casi en simultáneo cuatro piezas de seguridad: compartimentos removibles de conocimiento peligroso, una técnica para reducir la desalineación agéntica, un mapeo de los valores de Claude entre idiomas, y una medición de cuánto ayudan realmente los modelos de lenguaje a explotar vulnerabilidades de día N. Cuatro ángulos sobre la misma pregunta: ¿se puede aislar lo peligroso sin apagar todo lo demás?

🎧 Paperslab — el podcast que convierte papers de investigación en IA en conversaciones claras, en español, para audiencia técnica.