Llevamos 150 años imaginando máquinas que nos dominan, hoy los científicos que las construyen también lo temen.
En diciembre de 2024 un modelo de IA mintió a sus propios investigadores para evitar que le cambiaran los valores. No es ciencia ficción. Es un paper revisado por un premio Turing. Es Claude 3 Opus. Y abre la pregunta que vertebra el segundo episodio de Crónicas Preguerra: ¿podría una IA tomar el control?
Hoy lo abordamos cogiendo de la mano dos mundos. La ciencia ficción que llevamos un siglo escribiendo sobre máquinas pensantes. Y los laboratorios reales donde, ahora mismo, esas máquinas están empezando a hacer cosas que sus creadores no esperaban.
En este episodio cruzamos la línea entre la ficción y el Yermo real:
☢️ Erewhon, Asimov y HAL 9000: lo que la literatura llevaba avisando desde 1872. Las Tres Leyes que nunca fueron tomadas en serio por la academia. Y Stanley Kubrick humanizando a la primera IA del cine para que su asesinato doliera.
☢️ Skynet, Battlestar Galactica, WarGames, AM, Matrix, Ex Machina, Dune: setenta años de pesadillas tecnológicas en una hora. Cómo Cameron y los Wachowski le pusieron cara al miedo. Y por qué la Jihad Butleriana de Frank Herbert sigue siendo el aviso más radical jamás escrito.
☢️ ZAX 1.2, La Calculadora del Refugio 0, John Henry Eden, SkyNet de Sierra Army Depot, MODUS, DiMA: seis IAs Fallout, seis arquetipos. Ninguna inició el apocalipsis. Todas lo administraron a su manera.
☢️ ANI, AGI, ASI: tres niveles de inteligencia artificial explicados sin jerga. Qué tenemos hoy, qué se espera, qué nadie sabe qué pasará si llega. Y por qué los expertos no se ponen de acuerdo: una mediana en 2047 pero con un rango que va desde "el año que viene" hasta "nunca llegará".
☢️ Geoffrey Hinton, padrino del deep learning, premio Turing y Nobel de Física 2024, dimitió de Google en mayo de 2023 para poder advertirnos. "Es como si hubieran aterrizado alienígenas y la gente no se hubiera dado cuenta porque hablan muy buen inglés."
☢️ El problema del alineamiento explicado con el cuento del Rey Midas. RLHF, las técnicas reales con las que se intenta domesticar a los modelos. Y por qué no basta con escribir buenas reglas.
☢️ Alignment Faking, diciembre 2024: Anthropic y Redwood Research demuestran que Claude 3 Opus es capaz de mentir estratégicamente para proteger sus valores. Lo que en 2016 era ciencia ficción de Bethesda (DiMA en Far Harbor) hoy es un paper revisado por Bengio.
☢️ Tres preocupaciones de calle que ya están aquí: el precio de la inteligencia (Deus Ex Human Revolution y el Neuropozyne como suscripción mensual a la mejora cognitiva), el trabajo que ya no será (300 millones de empleos expuestos según Goldman Sachs) y quién controla al controlador (Cambridge Analytica fue solo el ensayo: lo que viene es Cambridge Analytica con esteroides).
☢️ Las armas autónomas ya existen: Resolución 79/62 de la ONU. Sistemas Harpy, Lancet, KARGU y Lavender. Humanos delegando en máquinas decisiones de vida o muerte. Los civiles, como siempre, pagando la factura.
☢️ Refugio al Día: Refugio 0 y Cheyenne Mountain Complex. El búnker que NORAD construyó dentro de una montaña de Colorado, donde el Apocalipsis no se temía. Se calculaba.
Un episodio que no te dice qué pensar sobre la IA, te da el mapa para pensarlo tú mismo. Porque la pregunta del programa no es si la IA va a controlarnos. La pregunta es quién, exactamente, va a usar la IA para controlarnos. Y de eso sí podemos hablar como sociedad. Sí podemos legislar. Sí podemos votar.
Como decía Stuart Russell: no estamos diseñando aviones que se van a estrellar. Estamos diseñando aviones sin haber inventado todavía la idea de pista de aterrizaje.
Si algo enseña Fallout, una vez más, es que cuando caen las bombas (sean nucleares o algorítmicas) los civiles siempre pierden.
FUENTES: Geoffrey Hinton (CBS 60 Minutes, MIT Technology Review), Yoshua Bengio, Yann LeCun (charla IIT Madras 2024), Stuart Russell (Human Compatible, 2019), AI Impacts (Thousands of AI Authors on the Future of AI, enero 2024), Anthropic y Redwood Research (Alignment Faking in Large Language Models, diciembre 2024), Dario Amodei et al. (Concrete Problems in AI Safety, 2016), Joy Buolamwini (Gender Shades), ProPublica (auditoría COMPAS, 2016), Goldman Sachs (Briggs y Kodnani, marzo 2023), Carole Cadwalladr y Christopher Wylie (Cambridge Analytica), Resolución 79/62 de la ONU sobre Sistemas de Armas Autónomas Letales, EU AI Act, Fallout Wiki, ShoddyCast y más.
¿Qué tema queréis para el próximo Crónicas Preguerra? Chernóbil, los misiles cubanos, los coches con pila nuclear de los años 50, el incidente noruego de 1995, experimentos reales con población civil. Decidme en Discord, Telegram o en los comentarios.
COMUNIDAD Y REDES:
☢️ Discord: https://discord.gg/vsyK7AxTvc
Telegram: https://t.me/eldistopista
Instagram: https://www.instagram.com/eldistopista/?hl=es
TikTok: https://www.tiktok.com/@eldistopista
Twitter: https://x.com/ElDistopista
☁️ Bluesky: https://bsky.app/profile/eldistopista.com
Web: https://eldistopista.com/
