Software 2.0

¿Puede un sistema de aprendizaje profundo simular la física mejor que el simulador que lo entrena?

Alvaro Sánchez es investigador en DeepMind, dónde ha desarrollado varios trabajos que tratan de mejorar simulaciones físicas con técnicas de aprendizaje profundo. En este episodio, Álvaro nos explica por qué es importante este trabajo y desvela cómo lo hace.

Seguimos sin saber si vivimos en una simulación, pero al menos podemos crearnos nuestras propias simulaciones.

A no ser que estés en una cueva sin internet te habrás enterado del revuelo que está generando GPT-3, un modelo generativo de texto, entrenado por la empresa OpenAI que supone (¿o no?) un paso hacia la inteligencia artificial general.

No puedo entrevistar al mismísmo GPT-3 (y no creas que me interesaría demasiado hacerlo) pero sí hablar sobre las preguntas que habéis hecho por twitter:

- ¡hazle una entrevista al modelo!

- Comparativa con otras tecnologías de los últimos años en grado de posible impacto (similar a BitTorrent? ImageNet neural networks? Bitcoin? BERT?)

- Limitaciones de la tecnología y motivos de que sea un api privada 

- Aplicaciones reales en empresas y startups

- Y como empezar a utilizarlo ya, si es que se puede

- Estaría genial una explicación pa cazurros como yo de las tripas del GPT-3 ¿un Transformer vitaminado? ¿Qué lo hace especial?¿Sólo el tamaño?

- No te da la sensación de que se ha roto otra barrera, de que la IA ha superado otro hito? La gente habla de GPT-3 en el tono en el que se hablaba antaño con el ajedrez o con AlphaGo ("vale, ganará al ajedrez pero nunca podrá...." y esos "nunca podrá" van cayendo) ¿hay miedo?

-  Cual es el siguiente paso para GPT-4??Más cómputo??Mas parámetros???Más datos?? Dónde está el límite???

- Consciencia. ¿Es GPT-3 consciente de alguna forma? Tengo la sensación de que estamos cerca de alguna forma de consciencia 

- Cuanta energia fue necesario para entrenarlo?

- ¿Vamos a tener que ir buscando trabajo los programadores a medio plazo?

- Si se puede dejar desatendido (spoiler:no)

- Ya sabemos que más datos y más parámetros mejoran el modelo, pero ¿hasta qué punto sigue siendo interesante entrenar estos modelos monstruosos que solo pueden poner en producción 4 empresas?

- ¿Estado para otros idiomas distintos al Inglés?

-  Su aplicación para generación de imágenes. ¿Es posible usarlo para eso?

- Sesgos de entrenamiento

- ¿Se puede hacer fine-tuning no para tareas sino para idiomas? Aprovechar de alguna forma lo aprendido en inglés por el modelo para no tener que entrenar desde 0 un nuevo modelo en sueco, por ejemplo.

- La cantidad de recursos que hace falta para entrenarla y si vamos camino de que el deep learning deje de ser "abierto".

- 175B params es a ojo de buen cubero es 1Tb de memoria y no se si podría correr en CPU

* cómo crees que lo han puesto en producción?

- ¿Se podrá poner el modelo estándar de partículas en términos que el embending permita transferirlo al GPT-3 ? Y así saber si el campo de Higgs es metaestable ... entre otras cosas.

La pandemia del coronavirus ha puesto encima de la mesa el uso de la tecnología para ayudar a la trazabilidad de contactos. La forma que se está probando de forma más extendida utiliza Bluetooth, y se puede implementar de forma centralizada o descentralizada.

Las implementaciones centralizadas han generado suspicacias y una de las respuestas ha sido una iniciativa descentralizada llamada DP-3T, que lidera la española Carmela Troncoso, profesora de la Escuela Politécnica Federal de Laussane en Suiza.

Privacidad, desmantelamiento, confianza y soberanía tecnológica son algunos de los temas que oirás si decides escucharnos; y no los oirás -al menos aquí- si no lo decides ;-)

Vicens Gaitan es uno de los competidores españoles en Kaggle de más reputación. 

Actualmente está en el TOP 100 a nivel mundial del ranking más exigente de Kaggle: el de las competiciones.

Nos desvela parte de sus secretos, trucos y estrategias.

Podéis ver su perfil aquí:

¿Está Europa abocada al declive en la época de la Inteligencia Articial?

Luis Moreno y Andrés Pedreño han escrito un libro en clave económica profundizando en el diagnóstico y posibles recetas.

Carolina Jiménez es artista de efectos visuales, y con ella hablamos del papel de la tecnología en el cine, de los deep fakes (ultrafalsos), el verde chroma y damos un repaso a técnicas que ¿quizás? verán la luz gracias a la IA.

En neurociencia hace mucho que se especuló con la existencia de la neurona “de la abuela”, neuronas que se activan cuando vemos una foto de nuestra abuela, leemos o incluso si oímos su nombre. Rodrigo Quian Quiroga es el neurocientífico que descubrió en el cerebro humano las neuronas de concepto, siendo la más famosa la neurona de Jennifer Aniston, neurona que logró identificar y que se activa ante imágenes de la actriz Jennifer Aniston (también se identificaron neuronas de otras personas).

Rodrigo nos explica dónde están estas neuronas, cómo el aprendizaje automático se inspira en lo que conocemos del cerebro; además conversamos sobre las diferencias entre las redes neuronales artificiales y naturales, y mucho más.

La asociación norteamericana de radiología (RSNA) organizó una competición que consistía en detectar hemorragias cerebrales dadas las imágenes de un paciente.

Javier Martín, Cristian Martín y servidor participamos y nos quedamos en la posición #9 lo que supuso que nos invitaran a presentar cómo creamos nuestro modelo en la conferencia mundial de radiólogos que se celebra en Chicago.

En este episodio contaremos cómo funciona una competición y cómo -contra casi todo pronóstico- logramos colarnos en el TOP 10.

Magia de CSI aumentando resolución de imágenes ¿Realidad o ficción? ¿Dónde está la IA ahí?

¿Cómo usa hoy la policía la IA? ¿Cómo usará la policía la IA mañana?