*José habla personalmente y no representando a ninguna empresa o institución de ninguna manera. Toda la información aquí descrita es nuestra interpretación y no necesariamente lo que José quiso decir.
José Cañete (@jocannete) es ingeniero de Machine Learning en el Centro Nacional de Inteligencia Artificial (CenIA) en Chile. Una iniciativa apoyada por el gobierno y sector privado chileno para empujar la inteligencia artificial no solo en Chile sino en todos los países hispanohablantes. El CenIA conjunta investigadores de las mayores universidades chilenas y en los siguientes años escucharemos hablar de ella más y más. José es co creador de BETO, la versión en español más famosa de BERT. Un modelo que cambio el mundo del Machine Learning. Antes trabajó en la Universidad de Chile y como Lead Data Scientist en Adereso Minds.
Comienzo del paper de BETO: ‘’El idioma español es uno de los 5 principales idiomas hablados en el mundo. Sin embargo, encontrar recursos para entrenar o evaluar modelos de lengua española no es una tarea fácil. En este documento, ayudamos a cerrar esta brecha presentando un modelo basado en BERT modelo de lenguaje pre-entrenado exclusivamente con datos en español”.
Habilidades que lo han llevado al éxito:
-Ser multidisciplinario. Desenvolverse en diversas áreas.
-Salir de la zona de confort.
Camino para crear a BETO:
-Profesores en Chile crearon recursos en ML en español. Fue una oportunidad para llegar a personas de habla hispana.
-Recolectaron todo el texto posible en español en BERT para formar el dataset.
-Se sumaron más personas que ayudaron a evaluar el modelo.
Importancia de BERT para el deep learning:
-La parte fundamental del BERT es que su representación final que da el modelo basado en Transformers no es fija.
-La técnica de attention te permite paralelizar las operaciones. Entrenar con corpus gigantes de textos para tener resultados interesantes.
-Los modelos serán más grandes y más difíciles de entrenar.
-Habrá técnicas para gestionar modelos de forma más eficiente.
-Buenos resultados en tareas concretas. Será un mundo en el que un modelo estará entrenado para realizar varias tareas.
-Los modelos de Transformers seguirán presentes a lo largo del tiempo. Son similares a un computador actual.
-Transformers entrenados para ordenar.
Recursos computacionales para crear un modelo como BETO:
-Datos hardware que se entrenan en GPUs.
-Python, especialmente Pytorch.
Recomendaciones para hispanohablantes:
-Aprender distintas áreas.
-Participar en eventos para formar parte de una comunidad.