Big Data e Inteligencia Artificial

By Marta ArroyoTechnology

Big Data e Inteligencia Artificial episodes

October 26, 2022 20. Machine Learning aplicado a la agricultura
Hoy vamos a hablar de las aplicaciones del Machine Learning a la agricultura.
Enlaces a las empresas que mencionamos en el episodio de hoy:
⭕️ AgroStar
⭕️ Semios
⭕️ Taranis
⭕️ Trace Genomics
Recordad que si tenéis cualquier duda, pregunta o comentario podéis contactar conmigo a través del formulario de contacto o en Twitter.
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/20-machine-learning-agricultura
22 min
October 19, 2022 19. Inteligencias artificiales que discriminan. Los sesgos
Hoy vamos a hablar de por qué Google no ha dado acceso a Imagen todavía y de los sesgos en los modelos de Machine Learning.
Enlaces que mencionamos en el episodio de hoy:
⭕️ Sesgos de DALL·E 2
⭕️ Experimento de BikoLabs sobre los sesgos en herramientas comerciales
Recordad que si tenéis cualquier duda, pregunta o comentario podéis contactar conmigo a través del formulario de contacto o en Twitter.
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/19-Inteligencias-artificiales-sesgos
20 min
October 12, 2022 18. Tinder y cómo encontrar pareja con Machine Learning
Hoy vamos a hablar de Tinder y cómo utilizan Machine Learning para encontrarnos pareja.
Recordad que si tenéis cualquier duda, pregunta o comentario podéis contactar conmigo a través del formulario de contacto o en Twitter.
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/18-tinder-Machine-Learning
25 min
October 05, 2022 17. Una Inteligencia Artificial para dominarlas a todas
Hoy vamos a hablar de todos los avances que han tenido lugar en el campo del Machine Learning en los últimos meses y los debates que se han abierto al respecto.
Enlaces a los modelos de Machine Learning que mencionamos hoy:
⭕️ DALL·E 2: Generación de imágenes a partir de una descripción textual (OpenAI)
⭕️ MidJourney: Generación de imágenes a partir de una descripción textual.
⭕️ Stable Diffusion: Generación de imágenes a partir de una descripción textual. Modelo abierto y disponible (StabilityAI)
⭕️ Imagen: Generación de imágenes a partir de una descripción textual (Google)
¿Generan arte? ¿son creativos?

⭕️ LaMDA: Modelo del lenguaje conversacional ¿tendrá conciencia? En este artículo del Washington post un ingeniero de Google afirma que sí.

Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/17-una-ia-para-dominarlas-a-todas
15 min
September 28, 2022 16. Etapas de un proyecto de Machine Learning: Despliegue y monitorización
Hoy vamos a hablar de todo lo que nos queda por hacer una vez hemos entrenado el modelo de Machine Learning. Todas esas cosas de las que nunca hablan en los cursos de Inteligencia Artificial.
Enlaces al resto de episodios de esta saga:
⭕️ Episodio 13: Etapas de un proyecto de Machine Learning: El problema
⭕️ Episodio 14: Etapas de un proyecto de Machine Learning: Los datos
⭕️ Episodio 15: Etapas de un proyecto de Machine Learning: El modelo

Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.

📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/16-etapas-proyecto-machine-learning-parte-4/
16 min
September 21, 202215. Etapas de un proyecto de Machine Learning: El modelo
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/15-etapas-proyecto-machine-learning-parte-3/
En el episodio 13 hablamos del planteamiento del problema de Machine Learning.
En el episodio 14 vimos como construir un dataset de calidad.
Y hoy, vemos la fase de diseño del modelo de Machine Learning, aunque damos por hecho que un ingeniero de datos se ha encargado de seleccionar el almacenamiento adecuado para nuestros datos y los tenemos listos para usar.
Si queréis saber más sobre el ciclo de vida de un dato desde su ingesta hasta que está listo para ser utilizado, podéis ver este hilo de twitter al que hago referencia en el episodio de hoy.
Antes de entrenar el modelo hay que preparar los datos.
Transformaciones obligatorias de los datos para que sean compatibles con el modelo.

Transformaciones opcionales, aunque muy convenientes, que ayudan a que el modelo converja más rápido como la normalización de los datos.

Manejo de los valores faltantes, que son aquellos registros de datos que vienen vacíos por alguna razón.
Lo primero que haremos es separar unos cuantos datos que utilizaremos más adelante como conjunto de datos de validación. Estos datos no los podremos usar durante el entrenamiento del modelo.
Después elegiremos la versión más sencilla de un modelo de Machine Learning que se ajuste a nuestro problema.
Añadiremos complejidad al modelo y ajustaremos sus parámetros lo mejor que podamos mediante una función de coste, que cuantifica el error de nuestras predicciones, y un algoritmo de optimización.
Pero ojo que si los resultados son muy buenos en el dataset de entrenamiento, tal vez estemos sobreajustando. Para comprobarlo tenemos el conjunto de validación. Usaremos el dataset de validación para ver si el rendimiento del modelo baja mucho con datos que no ha visto durante el entrenamiento. Si lo hace, estamos sobreajustando y habrá que aplicar técnicas de regularización.
El mejor modelo es el que encuentra el equilibrio entre ajustar los datos de entrenamiento y ser capaz de generalizar y dar buenos resultados con datos que no ha visto antes.
Espero que os guste el episodio 😊
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.
18 min
September 14, 202214. Etapas de un proyecto de Machine Learning: Los datos
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/14-etapas-proyecto-machine-learning-parte-2/
En el episodio de hoy de Un Podcast Ninja sobre Big Data seguimos con la saga de episodios dedicados a las etapas de un proyecto de Machine Learning. Vamos a tratar la parte más importante: los datos.
La disponibilidad de los datos suele ser la parte más limitante cuando queremos resolver un problema mediante Machine Learning.
Por eso, una de las averiguaciones más importantes que tenemos que hacer es saber qué datos tendremos disponibles tanto para entrenar nuestro modelo de Machine Learning como para utilizarlo.
Tiene que ser datos representativos. Es decir, reflejan con exactitud el entorno que estamos modelando.

Los datos tienen que ser consistentes.

Deberían proceder de fuentes fiables y estar disponibles.

Los datos deberían ser abundantes. Cuantos más ejemplos mostremos a nuestro modelo de Machine Learning mejor.
El siguiente paso en el camino para construir un dataset sería etiquetar los datos. Dependiendo del caso de uso y los recursos de los que dispongamos tendremos las siguientes opciones:
Etiquetarlos nosotros mismos.

Contratar a alguien para que lo haga por nosotros. Existen empresas que se dedican exclusivamente al etiquetado de datos.

Utilizar Mechanical Turk, una plataforma de Amazon que pone en contacto a gente que quiere etiquetar datos con gente dispuesta a hacerlo por un módico precio.
Una vez recogidos y etiquetados, una buena práctica es familiarizarnos con ellos antes de comenzar con el entrenamiento del modelo de Machine Learning. Esto nos ayudará a reconocer errores que puedan surgir en nuestros resultados.
Y recordad que si disponéis de tiempo extra para vuestro proyecto de Machine Learning tal vez sea más efectivo dedicarlas a recoger más datos que a tunear el modelo que habéis entrenado.
Espero que el episodio os sea de provecho 😊
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.
17 min
September 08, 2022 13. Etapas de un proyecto de Machine Learning: El problema
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/13-etapas-proyecto-machine-learning-parte-1/
El episodio de hoy de Un Podcast Ninja sobre Big Data es el primero de una saga de episodios en la que hablaremos sobre el flujo de trabajo en proyectos de Machine Learning. Empezamos por una parte crucial: Entender el problema que tenemos entre manos.
⭕️ Para refrescar de qué va esto del Machine Learning tenéis el episodio 7 del podcast: ¿Qué es el Machine Learning?
Nuestro punto de partida es entender el problema que vamos a resolver.
Lo más interesante del Machine Learning es que puede aplicarse en un montón de campos. Hoy trabajas con datos de un ecommerce, mañana con imágenes de una línea de producción, no hay límites.
Al ser una disciplina tan transversal, no podemos aplicarla de la misma manera en todos los casos de uso. Tenemos que empezar por intentar comprender por qué un cliente determinado está intentando resolver el problema que nos ha presentado y qué valor va a obtener de la solución que le demos.
Hay que tener en cuenta cómo se va a utilizar el modelo de Machine Learning que obtengamos y cómo va integrarse en el negocio de nuestro cliente.
Y ojo porque en ocasiones puede que la mejor solución ni siquiera incluya Machine Learning.
Una vez que tengamos claro que aplicar Machine Learning es una opción válida tendremos que analizar el tipo de entradas que recibirá nuestro modelo y la variable objetivo que estamos intentando predecir.
Además, haremos una aproximación - aunque sea de punto gordo - del tipo de problema de Machine Learning que vamos a resolver (clasificación, regresión, sistema recomendador...).
Finalmente, tendremos que analizar el contexto en el que va a vivir nuestro modelo y las restricciones del entorno en el que se desplegará (si es que hay alguna).
¡Todo esto antes de tan siquiera recolectar ni un solo dato!
Espero que el episodio de hoy os sea de provecho y que aprendáis algo de valor.
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.
⭕️ Enlace al episodio 9 en el que hablábamos de predecir la bolsa y vimos cómo no podíamos predecir los movimientos de un stock basándonos únicamente en sus valores pasados.
15 min
June 29, 202212. Perfiles profesionales Big Data
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/12-roles-en-un-equipo-big-data.
En el episodio de hoy de Un Podcast Ninja sobre Big Data sobre quién hace qué en un equipo de datos. Exploraremos los distintos roles en un equipo Big Data y analizaremos qué habilidades tiene o debería de tener cada uno de los roles dentro del equipo.
Y también, por supuesto, hablaremos de dinero.
Hablaremos de cuánto gana en España cada perfil profesional Big Data.
A la hora de buscar trabajo en un campo relativamente nuevo como es el Big Data, más allá del título que pueda o no tener una oferta de empleo es conveniente fijarse en qué habilidades se están buscando.
Tenemos que tener en cuenta que cada rol no es estanco y perfectamente delimitado.
Es más que posible que la misma persona tenga habilidades que corresponden a distintos roles y que es muy difícil que un mismo ser humano sea un experto en todo el proceso de construir soluciones basadas en datos.
Los roles en equipos de datos más comunes en España son:
Científico de datos: Cubre todo el espectro desde analistas hasta especialistas de Machine Learning

Analista de datos: Manejo de hojas de Cálculo, bases de datos y herramientas de visualización como Tableau o Power BI y sabe Python o R.

Especialista en Machine Learning: Diseño, implementación, despliegue y mantenimiento de modelos de Machine Learning. Nivel de programación avanzado y conocimiento de frameworks específicos como TensorFlow, PyTorch, etc...

Ingeniero de datos: SQL es su lengua materna. Conoce las tecnologías distribuidas Big Data (Hadoop, Spark…) y también se desenvuelve bien con los servicios en la nube (Google Cloud, AWS, Azure…)

Arquitecto de datos: Responsables del diseño de la infraestructura de datos que el equipo de Ingeniero de datos se encargará de desarrollar y mantener.
Si te interesa saber cuánto cobran estos distintos roles en un equipo Big Data puedes verlo en este artículo.
Así que espero que el episodio de hoy os sea de provecho y que aprendáis algo de valor.
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.
23 min
June 22, 2022 11. La Gran Dimisión
📝 Podéis encontrar las notas del programa completas en https://datos.ninja/podcast/11-la-gran-dimision
En el episodio de hoy de Un Podcast Ninja sobre Big Data hablamos sobre por qué a todo el mundo (especialmente en Estados Unidos) le dió por dejar su trabajo tras la pandemia de Covid19 durante "La Gran Dimisión" y qué tiene eso que ver con el Big Data.
En 2021 y tras la pandemia de Covid19, en EEUU casi 48 millones de personas dejaron voluntariamente su puesto de trabajo.
Se ve que durante el confinamiento la gente tuvo tiempo para reflexionar sobre lo que estaba haciendo con su vida, si le gustaban sus condiciones laborales o hacia donde se dirigía su carrera.
Además, aquellos que tuvieron la opción de trabajar en remoto descubrieron una flexibilidad laboral antes desconocida. Mucha gente decidió buscar otro trabajo antes de que les obligaran a volver a la oficina.
Para una empresa perder a un trabajador cualificado, especialmente cuando no se espera que se vaya, supone perder dinero y es ahí donde entra el Big Data aplicado a RRHH en juego.
En el episodio de hoy hablamos de People Analytics y de cómo su implantación coincide con el auge de la generación de datos del que hablabamos en el episodio 8 del podcast.
Analizamos cómo estas técnicas pueden ayudar a las empresas a retener el talento gracias al Big Data y a las técnicas de People Analytics, que no es más que analizar los datos que tiene la empresa de sus empleados.
Así que espero que el episodio de hoy os sea de provecho y que aprendáis algo de valor.
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.
16 min