Neste 20º episódio estivemos à conversa com Daniel Costa, Data Scientist na MOG.
Nos dias de hoje, esta área está difundida por todas as aplicações que usamos diariamente. As sugestões de novas conexões no LinkedIn, a construção do newsfeed no Facebook, ou as sugestões de quem podemos seguir no Twitter são alguns exemplos. Daí a nossa vontade de conhecer como é que tudo funciona na prática.
Começámos por falar sobre o percurso profissional do Daniel, sobre o papel e os desafios de um Data Scientist. Falámos ainda sobre o processo de recolha e tratamento dos dados, e das diferentes ferramentas que usa no seu trabalho.
Links úteis
Tecnologias para projetos de streaming:Kafka: https://kafka.apache.org/Rabbit Message Queue: https://www.rabbitmq.com/Modelo de dados descritivos:Avro: https://avro.apache.org/Thrift: https://thrift.apache.org/Os “chavões” do Data Science:Hadoop: http://hadoop.apache.org/MapReduce: https://research.google.com/archive/mapreduce.htmlHive: http://hive.apache.org/Pig: http://pig.apache.org/Mahout: http://mahout.apache.org/Tópicos abordados
Percurso profissional [00:00:19]O que faz um Data Scientist [00:05:30]Principais desafios [00:07:00]Crescimento da recolha e coleção de dados [00:09:26]A MOG, e os tipos de dados interessantes para o negócio [00:11:55]Recolha e processamento de dados [00:16:17]Tecnologias de Data Science usadas na MOG [00:30:10]Hadoop, MapReduce, Hive, Pig… o que são? [00:34:30]Visualização dos dados [00:37:30]Machine Learning [00:43:20]Questões respondidas por Data Science [00:48:00]Aplicações práticas de Data Science [00:53:00]Perguntas Rápidas [00:57:00]Perguntas Rápidas
Expectativas para os próximos 12 meses a nível de web?
Data Science na cloud, acessível a todas as empresas
Qual a app mobile que não dispensarias?
Spotify
Qual a ferramenta de desenvolvimento/produtividade mais indispensável para o teu dia-a-dia?
Git (Gitlab)
Um podcast ou livro fundamental?
Podcast: 10web
Livro: sobre Social Engineering, por exemplo: Art of Human Hacking
Conferência a não perder
Conferências Google e Apache
Sugestão de próximo convidado
Sobre Docker, Miguel Poeira da MOG
O post Programa 20 – Data Science aparece primeiro no 10web.