10web

Programa 20 – Data Science

Listen Later

(download)

Neste 20º episódio estivemos à conversa com Daniel Costa, Data Scientist  na MOG.

Nos dias de hoje, esta área está difundida por todas as aplicações que usamos diariamente. As sugestões de novas conexões no LinkedIn, a construção do newsfeed no Facebook, ou as sugestões de quem podemos seguir no Twitter são alguns exemplos. Daí a nossa vontade de conhecer como é que tudo funciona na prática.

Começámos por falar sobre o percurso profissional do Daniel, sobre o papel e os desafios de um Data Scientist. Falámos ainda sobre o processo de recolha e tratamento dos dados, e das diferentes ferramentas que usa no seu trabalho.

Links úteis
  1. Tecnologias para projetos de streaming:
    • Kafka: https://kafka.apache.org/
    • Rabbit Message Queue: https://www.rabbitmq.com/
    • Modelo de dados descritivos:
      • Avro: https://avro.apache.org/
      • Thrift: https://thrift.apache.org/
      • Os “chavões” do Data Science:
        • Hadoop: http://hadoop.apache.org/
          • MapReduce: https://research.google.com/archive/mapreduce.html
          • Hive: http://hive.apache.org/
          • Pig: http://pig.apache.org/
          • Mahout: http://mahout.apache.org/
            • Tópicos abordados
            • Percurso profissional [00:00:19]
            • O que faz um Data Scientist [00:05:30]
            • Principais desafios [00:07:00]
            • Crescimento da recolha e coleção de dados [00:09:26]
            • A MOG, e os tipos de dados interessantes para o negócio [00:11:55]
            • Recolha e processamento de dados [00:16:17]
            • Tecnologias de Data Science usadas na MOG [00:30:10]
            • Hadoop, MapReduce, Hive, Pig… o que são? [00:34:30]
            • Visualização dos dados [00:37:30]
            • Machine Learning [00:43:20]
            • Questões respondidas por Data Science [00:48:00]
            • Aplicações práticas de Data Science [00:53:00]
            • Perguntas Rápidas [00:57:00]
              • Perguntas Rápidas
              • Expectativas para os próximos 12 meses a nível de web?
                • Data Science na cloud, acessível a todas as empresas
              • Qual a app mobile que não dispensarias?
                • Spotify
              • Qual a ferramenta de desenvolvimento/produtividade mais indispensável para o teu dia-a-dia?
                • Git (Gitlab)
              • Um podcast ou livro fundamental?
                • Podcast: 10web
                Livro: sobre Social Engineering, por exemplo: Art of Human Hacking 
              • Conferência a não perder
                • Conferências Google e Apache
              • Sugestão de próximo convidado
                • Sobre Docker, Miguel Poeira da MOG

                O post Programa 20 – Data Science aparece primeiro no 10web.

                ...more
                View all episodesView all episodes
                Download on the App Store
                10webBy Ricardo Correia e Vitor Silva