Engenharia de Dados [Cast]

Nesse episódio com os dois maiores especialistas do Brasil sobre esse assunto, Thiago Santiago e Gustavo Gattass, falamos sobre a nova plataforma de dados da Cloudera, como sempre trazendo inovação no mercado de Big Data e Analytics. 

Doug Cutting, criador do famoso sistema Apache Hadoop fez com que tudo fosse possível em 2006 para processamento de dados massivo e agora, a nova plataforma da Cloudera unificada CDP, traz os seguintes grandes benefícios para seus consumidores:

• Nuvem Híbrida
• Cloudera SDX para Plataforma de Deployment Unificada com Kubernetes
• Engenharia e Ciência de Dados como Produto de Entrega Unificada
• Data Warehouse e Visualização de Dados

Entenda o futuro da Engenharia e Ciência de Dados em uma plataforma aonde se tem como principal objetivo a entrega de uma solução completa fim a fim, embarque no Cloudera CDP.

Thiago Santiago = https://www.linkedin.com/in/thiagosantiago/ 

Gustavo Gattas = https://www.linkedin.com/in/ggattass/ 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.

https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.

https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast

https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY

https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Trazemos nesse episódio o especialista Pedro Toledo para falar um pouco da sua experiência com a tecnologia de Big Data mais utilizada do mundo. Discutimos sobre os seguintes temas:

• Importância do Apache Spark e Casos de Uso
• Curva de Aprendizagem
• Linguagens de Programação
• Problemas Comuns
• DBT vs. Apache Spark e Stack Moderna de Dados
• Delta Lake e Data Lakehouse
• Dicas para Iniciantes

A intenção principal é mostrar para um Engenheiro de Dados como o Apache Spark é uma poderosa ferramenta de Analytics e como a mesma pode ser utilizada para resolver problemas na área de Big Data.

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

LinkedIN do Pedro Toledo = https://www.linkedin.com/in/pedro-toledo/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Trazemos nesse episódio o especialista Lucas Magalhães para falar um pouco de projetos de Big Data e Analytics dentro do Google GCP

Discutimos sobre os projetos que podem ser facilmente implementados assim como melhores formas e tecnologias utilizadas para lidar com processamento massivo de dados.

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Trazemos nesse episódio o especialista Carlos Barbosa para falar um pouco de projetos de Big Data e Analytics dentro da Amazon AWS. 

Suas importantes considerações e recomendações para a criação de pipelines em batch e streaming e como otimizar recursos e aumentar valor utilizando os produtos de forma mais eficaz.

Falamos também sobre as melhores práticas de implementação assim como casos de uso e o dia a dia de um engenheiro de dados trabalhando na maior nuvem do mercado hoje em dia.\

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.

https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.

https://www.linkedin.com/in/luanmoreno/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio falamos sobre Big Data no Microsoft Azure com o convidado especial Vitor Henrique Mendes.

Tocamos em alguns pontos muito interessantes para a construção de uma solução de Big Data e Analytics no ecossistema de nuvem da Microsoft.

Alguns pontos abordados:

• Experiências Marcantes 
• Serviços mais Utilizados
• Synapse Analytics
• Recomendação de Arquitetura
• Dicas de Estudo para Engenheiro de Dados
• Cenários de Utilização

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Trazemos nesse episódio o especialista João Bosco Seixas, Community Catalyst para falar sobre Apache Kafka, nesse bate-papo falamos das vertentes de Desenvolvimento e Engenharia de Dados e como cada área pode utilizar o Apache Kafka de forma mais efetiva.

* Apache Kafka para Desenvolvimento de Software
* Engenharia de Dados com Apache Kafka e Analytics em Tempo-Real
* Curva de Aprendizagem da Tecnologia
* Casos de Uso
* Experiências de Campo
* Dicas para Iniciantes

A intenção principal é mostrar para um Engenheiro de Dados como o Apache Kafka é usado não somente para Analytics mais sim por toda a empresa principalmente na construção de microsserviços.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

O Apache Kafka é uma plataforma de streaming de dados, capaz de ingerir e processar milhões de eventos por segundo entretanto, alguns pontos são importantes e normalmente não temos muitas explicações sobre os mesmos, como:

• O Apache Kafka é um Banco de Dados
• Transações no Apache Kafka
• Armazenamento e Processamento Desacoplado
• Comparação de Banco de Dados vs. Apache Kafka

Esse episódio irá de uma vez por todas desmistificar o Apache Kafka e tirar todas as suas dúvidas referentes a seus pontos fortes e fracos e como você pode extrair o melhor dessa tecnologia open-source da Apache Software Foundation.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Os produtos de Big Data open-source são os mais utilizados pelas médias e grandes empresas para operacionalizar processos de análise de dados em grande escala para todas as áreas e departamentos de uma empresa.

Porém, depender de um provedor de nuvem para essa tarefa pode te trazer alguns problemas a longo prazo, principalmente pelo "lock-in" e custos elevados dos produtos de modalidade PaaS e SaaS de fato, a maioria das empresas compreende porque produtos open-source são os mais utilizados do mundo.

A terceira geração de Big Data nasce para endereçar esses problemas, agora é possível criar uma infraestrutura "self-healing" e de baixo custo para operacionalizar os produtos mais utilizados de Big Data do mundo. 

As provedoras de nuvem oferecem Kubernetes gerenciados (AKS, GKE e EKS) para que você possa focar no que é mais importante para o negócio e ao mesmo tempo permanecer e colaborar no mesmo tipo de ambiente.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

O Delta Lake é uma engine de armazenamento otimizado para construção de projetos de Big Data e Analytics especialmente desenhado para o Apache Spark.

A engine foi criada para armazenar grandes quantidades de dados (Data Lake) e também organizar dados em formas de tabelas (Data Warehouse), dessa forma a consulta dentro desse formato de arquivo pode ser indexada de forma eficiente.

Além disso, diversos recursos foram adicionados como - transações acid, viagem no tempo (time travel), auditoria, operações de dml (insert, update, delete e merge) e outros recursos valiosos para operações em grandes massas de dados.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Você gostaria de compreender a diferença entre Data Warehouse e Data Lakehouse e ir além para entender de fato o que acontece na realidade das empresas que adotam essas soluções? 

O Orlando Marley é um dos grandes especialistas nessa área e com ele, iremos dar dicas de como entender melhor esses dois paradigmas e como você pode unir essas duas soluções para entregar um Analytics marcante para sua empresa.

Data Lakehouse é um novo conceito que vem ganhando tração rapidamente e para você poder se destacar como um engenheiro de dados se faz necessário aprender sobre.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram