Engenharia de Dados [Cast]

Bancos de dados relacionais estão presentes em todas as empresas, o motivo principal é porque esse sistema pode garantir propriedades como: atomicidade, consistência, isolamento e durabilidade.

Não somente isso, armazenar dados de forma segura é um dos fatores chaves para qualquer empresa, porém nessa nova era de Big Data, diferentemente do que muitos pensam, bases de dados open-sources como: MySQL e Postgres são amplamente utilizadas para cenários de transações e analytics.

Nesse bate papo super técnico, trazemos o Raul Oliveira que é um profissional diferenciado de mercado para falar e explicar o que o Postgres pode entregar para cenários de Big Data e Analytics assim como a visão de futuro do produto.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Sempre nos deparamos com situações difíceis em nossas vidas, tanto no âmbito pessoal quanto no profissional porém achar uma saída é o que nos torna humanos adaptáveis.

O Covid-19 é algo que será lembrado pela eternidade em livros de história, muitas coisas negativas aconteceram porém, tivemos também coisas positivas em relação ao mundo profissional.

Hoje a barreira que separa um profissional brasileiro de trabalhar para grandes empresas não é somente o inglês, mas sim o seu "mindset", se você aprender a reprogramá-lo irá ver as maravilhas que essa máquina pode fazer.

Abraçar seus maiores erros e medos é uma das principais chaves para isso e nesse bate papo falamos de dicas preciosas para que você possa elevar sua mente e desbloquear seu corpo para alcançar novos desafios.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio especial, entrevistamos um dos criadores do projeto Strimzi (Apache Kafka no Kubernetes) Jakub Scholz para nos contar um pouco da história do operador Strimzi.

Alguns dos pontos que foram discutidos nessa entrevista:

* Apache Kafka no Kubernetes
* Operador Strimzi e suas Características
* Cenários e Utilização
* Apache Kafka e Microsserviços
* Tipos de Deployment do Apache Kafka
* Benefícios da Remoção do Apache Zookeeper
* Novos Recursos no Strimzi 
* Dicas e Recomendações

Além disso, falamos do grande movimento das empresas para a adoção do Kubernetes para aplicações que guardam estado, e como o Strimzi pode facilitar o deployment do Apache Kafka para que sua jornada seja mais leve e divertida.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Para marcarmos história no podcast, trouxemos um convidado mais que especial para falar sobre Apache Airflow. Marc Lamberti é o head de treinamentos da Astronomer, empresa que acelera a mais famosa ferramenta de orquestração open-source do mundo.

Nesse bate papo falamos sobre os seguintes tópicos:

* Empresas Utilizando Workflow-as-Code para ETL e ELT 
* Use-Cases e Melhores Práticas do Apache Airflow para Big Data
* Apache Airflow 2.0 e Recomendações para Deployment em Produção
* Astronomer e Apache Airflow
* Astronomer Registry
* Dicas e Recomendações para Iniciantes

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Para a maioria dos amantes de Engenharia de Dados que trabalham nessa área desejam ingressar no mercado de trabalho internacional, nessa conversa descontraída iremos falar um pouco dos pontos que podem te ajudar a ter seu primeiro emprego fora do País.

Os convidados desse episódio são:

* Mateus Oliveira - Data Engineer na One Way Solution
* Luan Moreno - Data Engineer na Pythian
* Murilo Miranda - Data Engineer na DataStax
* Fabio Alexandre - Data Engineer na BairesDev

Alguns pontos que foram abordados:

* Visão de Engenharia de Dados Nacional e Internacional
* Tecnologias Utilizadas para Big Data e Analytics
* Necessidades das Empresas Internacionais 
* Posicionamento para Vagas e Entrevistas
* Dicas para Contratação
* Visão de Futuro da Prática de Engenharia de Dados

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Processamento de dados em Big Data sempre foi algo um pouco místico devido a quantidade de linguagens de programação disponíveis no mercado, porém nesse podcast você irá de fato entender que para ser um bom engenheiro de dados você não precisa obrigatoriamente de saber uma linguagem específica de programação.

Vivemos em um mundo orientado a valor, não digo valor em quantia mas sim em retorno para o negócio, por isso temos sempre que analisar qual é a maneira mais inteligente e viável de se chegar ao resultado sempre orientado ao negócio ou a necessidade.

Explicamos em detalhes o porque acreditamos fortemente que para quem está iniciando sua carreira de engenheiro de dados, Python e SQL são o combo perfeito.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Apache Spark é a engine de processamento de dados mais famosa e utilizada do mundo. Nesse episódio você irá entender seus conceitos, modos de operação, tipos de deployment e empresas que utilizam essa plataforma para processamento massivo de dados.

E para que você possa estar ainda mais preparado, compilamos alguns pontos avançados como: problemas comuns e suas soluções, melhores práticas para não ter problemas depois da adoção e quais são seus pontos fortes e fracos.

Esse episódio está recheado de dicas e truques para você se diferenciar no seu trabalho, não perca e aproveite.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio falamos sobre umas das maiores dificuldades de administradores de dados ou mesmo empresas de conectar e integrar fontes de dados em tempo real dentro do apache kafka.

O Kafka Connect possui atualmente mais de 180 conectores sendo a maioria deles open-source para que você possa com um arquivo de configuração trazer seus dados para o Apache Kafka que hoje é conhecido como a espinha dorsal ou Data Lake em real-time da empresa.

Falamos dos cenários mais comuns para utilização e quando não utilizá-lo, nessa conversa falamos de algumas experiências e recomendações de campo para quem deseja integrar diversas fontes de dados com seus microsserviços em real-time.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Uma das dúvidas mais comuns em ambientes de big data e construção de data pipelines é de fato entender as diferenças entre os diversos tipos de storages que podemos nos conectar para processar os dados.

Nesse episódio, atacamos todos os tipos que o mercado oferece mostrando seus lados positivos e negativos para que você que está construindo entenda da melhor forma como cada um desses storages se comportam.

Falamos também da importância do mindset tanto do profissional como da empresa em não somente armazenar mas como processar dados de forma eficiente, madura e rápida.

Entenda a evolução do mercado de Big Data e Analytics e entenda os mais novos termos e tecnologias utilizadas para construção de pipeline de dados.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio trazemos especialistas de Azure para falar um pouco sobre o mais novo produto da Microsoft para construção de pipelines de dados.

O Synapse Analytics é novo e mais completo produto para desenvolvimento de Modern Data Warehouse [MDW], essa é a grande aposta da Microsoft para os próximos anos.

Trazendo diversos produtos dentro de uma solução completa, o Synapse Studio possibilita a integração para ingestão, processamento, entrega e visualização de dados de uma forma única, fácil e transparente.

Sidney Oliveira e Warner Chavez trazem informações do campo para aqueles que desejam não somente entender sobre a plataforma mas também conhecer aonde e como a mesma pode ser utilizada.

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram