Nesse episódio falamos sobre umas das maiores dificuldades de administradores de dados ou mesmo empresas de conectar e integrar fontes de dados em tempo real dentro do apache kafka.

O Kafka Connect possui atualmente mais de 180 conectores sendo a maioria deles open-source para que você possa com um arquivo de configuração trazer seus dados para o Apache Kafka que hoje é conhecido como a espinha dorsal ou Data Lake em real-time da empresa.

Falamos dos cenários mais comuns para utilização e quando não utilizá-lo, nessa conversa falamos de algumas experiências e recomendações de campo para quem deseja integrar diversas fontes de dados com seus microsserviços em real-time.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Uma das dúvidas mais comuns em ambientes de big data e construção de data pipelines é de fato entender as diferenças entre os diversos tipos de storages que podemos nos conectar para processar os dados.

Nesse episódio, atacamos todos os tipos que o mercado oferece mostrando seus lados positivos e negativos para que você que está construindo entenda da melhor forma como cada um desses storages se comportam.

Falamos também da importância do mindset tanto do profissional como da empresa em não somente armazenar mas como processar dados de forma eficiente, madura e rápida.

Entenda a evolução do mercado de Big Data e Analytics e entenda os mais novos termos e tecnologias utilizadas para construção de pipeline de dados.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio trazemos especialistas de Azure para falar um pouco sobre o mais novo produto da Microsoft para construção de pipelines de dados.

O Synapse Analytics é novo e mais completo produto para desenvolvimento de Modern Data Warehouse [MDW], essa é a grande aposta da Microsoft para os próximos anos.

Trazendo diversos produtos dentro de uma solução completa, o Synapse Studio possibilita a integração para ingestão, processamento, entrega e visualização de dados de uma forma única, fácil e transparente.

Sidney Oliveira e Warner Chavez trazem informações do campo para aqueles que desejam não somente entender sobre a plataforma mas também conhecer aonde e como a mesma pode ser utilizada.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio você irá descobrir um novo banco de dados que realiza transações distribuídas e que é totalmente pronto para o kubernetes.

Iremos navegar nas diversas características e recursos do banco de dados open-source que foi inicialmente desenvolvido dentro do Facebook. 

O YugaByteDB oferece suporte as apis de Postgres e Cassandra ou seja, você pode de forma transparente mover seus workloads com mínimo esforço para dentro da plataforma.

• Transações [ACID] Distribuídas = http://bit.ly/3ui2flx
• Raft-Consensus = http://bit.ly/3uie7Eq

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio você irá entender sobre as diferentes formas de se planejar projetos de big data. 

Para que qualquer projeto de big data se torne factível, é necessário que se tenha uma arquitetura por detrás do mesmo. essas arquiteturas irão possibilitar que você possa de forma correta planejar as diferentes camadas e produtos para seus clientes respeitando as melhoras formas e características de cada uma das opções.

Falamos também sobre a história de big data e quais são as melhores práticas para se implementar projetos de big data com sucesso.

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio iremos falar em como utilizar o Apache Kafka no Kubernetes. O Strimzi é um operador que faz com o que o deployment seja muito mais fácil e totalmente integrado com o Kubernetes.

Explicamos quais são os recursos mais importantes e suas melhores práticas use-cases e por final entramos em detalhe de cada componente.

• Apache Kafka Strimzi Operator = https://strimzi.io

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/