No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram  Lucas Galindo Data Engineer/Software Engineer  & Gabs Ferreira Community Builder, ambos trabalhando na Alvin.

A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico  conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta.

O Alvin oferece os seguintes benefícios:

• Uma maneira automatizada de detectar e rastrear erros/bugs
  do pipeline, reduzindo o tempo de inatividade dos dados.
• Automatiza o teste de regressão, fornecendo um relatório detalhado do impacto downstream antes da implantação do código.
• Mapeia automaticamente os fluxos de dados dentro e entre os sistemas e mostra como eles são consumidos em toda a empresa.

Neste podcast, foi também argumentado assuntos como governança, democratização e qualidade dos dados.

• Conceitos de Linhagem de Dados e Governança de Dados
• Features Integrações disponíveis na Plataforma da Alvin.
• Diferenças de mercado (Nacional & Internacional).
• Comunidade de Dados.

Entenda porque precisamos de governança de dados e como a Alvin pode nos entregar um produto focado em Linhagem de Dados para agregar valor para aos seus cliente.

Alvin
Gabs Ferreira
Lucas Galindo

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Mateus Oliveira entrevistou Jakub Scholz, atualmente como Senior Principal Software Engineer na Red Hat.

Strimzi é um Kubernetes Operator para deployment de Apache Kafka, modular e versátil para ambientes de todos os portes, open-source.

Com Strimzi, você tem os seguintes benefícios:

• Apache Kafka no Kubernetes
• Elasticidade do seu deployment
• Extensibilidade do seu produto com Apache Kafka

Falamos também nesse bate-papo sobre os seguintes temas:

• Apache Kafka
• Novas features do Strimzi
• Comunidade

Aprenda como utilizar o Strimzi, Apache Kafka no Kubernetes, com um dos criados e um dos profissionais que mais apoia a comunidade e o projeto open-source.

Jakob Scholz = Linkedin

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Xiran Waibel, atualmente engenheira de dados Sênior na Netflix.

A Engenharia de Dados é um das profissões que estão em alta no mercado de trabalho, mas entender como funciona é algo que até hoje as empresas tem dificuldades.

Engenharia de Dados engloba:

• Entendimento de novas tecnologias orientadas a Big Data
• Trabalhar com soluções de dados que resolvem problemas de negócio
• Construções de pipelines de dados resilientes e escaláveis

Falamos também nesse bate-papo sobre os seguintes temas:

• Engenharia de Dados na Netflix;
• Dicas de Engenharia de Dados;
• Soft Skills;
• Comunidade.

Aprenda um pouco como a Netflix trabalha utilizando dados como um dos produtos mais valiosos da empresa, além de uma cultura interna forte e funcional.

Xiran Waibel
Medium 

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.

Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas.

Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.   
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Falamos também nesse bate-papo sobre os seguintes temas:

• Características do Apache Airflow
• Astro Python SDK
• Dynamic Task
• Astro Cloud
• Apache Airflow vs. Perfect vs. Mage

Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines.

Marc Lamberti
Marc Youtube Channel
Engenharia de Dados Academy

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer.

O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer, empresa que acelera o Apache Airflow, para tornar simples o processo de ETL.

Astro Python SDK oferece os seguintes benefícios:

• Operações de ETL com Operadores para Abstração de Complexidade
• Carga de Dados de Forma Escalável e Eficiente (Native Transfers)
• Transformações Utilizando SQL & DataFrames
• Entrega dos Dados nos Principais Data Warehouses Modernos
• Operações Dinâmicas e Escaláveis

Falamos também nesse bate-papo sobre os seguintes temas:

• Apache Airflow
• Astronomer
• Astro Cloud

Aprenda como o Astro Python SDK pode de fato mudar a forma com que seu time cria e desenvolve pipelines de ETL dentro do Apache Airflow.

Tatiana Al-Chueyr Martins
Astro Python SDK
Astronomer

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks.

Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP).

Além disto, o Databricks proporciona:

• Experiência de Notebook Avançada
• Workspace para Times de Dados
• Criação de Clusters para o seu Use-Case
• Plataforma de Desenvolvimento de Pipelines

Nesse bate papo foi feito a abordagem dos seguintes temas:

• Apache Spark (Open-Source)
• Delta Lake (Open-Source)
• Data Lakehouse
• Unity Catalog
• Workflows
• Delta Live Tables (DLT)
• Databricks SQL
• Snowflake vs. Databricks

Entenda melhor como utilizar o Databricks em um ambiente corporativo para colaboração entre os times de dados, além de uma solução de fácil desenvolvimento e entrega de valor para sua empresa, se tornando cada vez mais uma plataforma de dados.

Rodrigo Oliveira
Databricks

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam João Bosco, atualmente como Software & Solution Strategist no Nubank e Marcelo Costa, atualmente como Head of IT na Cia. Hering. Ambos os convidados e apresentadores são Confluent Community Catalysts.

Confluent Community Catalysts são profissionais que investem seu tempo em divulgar, contribuir seja no código, ou respondendo ativamente nos forums e perguntas do Stack Overflow sobre Apache Kafka, sendo reconhecidos pela comunidade e pela Confluent pelo trabalho exercido.

Nesta mesa redonda conversamos sobre os seguintes temas:

• Conceitos de Apache Kafka
• Evolução de Tecnologias de Mensageria para Plataforma de Streaming
• Histórias das Trincheiras sobre Apache Kafka e Curiosidades
• Desafios para Implementação Inicial com Apache Kafka e Adoção

Aprenda com a experiência de profissionais que trabalharam diariamente com Apache Kafka usando as melhores práticas de mercado para construir uma plataforma robusta de streaming em tempo-real que é líder de mercado atualmente.

Marcelo Costa
João Bosco
Confluent Catalyst

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Timo Walther, atualmente como Principal Software Engineer na Confluent após a recente aquisição da Immerok pela Confluent Cloud.

O Apache Flink é uma engine de processamento de dados unificada que aplica tanto batch quanto tempo-real. Tem ganhado grande adoção entre as grandes empresas por oferecer um modelo de computação extremamente eficiente, principalmente para streaming e computação que retenha estado (stateful). 

Além de ser uma plataforma Open Source, capaz de responder aos seguintes requisitos de forma efetiva como:

• In-Memory Processing
• Graph Processing
• Batch Processing
• Real-Time Stream Processing

Nesse bate papo falamos sobre os seguintes temas:

• State Backend & RocksDB
• Processamento de Dados em Tempo Real
• Comunicação entre API de Alto e Baixo Nível
• Checkpoint & EOS (Exactly-Once Semantics)
• Recursos e Melhores Práticas para Implementação

Aprenda como o Apache Flink pode ser adicionado a seus pipelines de dados e como ele pode se diferenciar como uma plataforma de processamento em tempo-real para atender grandes demandas de dados.

Apache Flink
Confluent Cloud + Immerok
Timo Walther

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Neste episódio falamos com Maayan Salom sobre dbt e Elementary e como essas duas ferramentas tem ajudado times de dados a implementar de forma eficiente e segura pipelines de dados.

O dbt se tornou uma das ferramentas mais utilizadas para transformar dados dentro do Data Warehouse por trazer a facilidade de se usar a linguagem SQL para processamento dos dados. Com dbt é possível ter uma visão ampla do que está acontecendo dentro da sua fonte da verdade analítica, além de proporcionar diversas capacidades interessantes para times que desejam escalar de forma rápida e estruturada.

O Elementary é um produto open-source cuja responsabilidade é aplicar o conceito de observabilidade dentro dos pipelines de dados construídos no dbt. Essa solução entrega relatórios, detecção de anomalias, validação de desempenho do seu pipeline e pode até entregar alerta no Slack, isso tudo para aprimorar e enriquecer seu processo de ETL.

Nesse bate papo você irá entender como o dbt e o Elementary podem reduzir a complexidade durante a criação e observabilidade dos seus pipelines de dados e trazer seu time de dados para um ambiente confiável e monitorado.

dbt
Elementary
Maayan Salom

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Neste episódio entrevistamos o Kishore Gopalakrishna, Co-Fundador e CEO da empresa StarTree, Luan Moreno e Mateus Oliveira batem um papo com o co-criador dessa poderosa ferramenta chamada Apache Pinot.

O Pinot é um OLAP DataStore desenvolvido para responder consultas analíticas com tempo de resposta na casa dos milissegundos, podendo ser considerado um banco de dados para consultas em tempo-real.

Capaz de ingerir de fontes de dados em Batch (Hadoop HDFS, Amazon S3, Azure ADLS, Google Cloud Storage), bem como fontes de dados em Stream (Apache Kafka, Apache Pulsar, Amazon Kinesis).

O Pinot foi projetado para executar consultas OLAP em tempo real, com baixa latência em grandes quantidades de eventos para entregar o conceito de User-Facing Analytics.

Foi criado e desenvolvido por engenheiros do LinkedIn e do Uber e projetado para escalar e expandir sem limites.

Apache Pinot
Kishore Gopalakrishna
StarTree

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/