Engenharia de Dados [Cast]

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Marc Lamberti, atualmente como Head of Customer na Astronomer.

Vamos entender o Apache Airflow em um nível mais avançado para aplicar soluções para problemas de dados no dia-a-dia, visando melhores práticas.

Abaixo alguns pontos sobre técnicas avançadas de Apache Airflow:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.   
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Falamos também nesse bate-papo sobre os seguintes temas:

• Características do Apache Airflow
• Astro Python SDK
• Dynamic Task
• Astro Cloud
• Apache Airflow vs. Perfect vs. Mage

Aprenda como utilizar o Apache Airflow em um nível mais avançado para orquestrar o seus data pipelines.

Marc Lamberti
Marc Youtube Channel
Engenharia de Dados Academy

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Tatiana Al-Chueyr Martins, atualmente como Engenheira de Software na Astronomer.

O Astro Python SDK é um SDK desenvolvido em Python Open-Source criado pela Astronomer, empresa que acelera o Apache Airflow, para tornar simples o processo de ETL.

Astro Python SDK oferece os seguintes benefícios:

• Operações de ETL com Operadores para Abstração de Complexidade
• Carga de Dados de Forma Escalável e Eficiente (Native Transfers)
• Transformações Utilizando SQL & DataFrames
• Entrega dos Dados nos Principais Data Warehouses Modernos
• Operações Dinâmicas e Escaláveis

Falamos também nesse bate-papo sobre os seguintes temas:

• Apache Airflow
• Astronomer
• Astro Cloud

Aprenda como o Astro Python SDK pode de fato mudar a forma com que seu time cria e desenvolve pipelines de ETL dentro do Apache Airflow.

Tatiana Al-Chueyr Martins
Astro Python SDK
Astronomer

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Rodrigo Oliveira, atualmente como Arquiteto de Solução na Databricks.

Databricks é uma plataforma de linguagem unificada que tem como motor de processamento o Apache Spark, possibilitando o processamento de dados em batch e streaming em um serviço gerenciado presente nas principais nuvens (AWS, Azure e GCP).

Além disto, o Databricks proporciona:

• Experiência de Notebook Avançada
• Workspace para Times de Dados
• Criação de Clusters para o seu Use-Case
• Plataforma de Desenvolvimento de Pipelines

Nesse bate papo foi feito a abordagem dos seguintes temas:

• Apache Spark (Open-Source)
• Delta Lake (Open-Source)
• Data Lakehouse
• Unity Catalog
• Workflows
• Delta Live Tables (DLT)
• Databricks SQL
• Snowflake vs. Databricks

Entenda melhor como utilizar o Databricks em um ambiente corporativo para colaboração entre os times de dados, além de uma solução de fácil desenvolvimento e entrega de valor para sua empresa, se tornando cada vez mais uma plataforma de dados.

Rodrigo Oliveira
Databricks

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam João Bosco, atualmente como Software & Solution Strategist no Nubank e Marcelo Costa, atualmente como Head of IT na Cia. Hering. Ambos os convidados e apresentadores são Confluent Community Catalysts.

Confluent Community Catalysts são profissionais que investem seu tempo em divulgar, contribuir seja no código, ou respondendo ativamente nos forums e perguntas do Stack Overflow sobre Apache Kafka, sendo reconhecidos pela comunidade e pela Confluent pelo trabalho exercido.

Nesta mesa redonda conversamos sobre os seguintes temas:

• Conceitos de Apache Kafka
• Evolução de Tecnologias de Mensageria para Plataforma de Streaming
• Histórias das Trincheiras sobre Apache Kafka e Curiosidades
• Desafios para Implementação Inicial com Apache Kafka e Adoção

Aprenda com a experiência de profissionais que trabalharam diariamente com Apache Kafka usando as melhores práticas de mercado para construir uma plataforma robusta de streaming em tempo-real que é líder de mercado atualmente.

Marcelo Costa
João Bosco
Confluent Catalyst

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio Luan Moreno & Mateus Oliveira entrevistam Timo Walther, atualmente como Principal Software Engineer na Confluent após a recente aquisição da Immerok pela Confluent Cloud.

O Apache Flink é uma engine de processamento de dados unificada que aplica tanto batch quanto tempo-real. Tem ganhado grande adoção entre as grandes empresas por oferecer um modelo de computação extremamente eficiente, principalmente para streaming e computação que retenha estado (stateful). 

Além de ser uma plataforma Open Source, capaz de responder aos seguintes requisitos de forma efetiva como:

• In-Memory Processing
• Graph Processing
• Batch Processing
• Real-Time Stream Processing

Nesse bate papo falamos sobre os seguintes temas:

• State Backend & RocksDB
• Processamento de Dados em Tempo Real
• Comunicação entre API de Alto e Baixo Nível
• Checkpoint & EOS (Exactly-Once Semantics)
• Recursos e Melhores Práticas para Implementação

Aprenda como o Apache Flink pode ser adicionado a seus pipelines de dados e como ele pode se diferenciar como uma plataforma de processamento em tempo-real para atender grandes demandas de dados.

Apache Flink
Confluent Cloud + Immerok
Timo Walther

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Neste episódio falamos com Maayan Salom sobre dbt e Elementary e como essas duas ferramentas tem ajudado times de dados a implementar de forma eficiente e segura pipelines de dados.

O dbt se tornou uma das ferramentas mais utilizadas para transformar dados dentro do Data Warehouse por trazer a facilidade de se usar a linguagem SQL para processamento dos dados. Com dbt é possível ter uma visão ampla do que está acontecendo dentro da sua fonte da verdade analítica, além de proporcionar diversas capacidades interessantes para times que desejam escalar de forma rápida e estruturada.

O Elementary é um produto open-source cuja responsabilidade é aplicar o conceito de observabilidade dentro dos pipelines de dados construídos no dbt. Essa solução entrega relatórios, detecção de anomalias, validação de desempenho do seu pipeline e pode até entregar alerta no Slack, isso tudo para aprimorar e enriquecer seu processo de ETL.

Nesse bate papo você irá entender como o dbt e o Elementary podem reduzir a complexidade durante a criação e observabilidade dos seus pipelines de dados e trazer seu time de dados para um ambiente confiável e monitorado.

dbt
Elementary
Maayan Salom

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Neste episódio entrevistamos o Kishore Gopalakrishna, Co-Fundador e CEO da empresa StarTree, Luan Moreno e Mateus Oliveira batem um papo com o co-criador dessa poderosa ferramenta chamada Apache Pinot.

O Pinot é um OLAP DataStore desenvolvido para responder consultas analíticas com tempo de resposta na casa dos milissegundos, podendo ser considerado um banco de dados para consultas em tempo-real.

Capaz de ingerir de fontes de dados em Batch (Hadoop HDFS, Amazon S3, Azure ADLS, Google Cloud Storage), bem como fontes de dados em Stream (Apache Kafka, Apache Pulsar, Amazon Kinesis).

O Pinot foi projetado para executar consultas OLAP em tempo real, com baixa latência em grandes quantidades de eventos para entregar o conceito de User-Facing Analytics.

Foi criado e desenvolvido por engenheiros do LinkedIn e do Uber e projetado para escalar e expandir sem limites.

Apache Pinot
Kishore Gopalakrishna
StarTree

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Neste episódio vamos conhecer o Director of Apache Airflow Engineering da empresa Astronomer, Kaxil Naik.

Kaxil Naik vai nos dar uma visão mais apurada sobre o Apache Airflow e os produtos da Astronomer, como desenvolvedor e PMC Committer, apaixonado por produtos Open-Source.

O Astro produto da Astronomer oferece os seguintes benefícios:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Além disto vamos falar sobre:

• Apache Airflow em geral e novidades.
• Principais casos de uso.
• Python como linguagem franca.

Você vai ouvir isso e muitas outras experiências das trincheiras, trocadas com Luan Moreno e Mateus Oliveira, aqui, no nosso Engenharia de Dados Cast.

Kaxil Naik
Astronomer

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

O Microsoft Ignite é o evento mais esperado por profissionais da Microsoft que desejam se atualizar nas diversas tecnologias entregue pela empresa.

Durante 3 dias, a Microsoft traz 800 sessões técnicas gratuitas divididas da seguinte forma:

• AI
• Azure
• Business Applications
• Edge
• Industry Cloud
• Microsoft 365
• Power Platform
• Security
• Windows

Luan Moreno e Matheus Oliveira batem um papo sobre as novidades referente a Engenharia de Dados, os seguintes tópicos são cobertos nesse episódio (Azure Data):

• Microsoft Intelligent Data Platform
• Azure CosmosDB
• Azure SQL Database for Postgres
• AutoScale for Azure Database for MySQL
• Azure Data Studio
• Azure Data Explorer
• SAP Change Data Connector
• Azure Data Factory
• Microsoft Purview

Para a lista completa de novidades acesse:

Microsoft Ignite 2022 Book of News

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Neste podcast conversamos com Igor Lukanin um dos desenvolvedores do Cube, uma ferramenta incrível para camada semântica de dados. 

Conversamos sobre coisas bem legais do universo de dados relacionadas a Big Data & Analytics, como: 

• Os desafios dos profissionais de dados atualmente
• Business Intelligence para resolver problemas modernos
• Quais são os conceitos do Headless BI
• O que é o Cube
• Arquitetura, componentes, características dentre outros
• Conversamos um pouco sobre o modelo SaaS (Software como Serviço)
• Oferta do Cube Cloud

Igor Lukanin
Cube.Dev

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram