Neste episódio vamos conhecer o Director of Apache Airflow Engineering da empresa Astronomer, Kaxil Naik.

Kaxil Naik vai nos dar uma visão mais apurada sobre o Apache Airflow e os produtos da Astronomer, como desenvolvedor e PMC Committer, apaixonado por produtos Open-Source.

O Astro produto da Astronomer oferece os seguintes benefícios:

• Executar pipelines do Airflow com acesso imediato aos recursos mais recentes.
• Reduzir o consumo de infraestrutura para tarefas de longa duração.
• Reduzir latência de tarefa com configuração e dimensionamento automático.
• Coletar metadados automaticamente por meio do Open Lineage integrado.

Além disto vamos falar sobre:

• Apache Airflow em geral e novidades.
• Principais casos de uso.
• Python como linguagem franca.

Você vai ouvir isso e muitas outras experiências das trincheiras, trocadas com Luan Moreno e Mateus Oliveira, aqui, no nosso Engenharia de Dados Cast.

Kaxil Naik
Astronomer

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

O Microsoft Ignite é o evento mais esperado por profissionais da Microsoft que desejam se atualizar nas diversas tecnologias entregue pela empresa.

Durante 3 dias, a Microsoft traz 800 sessões técnicas gratuitas divididas da seguinte forma:

• AI
• Azure
• Business Applications
• Edge
• Industry Cloud
• Microsoft 365
• Power Platform
• Security
• Windows

Luan Moreno e Matheus Oliveira batem um papo sobre as novidades referente a Engenharia de Dados, os seguintes tópicos são cobertos nesse episódio (Azure Data):

• Microsoft Intelligent Data Platform
• Azure CosmosDB
• Azure SQL Database for Postgres
• AutoScale for Azure Database for MySQL
• Azure Data Studio
• Azure Data Explorer
• SAP Change Data Connector
• Azure Data Factory
• Microsoft Purview

Para a lista completa de novidades acesse:

Microsoft Ignite 2022 Book of News

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Neste podcast conversamos com Igor Lukanin um dos desenvolvedores do Cube, uma ferramenta incrível para camada semântica de dados. 

Conversamos sobre coisas bem legais do universo de dados relacionadas a Big Data & Analytics, como: 

• Os desafios dos profissionais de dados atualmente
• Business Intelligence para resolver problemas modernos
• Quais são os conceitos do Headless BI
• O que é o Cube
• Arquitetura, componentes, características dentre outros
• Conversamos um pouco sobre o modelo SaaS (Software como Serviço)
• Oferta do Cube Cloud

Igor Lukanin
Cube.Dev

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Hoje recebemos Alex Merced, Desenvolvedor e Advocate na Dremio e Data Lakehouse Evangelist que compartilhou conosco seu vasto conhecimento sobre o assunto.

Dremio = The Easy and Open Data Lakehouse

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Spoiler Alert = Mind-Blowing Content

Have you ever asked yourself if someone has thought about how to unwrap and simplify stream processing?

Or, would stream processing be available in Python using the best-of-breed libraries and Pythonic code and yet scale horizontally?

If you're about to listen to this episode, this one may not only change your mind but also would drastically change the way you look at Python.

Zander Matheson is a distinguished Python engineer and founder of the Bytewax company, which aims to simplify real-time stream processing using today's lingua franca, Python.

Bytewax is an Open-Source Python framework that simplifies end-to-end data pipeline workflows. It offers a non-JVM approach to abstract and solves complex data problems.

Hence, it's wicked fast and straightforward to use. It also offers a CLI where you can easily deploy the DataFlows.

In this episode, we wade through the following topics:

• Python for Data Engineers and Scientists
• Popularity and Libraries
• Bytewax & Motivators
• Main Capabilities
• Adoption
• Upcoming Features

Zander Matheson = https://www.linkedin.com/in/alexandermatheson/
Bytewax = https://bytewax.io/  

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

This episode sets a new momentum on the Podcast. We've interviewed one of the most active and well-known professionals in the Streaming quadrant.

Kai Waehner currently holds the title of Field of CTO at Confluent with the main goal of working closely with customers and partners across the world (US, EMEA, APAC), internal teams (sales, engineering, product, marketing, evangelism), public relations (industry analysts, press).

We've talked about different topics that involve streaming needs and how Apache Kafka and Confluent Cloud can help the customer along its data streaming journey.

Some of the topics covered are:

• Challenges for companies nowadays
• The true definition of a Streaming Platform
• Apache Kafka and its main use-cases
• The background between Lambda & Kappa architecture
• Confluent Cloud & Apache Kafka
• Features of Confluent Cloud

Kai Waehner = https://www.linkedin.com/in/kaiwaehner/
Blog = https://www.kai-waehner.de
Apache Kafka = https://kafka.apache.org/
Confluent Cloud = https://www.confluent.io/confluent-cloud

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

No episódio de hoje estamos com Andre Pretto, profissional com uma bagagem de 15 anos em Engenharia de Dados, trabalhando ativamente no mercado europeu.
Suas stacks têm foco em soluções open source, improvement cloud no ks8 e streaming de dados.
Veremos que o Click House é um banco de dados colunar de código aberto para processamento analítico online, usado em cenários que necessitam de análise de dados em grande velocidade.
Por exemplo, a telemetria de IOT, análise de métrica, entre outros.
Fique com a gente até o final, no nosso Engenharia de Dados Cast!

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Nesse episódio, Luan Moreno e Mateus Oliveira trazem as novidades da conferência data Summit 2022, sobre o Snowflake a plataforma nativa da nuvem que elimina a necessidade de data warehouses, data lakes e data marts separados, permitindo o compartilhamento seguro de dados em toda a organização e as novidades são As melhorias no snowflake:

• Unistore;
• Snowflake e iceberg Tables;
• Replicação, Failover e disaster recover; 
  e muito mais dentro do nosso Engenharia de Dados[Cast] fique agente ate o final!

Anúncios e Novidades da Conferência do Snowflake Summit 2022, segue informações:
https://www.snowflake.com/summit/ 

StreamLit
https://events.snowflake.com/summit/agenda/session/887881 

Inovações na Plataforma
https://events.snowflake.com/summit/agenda/session/849842

Inovação do Armazenamento de Dados com Unis tore
https://events.snowflake.com/summit/agenda/session/834016 

Snowflake Governance
https://events.snowflake.com/summit/agenda/session/834019 

O Futuro da Colaboração
https://events.snowflake.com/summit/agenda/session/834018 

Replicação e Failover
https://events.snowflake.com/summit/agenda/session/834021 

Expansão das Capacidades do Storage com Apache Iceberg
https://events.snowflake.com/summit/agenda/session/884559 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Anúncios e Novidades da Conferência da Databricks, Data+AI Summit 2022, segue informações:
https://databricks.com/dataaisummit/ 

Delta Lake 2.0
https://databricks.com/blog/2022/06/30/open-sourcing-all-of-delta-lake.html 

MLFlow 2.0
https://databricks.com/blog/2022/06/29/introducing-mlflow-pipelines-with-mlflow-2-0.html

Project Lightspeed
https://databricks.com/blog/2022/06/28/project-lightspeed-faster-and-simpler-stream-processing-with-apache-spark.html 

Spark Connect
https://databricks.com/blog/2022/07/07/introducing-spark-connect-the-power-of-apache-spark-everywhere.html 

Databricks Runtime 11.0
https://docs.databricks.com/release-notes/runtime/releases.html 

Databricks Workflows
https://databricks.com/blog/2022/05/10/introducing-databricks-workflows.html 

DBT em Produção no Databricks
https://databricks.com/blog/2022/06/29/top-5-workflows-announcements-at-data-ai-summit.html 

Delta Live Tables e Projeto Enzyme
https://databricks.com/blog/2022/06/29/delta-live-tables-announces-new-capabilities-and-performance-optimizations.html

Novos Conectores do Databricks SQL
https://databricks.com/blog/2022/06/29/connect-from-anywhere-to-databricks-sql.html

Databricks SQL ServerLess
https://databricks.com/blog/2022/06/28/databricks-sql-serverless-now-available-on-aws.html 

Unity Catalog
https://databricks.com/blog/2022/06/28/whats-new-with-databricks-unity-catalog-at-the-data-ai-summit-2022.html

Terraform para Databricks
https://databricks.com/blog/2022/06/22/databricks-terraform-provider-is-now-generally-available.html 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
ht

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/

Os grandes desafios da área de dados fazem com que necessitemos buscar pessoas de calibre para nos ajudar a entender todos os segmentos dessa grande vertente de Engenharia de Dados que tem tomado cada vez mais espaço no mercado brasileiro.

Trazemos o ilustre Filipe Comparini da LuizaLabs para explicar e falar um pouco dos desafios da Engenharia de Dados e como ele e seu time desenvolve seus produtos internos de forma escalável e inteligente.

Filipe Comparini = https://www.linkedin.com/in/filipe-comparini-06919b35/
LuizaLabs = https://medium.com/luizalabs 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

Luan Moreno =
https://www.linkedin.com/in/luanmoreno/