Engenharia de Dados [Cast]

Hoje recebemos Alex Merced, Desenvolvedor e Advocate na Dremio e Data Lakehouse Evangelist que compartilhou conosco seu vasto conhecimento sobre o assunto.

Dremio = The Easy and Open Data Lakehouse

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Spoiler Alert = Mind-Blowing Content

Have you ever asked yourself if someone has thought about how to unwrap and simplify stream processing?

Or, would stream processing be available in Python using the best-of-breed libraries and Pythonic code and yet scale horizontally?

If you're about to listen to this episode, this one may not only change your mind but also would drastically change the way you look at Python.

Zander Matheson is a distinguished Python engineer and founder of the Bytewax company, which aims to simplify real-time stream processing using today's lingua franca, Python.

Bytewax is an Open-Source Python framework that simplifies end-to-end data pipeline workflows. It offers a non-JVM approach to abstract and solves complex data problems.

Hence, it's wicked fast and straightforward to use. It also offers a CLI where you can easily deploy the DataFlows.

In this episode, we wade through the following topics:

• Python for Data Engineers and Scientists
• Popularity and Libraries
• Bytewax & Motivators
• Main Capabilities
• Adoption
• Upcoming Features

Zander Matheson = https://www.linkedin.com/in/alexandermatheson/
Bytewax = https://bytewax.io/  

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

This episode sets a new momentum on the Podcast. We've interviewed one of the most active and well-known professionals in the Streaming quadrant.

Kai Waehner currently holds the title of Field of CTO at Confluent with the main goal of working closely with customers and partners across the world (US, EMEA, APAC), internal teams (sales, engineering, product, marketing, evangelism), public relations (industry analysts, press).

We've talked about different topics that involve streaming needs and how Apache Kafka and Confluent Cloud can help the customer along its data streaming journey.

Some of the topics covered are:

• Challenges for companies nowadays
• The true definition of a Streaming Platform
• Apache Kafka and its main use-cases
• The background between Lambda & Kappa architecture
• Confluent Cloud & Apache Kafka
• Features of Confluent Cloud

Kai Waehner = https://www.linkedin.com/in/kaiwaehner/
Blog = https://www.kai-waehner.de
Apache Kafka = https://kafka.apache.org/
Confluent Cloud = https://www.confluent.io/confluent-cloud

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje estamos com Andre Pretto, profissional com uma bagagem de 15 anos em Engenharia de Dados, trabalhando ativamente no mercado europeu.
Suas stacks têm foco em soluções open source, improvement cloud no ks8 e streaming de dados.
Veremos que o Click House é um banco de dados colunar de código aberto para processamento analítico online, usado em cenários que necessitam de análise de dados em grande velocidade.
Por exemplo, a telemetria de IOT, análise de métrica, entre outros.
Fique com a gente até o final, no nosso Engenharia de Dados Cast!

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Nesse episódio, Luan Moreno e Mateus Oliveira trazem as novidades da conferência data Summit 2022, sobre o Snowflake a plataforma nativa da nuvem que elimina a necessidade de data warehouses, data lakes e data marts separados, permitindo o compartilhamento seguro de dados em toda a organização e as novidades são As melhorias no snowflake:

• Unistore;
• Snowflake e iceberg Tables;
• Replicação, Failover e disaster recover; 
  e muito mais dentro do nosso Engenharia de Dados[Cast] fique agente ate o final!

Anúncios e Novidades da Conferência do Snowflake Summit 2022, segue informações:
https://www.snowflake.com/summit/ 

StreamLit
https://events.snowflake.com/summit/agenda/session/887881 

Inovações na Plataforma
https://events.snowflake.com/summit/agenda/session/849842

Inovação do Armazenamento de Dados com Unis tore
https://events.snowflake.com/summit/agenda/session/834016 

Snowflake Governance
https://events.snowflake.com/summit/agenda/session/834019 

O Futuro da Colaboração
https://events.snowflake.com/summit/agenda/session/834018 

Replicação e Failover
https://events.snowflake.com/summit/agenda/session/834021 

Expansão das Capacidades do Storage com Apache Iceberg
https://events.snowflake.com/summit/agenda/session/884559 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Anúncios e Novidades da Conferência da Databricks, Data+AI Summit 2022, segue informações:
https://databricks.com/dataaisummit/ 

Delta Lake 2.0
https://databricks.com/blog/2022/06/30/open-sourcing-all-of-delta-lake.html 

MLFlow 2.0
https://databricks.com/blog/2022/06/29/introducing-mlflow-pipelines-with-mlflow-2-0.html

Project Lightspeed
https://databricks.com/blog/2022/06/28/project-lightspeed-faster-and-simpler-stream-processing-with-apache-spark.html 

Spark Connect
https://databricks.com/blog/2022/07/07/introducing-spark-connect-the-power-of-apache-spark-everywhere.html 

Databricks Runtime 11.0
https://docs.databricks.com/release-notes/runtime/releases.html 

Databricks Workflows
https://databricks.com/blog/2022/05/10/introducing-databricks-workflows.html 

DBT em Produção no Databricks
https://databricks.com/blog/2022/06/29/top-5-workflows-announcements-at-data-ai-summit.html 

Delta Live Tables e Projeto Enzyme
https://databricks.com/blog/2022/06/29/delta-live-tables-announces-new-capabilities-and-performance-optimizations.html

Novos Conectores do Databricks SQL
https://databricks.com/blog/2022/06/29/connect-from-anywhere-to-databricks-sql.html

Databricks SQL ServerLess
https://databricks.com/blog/2022/06/28/databricks-sql-serverless-now-available-on-aws.html 

Unity Catalog
https://databricks.com/blog/2022/06/28/whats-new-with-databricks-unity-catalog-at-the-data-ai-summit-2022.html

Terraform para Databricks
https://databricks.com/blog/2022/06/22/databricks-terraform-provider-is-now-generally-available.html 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Os grandes desafios da área de dados fazem com que necessitemos buscar pessoas de calibre para nos ajudar a entender todos os segmentos dessa grande vertente de Engenharia de Dados que tem tomado cada vez mais espaço no mercado brasileiro.

Trazemos o ilustre Filipe Comparini da LuizaLabs para explicar e falar um pouco dos desafios da Engenharia de Dados e como ele e seu time desenvolve seus produtos internos de forma escalável e inteligente.

Filipe Comparini = https://www.linkedin.com/in/filipe-comparini-06919b35/
LuizaLabs = https://medium.com/luizalabs 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Trazemos novamente o especialista Samuel Matioli para falar do banco de dados colunar mais querido da Fortuna 500, O Apache Cassandra é o banco de dados utilizado por grandes empresas como: Uber, Facebook, Netflix, Instagram, Spotify e Instacart.

Nesse bato papo sobre banco de dados NoSQL falamos sobre os seguintes tópicos:

• Crescimento na Utilização de NoSQL no Mercado
• Diferença entre HBase e Apache Cassandra
• O que é o Apache Cassandra
• Tipos de Deployment e Opções de Utilização
• Casos de Uso 
• Quais os Problemas o Apache Cassandra Resolve

Apache Cassandra = https://cassandra.apache.org/
Samuel Matioli = https://www.linkedin.com/in/samuelmatioli/ 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

Neste Podcast, conversamos com um dos Tech Leads de Data Engineering do NuBank Wellington C. Faria. Falamos sobre o mercado de Engenharia de Dados, Carreiras de Dados e as tecnologias mais utilizadas em um papo descontraído e muito instrutivo.

NuBank = https://nubank.com.br/
Wellington C. Faria = https://www.linkedin.com/in/wellicfaria/ 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

O Apache Pulsar é a nova plataforma de streaming mais querida da Fortune 500 e o Samuel Matioli, Arquiteto de Dados da DataStax traz toda sua experiência de campo para falar sobre esse tópico no nosso podcast.

Nesse episódio falamos sobre:

• Mercado de Dados Hoje em Dia
• Soluções em Batch vs. Streaming
• The Killing Features do Apache Pulsar
• Astra Streaming - Serviço Auto-Gerenciável de Streaming
• Apache Kafka vs. Apache Pulsar
• Kubernetes como Tipo de Deployment para Soluções de Dados em Tempo-Real

Samuel Matioli = https://www.linkedin.com/in/samuelmatioli/   
Astra Streaming = https://www.datastax.com/products/astra-streaming 

No YouTube possuímos um canal de Engenharia de Dados com os tópicos mais importantes dessa área e com lives todas as quartas-feiras.
https://www.youtube.com/channel/UCnErAicaumKqIo4sanLo7vQ 

Quer ficar por dentro dessa área com posts e updates semanais, então acesse o LinkedIN para não perder nenhuma notícia.
https://www.linkedin.com/in/luanmoreno/ 

Disponível no Spotify e na Apple Podcast
https://open.spotify.com/show/5n9mOmAcjra9KbhKYpOMqY
https://podcasts.apple.com/br/podcast/engenharia-de-dados-cast/ 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram