Engenharia de Dados [Cast]

No episódio de hoje, Luan Moreno e Mateus Oliveira conversam sobre a participação no Kafka Summit London 2023.
Kafka Summit é uma das maiores conferências de tecnologia do mundo, onde empresas de tecnologias de streaming anunciam novidades e podemos entender mais sobre como as elas estão usando estas tecnologias no dia a dia.

Na conferência tivemos 3 momentos:

• Keynote - (Anúncios);
• Vendor Hall - (Onde os patrocinadores ficam);
•  Sessions - (Salas que os palestrantes fazem suas apresentações).
  
  Falamos também nesse bate-papo sobre os seguintes temas:
  
  
•  Anúncios Open-Source;
• Anúncios Confluent;
• Overview das sessões;
• Hall dos patrocinadores;
• Impressões principais da Conferência.
  
  Aprenda mais sobre tecnologias como Apache Kafka, Apache Flink dentre outras de Streaming. Além disso, vamos entender como as empresas como financeiras europeias, Apple, Uber, Netflix, entre outras, estão usando o Apache Kafka para resolver problemas de negócio.
  
  Kafka Summit 2023 London
  https://www.confluent.io/events/kafka-summit-london-2023/
  
  
  

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram André Araújo , atualmente como Field Engineer, Data in Motion na Cloudera.

CDP é uma Plataforma de Dados Enterprise Cloudera, com foco na versatilidade em casos de uso como Streaming Platform, possuindo tecnologias como Apache Kafka e Apache Flink .

Com CSP, você tem os seguintes benefícios:

•  Apache Kafka - Plataforma de armazenamento de Streaming de Dados líder de mercado;
• Apache Flink - Plataforma de Processamento de Dados.

Neste bate-papo vamos falar sobre:

• Plataforma de Dados Cloudera ;
• Plataforma de transmissão Cloudera .

O Cloudera sempre foi uma das plataformas mais utilizadas no mercado, agora com a nova versão e casos de uso que atendem diversos cenários, como o caso do CSP ( Cloudera Stream Platform ).

André Araújo  = Linkedin
Cloudera  =  webpage

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Mateus Oliveira e Matheus Willian entrevistaram Aurimas Griciūnas, atualmente Fundador e CEO da Swirl AI & Arquiteto Sênior de Soluções da  neptune ai.
Engenharia de Dados e Ciência de Dados são, hoje, as áreas de maior demanda no mercado internacional e nacional.
O primeiro, cria soluções para disponibilização de dados da melhor forma e o segundo, cria algoritmos de predição para aprimorar e automatizar decisões.
Para melhor entender a relação entre as áreas, vamos falar sobre:

• O que é Engenharia de Dados e quais as suas vertentes?
• O que é Ciência de Dados e quais as suas vertentes?

Falamos também, neste bate-papo, sobre os seguintes temas:

• Profissões de dados;
• Dados como produto;
• Universo de Ciência de Dados;

Aprenda como funciona essa relação entre os times e como o mercado está se movendo para segmentações de alguns cargos emergentes de outros cargos.

Swirl AI = https://www.swirlai.com/
Aurimas Griciūnas = Linkedin

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno,  Mateus Oliveira e Antony Lucas entrevistaram Dipankar Mazumdar, atualmente como  Data Advocate na Dremio.

Dremio é uma das mais conhecidas tecnologias de Self-Service SQL Analytics de mercado, unificando a visão dos dados e utilizando a lingua franca de dados: o SQL.

Alinhado com o Apache Iceberg, o Dremio traz a proposta de ser um Open Data Lakehouse. 

Com Apache Iceberg, você tem os seguintes benefícios:

• Compactação de Dados;
• Time Travel;
• ACID;
• Hidden Partition;
• Desenvolvido para multi-plataforma.

Falamos também nesse bate-papo sobre os seguintes temas:

• Engenharia de Dados;
• Apache Iceberg;
• Dremio.

Aprenda mais sobre como o Dremio e Iceberg que juntos, podem prover mais uma opção de Data Lakehouse, principalmente para casos que vamos trabalhar com plataformas distintas de processamento e exploração de dados.

Dipankar Mazumdar = Linkedin

https://www.dremio.com/

https://iceberg.apache.org/

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Denny Lee & Mathew Powers, atualmente Developer Advocates na Databricks.

Delta Lake é um produto open-source, que nos permite aplicar o famoso Data Lakehouse {Data Lake + Data Warehouse}, desenvolvido pela empresa dos criadores do Apache Spark. Delta Lake resolve o problema do Apache Spark, armazenamento, processamento de dados no Data Lake de forma otimizada.

Com Delta Lake, você tem os seguintes benefícios:

• Formato de arquivo como se fosse uma tabela;
• Time Travel;
• ACID;
• Batch e Streaming Unificados.

Falamos também nesse bate-papo sobre os seguintes temas:

• Estado da arte dos dados;
• Delta Lake.

Aprenda mais sobre Delta Lake, como utilizar uma tecnologia para Data LakeHouse, junto com o time da databricks que mais impulsiona a comunidade com conteúdos, releases e eventos para ajudar este produto open-source.

Denny Lee - Linkedin
Mathew Powers - Linkedin

https://delta.io/

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno, Mateus Oliveira & Tiago Xavier entrevistaram Hudson Buzby, atualmente como Arquiteto de Soluções na Spot by NetApp.

SPOK ou Spark Operator on Kubernetes, é o deployment para Apache Spark que utiliza um Operator de Kubernetes para melhor gerenciar os drivers e executors usando Kubernetes como infraestrutra escalável.

 Com SPOK, você possui os seguintes benefícios:

• Melhor utilização de recursos escaláveis.
• Infraestrutura mais leve.
• Criação de serviços Serverless {Ocean} 

 
Falamos também nesse bate-papo sobre os seguintes temas:

• História
• Spark Operator on Kubernetes
• Ocean for Apache Spark
• Dicas das trincheiras

Nesta sessão você  aprenderá a utilizar melhor o Apache Spark no Kubernetes, e entender um pouco mais  porque os clientes da Spot embarcaram nesta jornada.

Spot
Hudson Buzby
Data Mechanics
Ocean for Apache Spark

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Tobias Mao, atualmente como Co-Founder e CTO na Tobiko Data.

SQLMesh é um framework desenvolvido em Python para automatizar tudo que se faça necessário para uma plataforma de dados escalável utilizando o conceito de DataOps.

Com SQLMesh, você possui os seguintes benefícios:

• Foco nos dados do negócio, usando DataOps como premissa principal. 
• Foco em escalabilidade sem se preocupar com seu Data Warehouse ou Engine de Query.

Nosso bate papo iremos falar sobre:

• Estado dos Dados {State of Data}
• SQLMesh
• DataOps
• Python e SQL para Engenharia de Dados
• Tobiko Data

Em todas as organizações independentemente do porte, vemos a necessidade de tornar o processo de uso dos dados mais escalável, sendo assim o SQLMesh é uma excelente opção para otimizar o processo de DataOps.

• Tobias Mao
• SQLMesh
• Tobiko Data

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram  Lucas Galindo Data Engineer/Software Engineer  & Gabs Ferreira Community Builder, ambos trabalhando na Alvin.

A solução Alvin cria e mantém automaticamente um conjunto de dados de gráfico  conectando em fontes de dados, como Snowflake, Redshift, dentre outros entregando uma solução da Data Lineage robusta.

O Alvin oferece os seguintes benefícios:

• Uma maneira automatizada de detectar e rastrear erros/bugs
  do pipeline, reduzindo o tempo de inatividade dos dados.
• Automatiza o teste de regressão, fornecendo um relatório detalhado do impacto downstream antes da implantação do código.
• Mapeia automaticamente os fluxos de dados dentro e entre os sistemas e mostra como eles são consumidos em toda a empresa.

Neste podcast, foi também argumentado assuntos como governança, democratização e qualidade dos dados.

• Conceitos de Linhagem de Dados e Governança de Dados
• Features Integrações disponíveis na Plataforma da Alvin.
• Diferenças de mercado (Nacional & Internacional).
• Comunidade de Dados.

Entenda porque precisamos de governança de dados e como a Alvin pode nos entregar um produto focado em Linhagem de Dados para agregar valor para aos seus cliente.

Alvin
Gabs Ferreira
Lucas Galindo

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Mateus Oliveira entrevistou Jakub Scholz, atualmente como Senior Principal Software Engineer na Red Hat.

Strimzi é um Kubernetes Operator para deployment de Apache Kafka, modular e versátil para ambientes de todos os portes, open-source.

Com Strimzi, você tem os seguintes benefícios:

• Apache Kafka no Kubernetes
• Elasticidade do seu deployment
• Extensibilidade do seu produto com Apache Kafka

Falamos também nesse bate-papo sobre os seguintes temas:

• Apache Kafka
• Novas features do Strimzi
• Comunidade

Aprenda como utilizar o Strimzi, Apache Kafka no Kubernetes, com um dos criados e um dos profissionais que mais apoia a comunidade e o projeto open-source.

Jakob Scholz = Linkedin

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Xiran Waibel, atualmente engenheira de dados Sênior na Netflix.

A Engenharia de Dados é um das profissões que estão em alta no mercado de trabalho, mas entender como funciona é algo que até hoje as empresas tem dificuldades.

Engenharia de Dados engloba:

• Entendimento de novas tecnologias orientadas a Big Data
• Trabalhar com soluções de dados que resolvem problemas de negócio
• Construções de pipelines de dados resilientes e escaláveis

Falamos também nesse bate-papo sobre os seguintes temas:

• Engenharia de Dados na Netflix;
• Dicas de Engenharia de Dados;
• Soft Skills;
• Comunidade.

Aprenda um pouco como a Netflix trabalha utilizando dados como um dos produtos mais valiosos da empresa, além de uma cultura interna forte e funcional.

Xiran Waibel
Medium 

 Luan Moreno - Linkedin

https://engenhariadadosacademy.com.br/

Engenharia de Dados Academy - Instagram