☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering.

Les ressources

👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/

➕ rateIndex : https://rateindex.streamlit.app/

➕ Newsletter : https://vaneec.tech/

➕ Site : https://vvaneecloo.ghost.io/

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Newsletter : https://datayoka.notion.site/1355071b...

➕ Blog : https://datayoka.com/blog

Liens vers les articles

1️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-performance-working-at-scale-trade-offs-1-3/

2️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-why-dbt-your-orchestration-layer-one-app-not-two-2-3/

3️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-lets-build-a-production-ready-platform-with-dbt-airflow-3-3/

Chapitres

00:00 Introduction et présentation de l’invité

01:13 Comprendre DBT : définition et enjeux

03:22 Défis et pièges dans l’utilisation de DBT

05:37 Passage à l’échelle de DBT : aspects techniques et organisationnels

09:38 Intégration des modèles incrémentaux dans DBT

11:54 Le rôle de la gouvernance en data engineering

15:34 Intégration de DBT avec les outils d’orchestration

19:39 L’intérêt des monorepos

21:53 Simplifier l’orchestration des données avec Airflow et DBT

23:55 Gouvernance et visibilité dans la gestion des données

25:20 Les avantages du micro-batching

27:09 Présentation d’Elementary pour l’observabilité

29:23 Quand utiliser un traitement complet ou incrémental

31:14 Projets et outils futurs en data engineering

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières avancées en ingénierie des données et en intelligence artificielle. Ils discutent des nouvelles fonctionnalités d'AWS S3 pour le stockage de vecteurs, de l'IDE Antigravity de Google, et de l'intégration d'Excel avec Databricks. Les hôtes partagent leurs réflexions sur l'impact de ces technologies sur le secteur et les défis potentiels qu'elles posent.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d

➕ Blog de Bertrand : https://datayoka.com/blog

00:00:00 Introduction et présentation

00:03:00 AWS S3 et le stockage de vecteurs

00:09:00 Google Antigravity et l'expérience IA

00:15:00 Databricks et l'Intégration d'Excel

00:21:00 Conclusion et perspectives

☝️ Dans cet épisode, Bertrand et Axel discutent de l'utilisation de Polars chez Decathlon, de la comparaison entre Polars et Spark, de Lance comme nouveau format de données, et de l'impact de l'IA sur l'observabilité des données avec Monte Carlo. Ils explorent comment ces outils et technologies peuvent optimiser le traitement des données et améliorer l'efficacité des équipes data.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d

➕ Blog de Bertrand : https://datayoka.com/blog

00:00 Introduction et présentation des sujets

00:58 Utilisation de Polars chez Décathlon

08:48 Comparaison entre Polars et Spark

16:33 Lance : un nouveau format de données

27:54 Monte Carlo et l'IA pour l'observabilité

☝️ Dans cet épisode, Bertrand et Axel explorent les nouveautés de Python 3.14, notamment le T-String, les améliorations de débogage, et les implications du GIL sur les performances. Ils discutent également des concepts de Data Redaction et Data Masking, ainsi que des meilleures pratiques pour la gestion des données sensibles.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

Liens vers les articles :

👉 Les nouveautés de Python 3.14 : https://www.docstring.fr/blog/les-nouveautes-de-python-314/

👉 Data redaction vs. data masking: What's the difference? : https://www.rudderstack.com/blog/data-redaction-vs-data-masking

00:00 Introduction au Data Engineering et Python 3.14

02:00 Les nouveautés de Python 3.14 : T-String et F-String

06:13 Améliorations de débogage et annotations différées

09:06 Le GIL et ses implications sur les performances

10:57 Just-In-Time et multi-interpréteur dans Python

16:09 Nouvelles fonctionnalités de compression et gestion des erreurs

18:37 Data Redaction vs Data Masking : Concepts et applications

27:52 Conclusion et réflexions sur la conformité des données

☝️ Dans cet épisode, Bertrand Fabre, Axel Mauroy et leur invité Baptiste Vlodarczyk (AI Engineer chez SFEIR, en mission chez L’Oréal) discutent de plusieurs sujets liés à l’intelligence artificielle et à l’ingénierie des données.Baptiste présente un article de Google sur la sécurisation des serveurs MCP (Model Context Protocol), standard proposé par Anthropic pour connecter les modèles de langage à des outils via des interfaces compréhensibles par les LLM. Ils abordent les risques de sécurité (exposition de données, vol de tokens, détournement de session) et la solution proposée par Google : un proxy centralisé avec des couches de contrôle telles que Model Armor, IAM et Secret Manager.La conversation se poursuit sur les différences entre API et SDK, les standards ouverts (notamment l’OpenAI SDK), et l’importance de ces outils pour unifier l’écosystème IA.Enfin, les intervenants commentent l’article de Daniel Beach sur le rôle du YAML Engineer, en débattant de la surutilisation du YAML et de Terraform dans la data et des limites en termes de flexibilité et de créativité.L’épisode se conclut sur une réflexion sur la place du code, la lisibilité, et la bonne répartition entre logique applicative et infrastructure.

🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 Axel sur LinkedIn

👉 Bertrand sur LinkedIn

➕ Newsletter de Bertrand

➕ Blog de Bertrand

Liens vers les articles :

👉 Le MCP et sa sécurité

👉 SDK vs API

👉 Le YAML Engineer

Dans cet épisode, Bertrand Fabre explore les différences entre SQLMesh et dbt, deux outils de transformation de données. Il met en avant les fonctionnalités de SQLMesh, notamment son intégration de Python, son versioning et son orchestration intégrée. La discussion aborde également les tests et CI/CD, ainsi que les environnements de développement. Bertrand conclut en soulignant l'importance de SQLMesh dans le paysage des outils de transformation de données.

👉 ⁠⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠⁠

Article : Les différences entre SQLMesh et dbt

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les nuances de l'architecture médaillon, un concept popularisé par Databricks. Ils discutent des couches de données bronze, silver et gold, et remettent en question la nécessité de certaines de ces couches. L'épisode aborde également l'impact du marketing sur les nouvelles technologies et l'importance de rester pragmatique dans l'adoption de nouvelles architectures. Enfin, ils partagent des nouvelles du secteur, notamment le rachat de Tobiko Data par Fivetran et l'introduction par Google Cloud de son SDK avec Rust.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠⁠

Articles👉 Nouvelles du Secteur - Rachat de Tobico Data 👉 Google Cloud et le SDK Rust👉 Impact du Marketing sur les Technologies👉 Décryptage de l'Architecture Médaillon

Dans cet épisode, Bertrand Fabre explore le concept de data virtualisation, un mécanisme qui permet aux organisations de partager et d'exploiter des données sans les déplacer. Il discute des avantages, des défis et des implications environnementales de cette approche, tout en mettant en lumière des exemples concrets d'application et les perspectives d'avenir dans le domaine de la gestion des données.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Data Virtualisation

Dans cet épisode, Bertrand Fabre explore un article sur le protocole MCP de Snowflake, qui permet d'exécuter des requêtes SQL en langage naturel. Il discute des avantages de l'automatisation des analyses de données, de l'optimisation des coûts et des performances, ainsi que des défis liés à l'utilisation de l'IA dans la Data Engineering. L'épisode aborde également des cas d'utilisation concrets et les implications de cette technologie pour les équipes de données.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :Snowflake MCP

Dans cet épisode de "Lecture à chaud", Bertrand Fabre explore les nouveautés des CTEs récursives sur Databricks, en les comparant avec d'autres plateformes comme BigQuery. Il partage ses réflexions en direct sur l'article, en expliquant comment ce type de CTE permet de naviguer dans des hiérarchies de données. Bertrand illustre le concept avec des exemples pratiques, notamment la construction d'un vélo à partir de sa nomenclature.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

CTEs Récursives dans Databricks