Automatiser la lecture de JSON avec Cortex + dbt sur Snowflake
Dans cet épisode de DataWatch, on plonge dans un use case ultra concret de Data Engineering moderne : comment automatiser le flatten de JSON complexes dans Snowflake grâce à Cortex Code et dbt.
Avec Ferhat Aouaghzene, consultant spécialisé Snowflake & dbt, on décortique une problématique que beaucoup d’équipes data rencontrent aujourd’hui : gérer des données semi-structurées massives issues d’API, avec des schémas imbriqués, des tableaux dans des tableaux et des pipelines qui deviennent vite ingérables à maintenir à la main.
Plutôt que d’utiliser un LLM externe, Ferhat montre comment exploiter Cortex Code directement dans Snowflake pour :
→ Détecter automatiquement les colonnes VARIANT
→ Générer les flatten SQL
→ Créer toute l’arborescence dbt
→ Générer les modèles staging / intermediate / marts
→ Produire les YAML et les tests dbt
→ Compiler et exécuter le projet automatiquement
Mais l’épisode va beaucoup plus loin qu’une simple démo technique.
On parle aussi :
• De l’avenir du métier de Data Engineer à l’ère des agents IA
• Des limites des LLM dans des environnements critiques
• D’idempotence et de qualité logicielle
• De gouvernance data
• De sécurité et de contrôle d’accès dans Snowflake
• Et surtout de la bonne manière d’utiliser l’IA sans tomber dans le “vibe coding”
Un épisode très concret pour comprendre comment l’IA peut réellement augmenter les équipes data quand elle est correctement cadrée.
👇 Dites-nous en commentaire :
Est-ce que vous utilisez déjà des agents IA dans vos pipelines data ?
Les ressources
👉 Ferhat sur Linkedin : https://www.linkedin.com/in/ferhat-aouaghzene-23a895217/
➕ Medium : https://medium.com/@faouaghzene
➕ Github : https://github.com/FerAou/Snow_tips/tree/main/json_to_dbt
👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/
👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/
➕ Insights : https://datayoka.com/insights
➕ Newsletter : https://datayoka.com/newsletter
➕ Formations : https://datayoka.com/formations
➕ Coaching individuel SQL/BigQuery/FinOps : https://datayoka.com/coaching
Chapitres
00:00 Introduction & présentation de Ferhat
02:17 Le problème des JSON complexes dans Snowflake
06:13 Démo du skill Cortex Code pour générer un projet dbt
14:17 Snowflake + dbt Core + Cortex : comment tout s’intègre
18:04 Idempotence, automatisation et qualité des pipelines IA
31:55 L’avenir du métier de Data Engineer avec les agents IA
#dataengineering #snowflake #dbt #cortex #genai #llm #datawatch
