Data Science Deep Dive

#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme


Listen Later

Daten(banken) versionieren – klingt maximal unsexy, spart aber Stress im Deployment. Warum ohne Schema-Versionierung selbst kleine Änderungen große Probleme verursachen und was ORMs, Flyway oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten historisieren ist ein Must-have für Compliance, Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben Tipps, wie ihr eure Datenprodukte systematisch und effizient im Griff behaltet.


**Zusammenfassung**

  • Schema-Versionierung ist essenziell, um Änderungen an Datenbanken nachvollziehbar und reibungslos ins Deployment einzubinden
  • Fehlende Versionierung kann zu kaputten Prozessen führen, wenn Schema-Änderungen nicht dokumentiert und automatisiert umgesetzt werden
  • Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei, Änderungen an Datenbankschemata strukturiert zu verwalten
  • Historisierung von Daten ist für Compliance, Reproduzierbarkeit und Modellierung entscheidend  
  • Ansätze zur Datenhistorisierung: Append-only-Strategien vs. System-Versionierung
  • Herausforderungen: Performance-Engpässe, hohe Pflegekosten und Kompatibilitätsprobleme je nach Datenbank und Migrationstool  
  • Best Practices: Versionierung systematisch einführen, Automatisierung priorisieren und sicherstellen, dass Downgrades funktionieren.  

  • **Links**

    • #58: Arm, aber sexy: Data Warehousing at Scale ohne Budget https://www.podbean.com/ew/pb-gywt4-1719aef
    • #52: In-process Datenbanken und das Ende von Big Data https://www.podbean.com/ew/pb-tekgi-16896e4
    • #36: Der Data Mesh Hype und was davon bleibt https://www.podbean.com/ew/pb-7er7v-15080c1
    • Flyway: https://www.red-gate.com/products/flyway/
    • Liquibase: https://www.liquibase.com/
    • Alembic (für SQLAlchemy): https://alembic.sqlalchemy.org/en/latest/
    • MariaDB: https://mariadb.org/
    • ClickHouse: https://clickhouse.com/
    • Fragen, Feedback und Themenwünsche gern an [email protected]
    • ...more
      View all episodesView all episodes
      Download on the App Store

      Data Science Deep DiveBy INWT Statistics GmbH


      More shows like Data Science Deep Dive

      View all
      tagesschau: Die 20 Uhr Nachrichten (Audio) by tagesschau

      tagesschau: Die 20 Uhr Nachrichten (Audio)

      117 Listeners

      Geschichten aus der Geschichte by Richard Hemmer und Daniel Meßner

      Geschichten aus der Geschichte

      197 Listeners

      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      210 Listeners

      Forschung aktuell by Deutschlandfunk

      Forschung aktuell

      21 Listeners

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen by Teresa Stiens, Christian Rickens und die Handelsblatt Redaktion, Handelsblatt

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen

      48 Listeners

      Verbrechen by DIE ZEIT

      Verbrechen

      280 Listeners

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft by Larissa Holzki, Handelsblatt

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft

      14 Listeners

      Die Lage by DER SPIEGEL

      Die Lage

      52 Listeners

      Baywatch Berlin by Klaas Heufer-Umlauf, Thomas Schmitt, Jakob Lundt & Studio Bummens

      Baywatch Berlin

      77 Listeners

      Doppelgänger by Philipp Glöckler, Philipp Klöckner

      Doppelgänger

      13 Listeners

      Quarks Science Cops by Quarks

      Quarks Science Cops

      19 Listeners

      bto – der Ökonomie-Podcast von Dr. Daniel Stelter by Dr. Daniel Stelter

      bto – der Ökonomie-Podcast von Dr. Daniel Stelter

      25 Listeners

      Was bisher geschah - Geschichtspodcast by Joachim Telgenbüscher, Nils Minkmar

      Was bisher geschah - Geschichtspodcast

      45 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      17 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      4 Listeners