Data Science Deep Dive

#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme


Listen Later

Daten(banken) versionieren – klingt maximal unsexy, spart aber Stress im Deployment. Warum ohne Schema-Versionierung selbst kleine Änderungen große Probleme verursachen und was ORMs, Flyway oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten historisieren ist ein Must-have für Compliance, Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben Tipps, wie ihr eure Datenprodukte systematisch und effizient im Griff behaltet.


**Zusammenfassung**

  • Schema-Versionierung ist essenziell, um Änderungen an Datenbanken nachvollziehbar und reibungslos ins Deployment einzubinden
  • Fehlende Versionierung kann zu kaputten Prozessen führen, wenn Schema-Änderungen nicht dokumentiert und automatisiert umgesetzt werden
  • Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei, Änderungen an Datenbankschemata strukturiert zu verwalten
  • Historisierung von Daten ist für Compliance, Reproduzierbarkeit und Modellierung entscheidend  
  • Ansätze zur Datenhistorisierung: Append-only-Strategien vs. System-Versionierung
  • Herausforderungen: Performance-Engpässe, hohe Pflegekosten und Kompatibilitätsprobleme je nach Datenbank und Migrationstool  
  • Best Practices: Versionierung systematisch einführen, Automatisierung priorisieren und sicherstellen, dass Downgrades funktionieren.  

  • **Links**

    • #58: Arm, aber sexy: Data Warehousing at Scale ohne Budget https://www.podbean.com/ew/pb-gywt4-1719aef
    • #52: In-process Datenbanken und das Ende von Big Data https://www.podbean.com/ew/pb-tekgi-16896e4
    • #36: Der Data Mesh Hype und was davon bleibt https://www.podbean.com/ew/pb-7er7v-15080c1
    • Flyway: https://www.red-gate.com/products/flyway/
    • Liquibase: https://www.liquibase.com/
    • Alembic (für SQLAlchemy): https://alembic.sqlalchemy.org/en/latest/
    • MariaDB: https://mariadb.org/
    • ClickHouse: https://clickhouse.com/
    • Fragen, Feedback und Themenwünsche gern an [email protected]
    • ...more
      View all episodesView all episodes
      Download on the App Store

      Data Science Deep DiveBy INWT Statistics GmbH


      More shows like Data Science Deep Dive

      View all
      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      226 Listeners

      Jung & Naiv by Tilo Jung

      Jung & Naiv

      47 Listeners

      Hotel Matze by Matze Hielscher & Mit Vergnügen

      Hotel Matze

      187 Listeners

      Spektrum-Podcast by detektor.fm – Das Podcast-Radio

      Spektrum-Podcast

      22 Listeners

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft by Sebastian Matthes, Handelsblatt

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft

      18 Listeners

      Baywatch Berlin by Klaas Heufer-Umlauf, Thomas Schmitt, Jakob Lundt & Studio Bummens

      Baywatch Berlin

      82 Listeners

      Reif ist live – Fußball Talk von BILD by BILD

      Reif ist live – Fußball Talk von BILD

      34 Listeners

      F.A.Z. Künstliche Intelligenz by Frankfurter Allgemeine Zeitung

      F.A.Z. Künstliche Intelligenz

      0 Listeners

      LANZ & PRECHT by ZDF, Markus Lanz & Richard David Precht

      LANZ & PRECHT

      323 Listeners

      KI verstehen by Deutschlandfunk

      KI verstehen

      9 Listeners

      Stammplatz – Fußball News täglich by BILD

      Stammplatz – Fußball News täglich

      39 Listeners

      Copa TS by Tommi Schmitt & Studio Bummens

      Copa TS

      17 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      20 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      3 Listeners

      Geschichten aus der Mathematik by detektor.fm – Das Podcast-Radio

      Geschichten aus der Mathematik

      1 Listeners