Data Science Deep Dive

#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme


Listen Later

Daten(banken) versionieren – klingt maximal unsexy, spart aber Stress im Deployment. Warum ohne Schema-Versionierung selbst kleine Änderungen große Probleme verursachen und was ORMs, Flyway oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten historisieren ist ein Must-have für Compliance, Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben Tipps, wie ihr eure Datenprodukte systematisch und effizient im Griff behaltet.


**Zusammenfassung**

  • Schema-Versionierung ist essenziell, um Änderungen an Datenbanken nachvollziehbar und reibungslos ins Deployment einzubinden
  • Fehlende Versionierung kann zu kaputten Prozessen führen, wenn Schema-Änderungen nicht dokumentiert und automatisiert umgesetzt werden
  • Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei, Änderungen an Datenbankschemata strukturiert zu verwalten
  • Historisierung von Daten ist für Compliance, Reproduzierbarkeit und Modellierung entscheidend  
  • Ansätze zur Datenhistorisierung: Append-only-Strategien vs. System-Versionierung
  • Herausforderungen: Performance-Engpässe, hohe Pflegekosten und Kompatibilitätsprobleme je nach Datenbank und Migrationstool  
  • Best Practices: Versionierung systematisch einführen, Automatisierung priorisieren und sicherstellen, dass Downgrades funktionieren.  

  • **Links**

    • #58: Arm, aber sexy: Data Warehousing at Scale ohne Budget https://www.podbean.com/ew/pb-gywt4-1719aef
    • #52: In-process Datenbanken und das Ende von Big Data https://www.podbean.com/ew/pb-tekgi-16896e4
    • #36: Der Data Mesh Hype und was davon bleibt https://www.podbean.com/ew/pb-7er7v-15080c1
    • Flyway: https://www.red-gate.com/products/flyway/
    • Liquibase: https://www.liquibase.com/
    • Alembic (für SQLAlchemy): https://alembic.sqlalchemy.org/en/latest/
    • MariaDB: https://mariadb.org/
    • ClickHouse: https://clickhouse.com/
    • Fragen, Feedback und Themenwünsche gern an [email protected]
    • ...more
      View all episodesView all episodes
      Download on the App Store

      Data Science Deep DiveBy INWT Statistics GmbH


      More shows like Data Science Deep Dive

      View all
      Das Wissen | SWR by SWR

      Das Wissen | SWR

      118 Listeners

      c’t uplink - der IT-Podcast aus Nerdistan by c’t Magazin

      c’t uplink - der IT-Podcast aus Nerdistan

      5 Listeners

      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      238 Listeners

      Was jetzt? by ZEIT ONLINE

      Was jetzt?

      129 Listeners

      Psychologie to go! by Dipl. Psych. Franca Cerutti

      Psychologie to go!

      56 Listeners

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen by Teresa Stiens, Christian Rickens und die Handelsblatt Redaktion, Handelsblatt

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen

      49 Listeners

      Talk ohne Gast by Moritz Neumeier und Till Reiners | Fritz (rbb) & rbb media

      Talk ohne Gast

      17 Listeners

      Kampf der Unternehmen by Wondery

      Kampf der Unternehmen

      17 Listeners

      Finanzfluss Podcast by Finanzfluss

      Finanzfluss Podcast

      29 Listeners

      LANZ & PRECHT by ZDF, Markus Lanz & Richard David Precht

      LANZ & PRECHT

      302 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      5 Listeners

      KI verstehen by Deutschlandfunk

      KI verstehen

      7 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      12 Listeners

      Passwort - der Podcast von heise security by Dr. Christopher Kunz, Sylvester Tremmel

      Passwort - der Podcast von heise security

      3 Listeners

      Fest & Flauschig by Jan Böhmermann & Olli Schulz

      Fest & Flauschig

      17 Listeners