Data Science Deep Dive

#82: Monitoring in MLOps: Tools, Tipps und Best Practices aus der Praxis

Listen Later

Wie behält man eigentlich den Überblick, wenn Data Science Services in Produktion laufen? In dieser Folge sprechen Sebastian und Michelle darüber, wie man einen sinnvollen Monitoring-Stack aufsetzt – von Logs und Metriken bis hin zu Alerts und Dashboards. Wir schauen uns Tools wie Prometheus, Grafana, Loki und ELK an und klären, worin sie sich unterscheiden. Außerdem geht's um Best Practices fürs Alerting, sinnvolle Feedbackschleifen und die Frage, wann und wie man Monitoring in den Entwicklungsprozess integriert.


**Zusammenfassung**

  • Ziel von Monitoring: schnelle Feedbackschleifen zwischen Entwicklung und Produktion
  • Unterschied zwischen CI/CD und Monitoring, letztere liefert Feedback nach dem Deployment
  • Planung des Monitorings idealerweise schon bei der Architektur berücksichtigen
  • Überblick über Monitoring-Ziele: Services, Infrastruktur, Daten, Modelle
  • Vergleich Cloud vs. Self-Hosted Monitoring (Aufwand, Flexibilität, Kosten)
  • Wichtige Tools: Prometheus/Grafana/Loki, ELK-Stack, Nagios/Icinga/Zabbix, Great Expectations, Redash/Metabase
  • Best Practices fürs Alerting: sinnvolle Schwellenwerte, Vermeidung von "Alert Fatigue", klare Zuständigkeiten
  • Fazit: Monitoring braucht klare Ziele, sinnvolle Alerts und gute Visualisierung, um echten Mehrwert zu liefern

    •  

    **Links**

    • #23: Unsexy aber wichtig: Tests und Monitoring https://www.podbean.com/ew/pb-vxp58-13f311a
    • Prometheus – Open-Source Monitoring-System: https://prometheus.io
    • Grafana – Visualisierung von Metriken und Logs: https://grafana.com
    • Loki – Log-Aggregation für Grafana: https://grafana.com/oss/loki/
    • ELK Stack (Elasticsearch, Logstash, Kibana): https://www.elastic.co/elastic-stack
    • Great Expectations – Datenvalidierung und Monitoring: https://greatexpectations.io
    • Redash – SQL-basierte Dashboards und Visualisierungen: https://redash.io
    • Metabase – Self-Service BI-Tool: https://www.metabase.com
    • Nagios – klassisches System-Monitoring-Tool: https://www.nagios.org
    • Icinga – moderner Nagios-Fork: https://icinga.com
    • Zabbix – Monitoring-Plattform für Netzwerke & Server: https://www.zabbix.com
    • Prometheus Alertmanager: https://prometheus.io/docs/alerting/latest/alertmanager/
    • PagerDuty – Incident Response Management: https://www.pagerduty.com

      •  

      📬 Fragen, Feedback oder Themenwünsche?

      Schreibt uns gern an: [email protected]

      ...more
      View all episodesView all episodes
      Download on the App Store
      Data Science Deep DiveBy INWT Statistics GmbH

      More shows like Data Science Deep Dive

      View all
      tagesschau: Die 20 Uhr Nachrichten (Audio) by tagesschau

      tagesschau: Die 20 Uhr Nachrichten (Audio)

      113 Listeners

      Geschichten aus der Geschichte by Richard Hemmer und Daniel Meßner

      Geschichten aus der Geschichte

      193 Listeners

      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      228 Listeners

      Forschung aktuell by Deutschlandfunk

      Forschung aktuell

      19 Listeners

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen by Teresa Stiens, Christian Rickens und die Handelsblatt Redaktion, Handelsblatt

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen

      43 Listeners

      Verbrechen by DIE ZEIT

      Verbrechen

      279 Listeners

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft by Larissa Holzki, Handelsblatt

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft

      16 Listeners

      Die Lage by DER SPIEGEL

      Die Lage

      49 Listeners

      Baywatch Berlin by Klaas Heufer-Umlauf, Thomas Schmitt, Jakob Lundt & Studio Bummens

      Baywatch Berlin

      82 Listeners

      Doppelgänger by Philipp Glöckler, Philipp Klöckner

      Doppelgänger

      11 Listeners

      Quarks Science Cops by Quarks

      Quarks Science Cops

      17 Listeners

      bto – der Ökonomie-Podcast von Dr. Daniel Stelter by Dr. Daniel Stelter

      bto – der Ökonomie-Podcast von Dr. Daniel Stelter

      24 Listeners

      Was bisher geschah - Geschichtspodcast by Joachim Telgenbüscher, Nils Minkmar

      Was bisher geschah - Geschichtspodcast

      52 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      14 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      2 Listeners