Data Science Deep Dive

#82: Monitoring in MLOps: Tools, Tipps und Best Practices aus der Praxis

Listen Later

Wie behält man eigentlich den Überblick, wenn Data Science Services in Produktion laufen? In dieser Folge sprechen Sebastian und Michelle darüber, wie man einen sinnvollen Monitoring-Stack aufsetzt – von Logs und Metriken bis hin zu Alerts und Dashboards. Wir schauen uns Tools wie Prometheus, Grafana, Loki und ELK an und klären, worin sie sich unterscheiden. Außerdem geht's um Best Practices fürs Alerting, sinnvolle Feedbackschleifen und die Frage, wann und wie man Monitoring in den Entwicklungsprozess integriert.


**Zusammenfassung**

  • Ziel von Monitoring: schnelle Feedbackschleifen zwischen Entwicklung und Produktion
  • Unterschied zwischen CI/CD und Monitoring, letztere liefert Feedback nach dem Deployment
  • Planung des Monitorings idealerweise schon bei der Architektur berücksichtigen
  • Überblick über Monitoring-Ziele: Services, Infrastruktur, Daten, Modelle
  • Vergleich Cloud vs. Self-Hosted Monitoring (Aufwand, Flexibilität, Kosten)
  • Wichtige Tools: Prometheus/Grafana/Loki, ELK-Stack, Nagios/Icinga/Zabbix, Great Expectations, Redash/Metabase
  • Best Practices fürs Alerting: sinnvolle Schwellenwerte, Vermeidung von "Alert Fatigue", klare Zuständigkeiten
  • Fazit: Monitoring braucht klare Ziele, sinnvolle Alerts und gute Visualisierung, um echten Mehrwert zu liefern

    •  

    **Links**

    • #23: Unsexy aber wichtig: Tests und Monitoring https://www.podbean.com/ew/pb-vxp58-13f311a
    • Prometheus – Open-Source Monitoring-System: https://prometheus.io
    • Grafana – Visualisierung von Metriken und Logs: https://grafana.com
    • Loki – Log-Aggregation für Grafana: https://grafana.com/oss/loki/
    • ELK Stack (Elasticsearch, Logstash, Kibana): https://www.elastic.co/elastic-stack
    • Great Expectations – Datenvalidierung und Monitoring: https://greatexpectations.io
    • Redash – SQL-basierte Dashboards und Visualisierungen: https://redash.io
    • Metabase – Self-Service BI-Tool: https://www.metabase.com
    • Nagios – klassisches System-Monitoring-Tool: https://www.nagios.org
    • Icinga – moderner Nagios-Fork: https://icinga.com
    • Zabbix – Monitoring-Plattform für Netzwerke & Server: https://www.zabbix.com
    • Prometheus Alertmanager: https://prometheus.io/docs/alerting/latest/alertmanager/
    • PagerDuty – Incident Response Management: https://www.pagerduty.com

      •  

      📬 Fragen, Feedback oder Themenwünsche?

      Schreibt uns gern an: [email protected]

      ...more
      View all episodesView all episodes
      Download on the App Store
      Data Science Deep DiveBy INWT Statistics GmbH

      More shows like Data Science Deep Dive

      View all
      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      226 Listeners

      Jung & Naiv by Tilo Jung

      Jung & Naiv

      47 Listeners

      Hotel Matze by Matze Hielscher & Mit Vergnügen

      Hotel Matze

      187 Listeners

      Spektrum-Podcast by detektor.fm – Das Podcast-Radio

      Spektrum-Podcast

      22 Listeners

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft by Sebastian Matthes, Handelsblatt

      Handelsblatt Disrupt - Der Podcast über die Zukunft der Wirtschaft

      18 Listeners

      Baywatch Berlin by Klaas Heufer-Umlauf, Thomas Schmitt, Jakob Lundt & Studio Bummens

      Baywatch Berlin

      82 Listeners

      Reif ist live – Fußball Talk von BILD by BILD

      Reif ist live – Fußball Talk von BILD

      34 Listeners

      F.A.Z. Künstliche Intelligenz by Frankfurter Allgemeine Zeitung

      F.A.Z. Künstliche Intelligenz

      0 Listeners

      LANZ & PRECHT by ZDF, Markus Lanz & Richard David Precht

      LANZ & PRECHT

      323 Listeners

      KI verstehen by Deutschlandfunk

      KI verstehen

      9 Listeners

      Stammplatz – Fußball News täglich by BILD

      Stammplatz – Fußball News täglich

      39 Listeners

      Copa TS by Tommi Schmitt & Studio Bummens

      Copa TS

      17 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      20 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      3 Listeners

      Geschichten aus der Mathematik by detektor.fm – Das Podcast-Radio

      Geschichten aus der Mathematik

      1 Listeners