Data Science Deep Dive

#62: Kafka und Datenströme erklärt – und wie das jetzt auch in R läuft

Listen Later

Kafka, aber in R? Das geht jetzt! In dieser Folge klären wir, warum Kafka für schnelle Datenströme unverzichtbar ist und warum unser neuer R-Kafka-Client ein Gamechanger ist. Was ist Kafka, wofür braucht man es (oder auch nicht), und wie funktioniert unser Paket? Hört rein und probiert es aus!

 

Zusammenfassung

  • Apache Kafka als schnelles, ausfallsicheres System für Event-Streaming und Datenströme
  • Einsatzbereiche: Überall wo Daten fortlaufend und in Echtzeit verarbeitet werden
  • Unser R Kafka Client ermöglicht nun die direkte Nutzung von Kafka in R, ohne Umweg über Python
  • Features: Consumer/Producer-Modelle, asynchrone Datenverarbeitung, hohe Performance und Ausfallsicherheit
  • Ausblick: Veröffentlichung auf CRAN, Admin-Client für Cluster-Management, Blogartikel mit Beispiel (siehe unten in den Links)

    • Links

    • Apache Kafka https://kafka.apache.org/
    • Confluent https://www.confluent.io/
    • Rcpp (CRAN) https://cran.r-project.org/web/packages/Rcpp/index.html
    • reticulate (CRAN) https://cran.r-project.org/web/packages/reticulate/index.html
    • R Paket kafka auf GitHub https://github.com/INWTlab/r-kafka
    • Blogartikel zum R Paket kafka https://www.inwt-statistics.de/blog/r-paket-kafka
    • nats https://nats.io/
    • Azure EventHub https://azure.microsoft.com/de-de/products/event-hubs
    • Redpanda https://www.redpanda.com/
    • Fragen, Feedback und Themenwünsche gern an [email protected]
      • ...more
      View all episodesView all episodes
      Download on the App Store
      Data Science Deep DiveBy INWT Statistics GmbH

      More shows like Data Science Deep Dive

      View all
      Das Wissen | SWR by SWR

      Das Wissen | SWR

      118 Listeners

      c’t uplink - der IT-Podcast aus Nerdistan by c’t Magazin

      c’t uplink - der IT-Podcast aus Nerdistan

      5 Listeners

      Lage der Nation - der Politik-Podcast aus Berlin by Philip Banse & Ulf Buermeyer

      Lage der Nation - der Politik-Podcast aus Berlin

      238 Listeners

      Was jetzt? by ZEIT ONLINE

      Was jetzt?

      129 Listeners

      Psychologie to go! by Dipl. Psych. Franca Cerutti

      Psychologie to go!

      56 Listeners

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen by Teresa Stiens, Christian Rickens und die Handelsblatt Redaktion, Handelsblatt

      Handelsblatt Morning Briefing - News aus Wirtschaft, Politik und Finanzen

      49 Listeners

      Talk ohne Gast by Moritz Neumeier und Till Reiners | Fritz (rbb) & rbb media

      Talk ohne Gast

      17 Listeners

      Kampf der Unternehmen by Wondery

      Kampf der Unternehmen

      17 Listeners

      Finanzfluss Podcast by Finanzfluss

      Finanzfluss Podcast

      29 Listeners

      LANZ & PRECHT by ZDF, Markus Lanz & Richard David Precht

      LANZ & PRECHT

      302 Listeners

      KI-Update – ein heise-Podcast by Isabel Grünewald, heise online

      KI-Update – ein heise-Podcast

      5 Listeners

      KI verstehen by Deutschlandfunk

      KI verstehen

      7 Listeners

      Der KI-Podcast by ARD

      Der KI-Podcast

      12 Listeners

      Passwort - der Podcast von heise security by Dr. Christopher Kunz, Sylvester Tremmel

      Passwort - der Podcast von heise security

      3 Listeners

      Fest & Flauschig by Jan Böhmermann & Olli Schulz

      Fest & Flauschig

      17 Listeners