Die Data Engineering Reise

Die Data Engineering Reise

By Der Data Engineering PodcasterTechnology
Download on the App Store

All Die Data Engineering Reise episodes

  • Python-Packages und Librarys für Data Engineering
    https://larsmuellensiefen.substack.com/ - Data Engineering ist ein wichtiger Bestandteil des Prozesses der Datenverarbeitung, der sich mit der Gewinnung, Vorbereitung, Verarbeitung und Verwaltung von Daten beschäftigt. Es gibt viele Python-Pakete, die für die Unterstützung von Data-Aufgaben entwickelt wurden und die es ermöglichen, Daten effektiv zu verarbeiten und zu analysieren. Einige dieser wichtigen Pakete sind Pandas, NumPy, Scikit-learn, TensorFlow, PySpark, Airflow, Dask und SQLAlchemy.
    6 min
  • Python Modules vs Packages
    Zusammenfassend ist ein Paket eine Sammlung von Modulen, die in einer Verzeichnisstruktur organisiert sind, während ein Modul eine einzelne Datei mit Python-Definitionen und Anweisungen ist.
    5 min
  • Hyperscaler - wofür steht dieser Begriff im Kentext der "Cloud"?
    Der Begriff "Hyperscaler" beschreibt Unternehmen, wie AWS, M. Azure und GCP... die extreme Skalierbarkeit und Flexibilität der Cloud-Computing-Infrastrukturen ermöglichen. Sie haben die Fähigkeit, ihre Ressourcen schnell und in großem Umfang bereitzustellen, um die Anforderungen von Unternehmen und Entwicklern zu erfüllen.
    5 min
  • 5 Python Beispielpackages für Data Engineers
    https://larsmuellensiefen.substack.com/ - Es ist eine der meistgenutzten Sprachen in der Branche und bietet eine Vielzahl von leistungsstarken Tools und Bibliotheken, um Daten effizient zu sammeln, zu transformieren und zu analysieren. Mit Pandas und NumPy kann man mühelos große Datenmengen manipulieren und analysieren. Kurz gesagt, Python ist ein unverzichtbares Werkzeug für jeden Data Engineer.
    9 min
  • Container vs Virtual Machines
    https://larsmuellensiefen.substack.com/ - Ein Container ist eine Art von Software, die es ermöglicht, Anwendungen und ihre Abhängigkeiten zusammenzufassen und in einer einzigen, tragbaren und ausführbaren Einheit bereitzustellen. Im Gegensatz dazu ist eine virtuelle Maschine eine Software-Emulation eines physischen Computers, die es ermöglicht, mehrere Betriebssysteme und Anwendungen auf einem einzigen physischen Computer auszuführen.
    10 min
  • Tables vs Views in relationalen Datenbanken
    https://larsmuellensiefen.substack.com/ - Tables und Views sind beide wichtige Bestandteile einer relationalen Datenbank, aber sie haben einige wichtige Unterschiede. Eine Tabelle ist das grundlegendste Objekt und wird verwendet, um Daten in einer Datenbank zu speichern. Sie werden mithilfe von SQL definiert und haben eine Reihe von Spalten und einen Datentyp für jede Spalte. Tabellen speichern die Daten physisch und können abgefragt, aktualisiert und verändert werden. Views hingegen sind virtuelle Tabellen, die auf dem Ergebnis einer SELECT-Anweisung basieren.
    7 min
  • Self Service - ohne Daten-Experten oder IT-Abteilungen mit Daten Wert stiften...
    https://larsmuellensiefen.substack.com/ - Self-Service im Data-Bereich ermöglicht es Benutzern, Daten selbstständig zu erfassen, zu analysieren und zu visualisieren, ohne dass sie dazu auf die Unterstützung von Experten oder IT-Abteilungen angewiesen sind. Dies erfordert keine umfangreichen technischen Kenntnisse und erleichtert die Verarbeitung und Auswertung von Daten.
    5 min
  • Die Demokratisierung von Daten - Buzzword erklärt
    https://larsmuellensiefen.substack.com/ - Die Demokratisierung von Daten im Data-Bereich bezieht sich auf die Verbreitung von Tools und Technologien, die es den Benutzern ermöglichen, Daten einfach zu erfassen, zu analysieren und zu visualisieren, ohne dass sie über umfangreiche technische Kenntnisse verfügen müssen.
    6 min