I detta avsnitt får ni möta Lag Realtid (Erik) som diskuterar med Lag Batch (Hugo). Från varsitt håll försöker de övertyga sin motpart att det är bättre att processera data så fort man får den, respektive att processera data retroaktivt i “klump”.

Har du någon fråga eller feedback, mejla [email protected]!

Strömningsverktyg:

• Apache Kafka - event streaming platform for data pipelines, streaming analytics, data integration, and mission-critical applications.
• Apache Flink - framework and distributed processing engine for stateful computations over unbounded and bounded data streams.
• StreamProcessor - reactive streaming processing solution running on GCP.

Batch:

• Apache Airflow - a platform created by the community to programmatically author, schedule and monitor workflows.
• dbt - a SQL-first transformation workflow that lets teams quickly and collaboratively deploy analytics code following software engineering best practices like modularity, portability, CI/CD, and documentation.

Hosted on Acast. See acast.com/privacy for more information.