Effiziente Projektplanung im Data Science und Data-Engineering

In dieser Episode diskutieren David und Janis die Unterschiede und Gemeinsamkeiten zwischen Data Science und Data Engineering. Sie beleuchten die Projektplanung, die Bedeutung von Code-Qualität, Testing-Strategien und die Herausforderungen bei der Entwicklung in verschiedenen Umgebungen. Zudem wird der Wert von Data Science Projekten und die Rolle von Vibe-Coding in der Softwareentwicklung thematisiert.

03:01 Highlights und technische Themen der PyCon

06:01 Einführung in Large Language Models (LLMs)

09:09 Herausforderungen und Chancen bei der Arbeit mit LLMs

12:04 KI-Literacy und Change-Management in Unternehmen

14:50 Vorteile der eigenen GPT-Plattform

18:01 Anwendungsbeispiele und Automatisierung durch LLMs

21:06 Zukunftsausblick und Entwicklungen im Bereich KI

25:12 Entwicklung des internen Chatbots

30:45 Übergang zur Open Source Community

34:41 Open Web UI als Lösung

39:09 Wissensmanagement und interne Daten

45:38 Herausforderungen der Datenqualität

47:37 Fazit und Ausblick auf die Zukunft

Endlich mal wieder eine Folge von David und Janis! <3

In dieser Folge gibt es einen kleinen Rückblick auf die Data Unplugged 2025. Dabei gibt es jeweils einen inhaltlichen Abriss der gehaltenen Masterclasses "Datenplattform 360°: ETL, Persistierung & Governance für nachhaltige Datenstrategien" und "Kaffeebohnen und KI-Algorithmen - Ein Data Science Rezept für die Fertigungsindustrie".

Die kompletten Masterclasses gibt es bei uns natürlich auch! Kontaktiert uns dafür einfach.

In dieser Folge Sprechen Tim und Janis kurz über die letzten Tage. Darunter insbesondere auch die Punkte:

Was war die beste Pizza?

Wie war die diesjährige Data Unplugged?

Ansonsten ist der Name Programm: Was sind eigentlich Faktenchecks? Wer führt sie durch? Wie funktionieren sie? Wie sieht es bei den Community Notes aus? Kann Open Source hier eine Lösung sein?

Und einiges anderes zu diesem Themenkomplex.

Im Vorfeld der kommenden Bundestagswahl sprechen Tim und David über die Statistik von Wahlumfragen und analysieren, wie sie zu deuten sind.

Im Vorfeld der kommenden Bundestagswahl sprechen Tim und David über die Statistik von Wahlumfragen und analysieren, wie sie zu deuten sind. Es geht neben den statistischen Grundlagen, die für eine gute Wahlumfrage zu beachten sind auch um weiterführende Themen wie Zeitreihenanalyse und den Umgang mit Unischerheiten in Machine Learning Modellen.

In dieser Folge sprechen unser Ur-Ailionaut Janis und unser Ailionauten Neuling Tim über HotDog Tipps und Datenplattformen. Behandelt werden u.a. Fragen wie:

Welche Entscheidungen und Fragestellungen führen zu einer Datenplattform?

Infrastruktur first oder hangeln wir uns von Use-Case zu Use-Case?

Welche Vorteile bieten managed Lösungen wie Databricks?

Und vieles mehr.

-Die Promotion erfordert Durchhaltevermögen und hohe Belastbarkeit.

-Data Science erfordert sowohl technische Fähigkeiten als auch -Kommunikationskompetenz.

-Teamarbeit ist in der Industrie oft strukturierter als in der Wissenschaft.

-Die Nutzung von KI in der Forschung eröffnet neue Möglichkeiten.

-Praktische Erfahrungen sind entscheidend für den Erfolg in der Industrie.

-Die Fähigkeit, komplexe Probleme zu lösen, ist in beiden Bereichen wichtig.

-Ein gutes Verständnis von Statistik ist für Data Scientists unerlässlich.

-Die Arbeitskultur in der Industrie ist oft dynamischer und schneller.

-Die Vielfalt der Projekte in der Industrie kann sehr bereichernd sein.

Was hat es mit Feature Selection und Feature Engineering auf sich?

In this conversation, Aleksander Fegel and Dr. David Geisel discuss the critical aspects of feature selection and engineering in data science. They explore the importance of understanding features, the role of data quality, and the necessity of engaging with domain experts. The discussion covers various methods of feature selection, including filter methods, wrapper methods, and embedded methods, emphasizing the need for simplicity and clarity in model building. The conversation concludes with insights on how to effectively interpret model predictions and the significance of collaboration in data science projects.

-Feature selection is essential for successful data modeling.

-Data quality significantly impacts model performance.

-Engaging with domain experts enhances feature selection.

-Simplicity in models often leads to better results.

-Feature importance helps in understanding model predictions.

-Different methods exist for feature selection, each with pros and cons.

-Collaboration between data scientists and domain experts is crucial.

-Feature engineering is a continuous process in data science.

-Understanding the context of data is vital for effective modeling.

-Iterative testing and validation are key to successful feature selection.

titles

Unser Kollege David hat fast 2 Jahre eine SAS zu Azure Databricks Migration begleitet. Dabei sind viele Learnings sowohl auf technischer als auch auf menschlicher & Change Management Ebene entstanden. Diese möchten wir im Podcast gerne mit euch teilen um zukünftige Migrationen zu vereinfachen und echte Insights zu geben.

In dieser Folge diskutieren Janis und ich Ailio interne Prozesse und unsere Erfahrungen mit Kundenworkshops. Dabei geht es unter anderem um die Frage ob ein erster Workshop kostenlos sein sollte und welche Gründe dagegen sprechen sowie allgemein um das Thema Commitment bei Data-Science Projekten.