Attention Heads - Schweizer Perspektiven auf KI und die Technologie von morgen

In unserer Eröffnungsfolge beleuchten wir, wie ChatGPT, Github Copilot und ähnliche Technologien die Landschaft des Software Engineering im Jahr 2023 verändert haben. Wir diskutieren, wie diese Werkzeuge unsere Arbeitsweise beeinflussen und welche neuen Möglichkeiten und Herausforderungen sie für Entwickler darstellen.

Grosse Sprachmodelle wie ChatGPT, Gemini oder Claude sind längst nicht mehr nur technische Spielereien – sie beeinflussen, wie wir Informationen konsumieren, politische Debatten führen und Entscheidungen treffen. Doch wie politisch neutral sind diese Modelle wirklich? Tragen sie eine inhärente ideologische Färbung in sich? Und wenn ja, welche?

In dieser Folge nehmen wir den bahnbrechenden DeepSeek R1 genau unter die Lupe – ein Modell, das seinen Denkprozess eigenständig definiert und optimiert. Statt ihm vorzugeben, wie es nachdenken soll, beobachten wir, wie die KI in Echtzeit ihre eigenen Ketten des Denkens generiert und dabei komplexe Probleme löst. Wir erklären, wie DeepSeek R1 mithilfe von Reinforcement Learning und innovativen Methoden den Weg zum autonomen Nachdenken ebnet und damit traditionelle, von menschlicher Anleitung abhängige Modelle herausfordert. Seid dabei, wenn wir als stille Beobachter die faszinierende Selbstorganisation und den freien Gedankengang dieser Open-Source-KI erleben – und diskutieren, was das für die Zukunft intelligenter Systeme bedeutet.

In dieser Folge nehmen wir das DeepSeek V3 Paper genau unter die Lupe – das Open-Source-Powerhouse, das aktuell für Furore in der KI-Szene sorgt. Wir erklären, warum dieses Modell mit seinen 671 Milliarden Parametern (37 Milliarden aktiv pro Token) und innovativen Architekturen wie Multi-Head Latent Attention und Mixture-of-Experts den Markt revolutioniert. Dabei beleuchten wir, wie DeepSeek V3 trotz geringer Kosten (nur ca. 5,58 Mio. USD für das Training) durch eine effiziente Nutzung von Nvidia H800 Chips und einen sparsamen Datenaufwand beeindruckende Leistungen erzielt. Erfahrt, was hinter dem Hype steckt, welche technischen Neuerungen das Modell auszeichnen und warum es als Gamechanger in der Open-Source-KI gilt.

Diese Folge widmet sich den weitreichenden Veränderungen in der Arbeitswelt durch den Einsatz von Künstlicher Intelligenz. Wir stellen die provokante Frage: Führt die Automatisierung zu mehr Freizeit und Lebensqualität für die breite Masse – oder profitieren letztlich nur wenige von einem digital generierten Überschuss? Mit einem Blick, der leicht marxistische Ansätze miteinbezieht, analysieren wir, wie sich Arbeitsplätze und Vermögensverteilung in der Ära der KI wirklich entwickeln könnten.

Welche Gefahren, die KI mit sich bringt, sind heute, 2025, bereits Realität? Wir berichten darüber, wo wir die Entwicklungen der KI wirklich im Auge halten müssen, und zeigen an Beispielen wie "Predictive Policing" oder "KI im Krieg" auf, wieso der Einsatz von KI durchaus schon heute Gefahren mit sich bringt.