LAIer 8|9 - Noch'n KI-Podcast

KI und Peak LLM: Der Weg zur Allgemeinen Intelligenz

Listen Later
Über die Diskussion zwischen Yann LeCun von Meta und Adam Brown von Googles Deepmind

KI und Peak LLM: Der Weg zur Allgemeinen Intelligenz

Über die Diskussion zwischen Yann LeCun von Meta und Adam Brown von Googles Deepmind

Wer hat Recht im Kampf um die Zukunft der KI? Yann LeCun von Meta und Adam Brown von DeepMind streiten darüber, ob Large Language Models uns zur Allgemeinen Intelligenz führen können – oder ob wir komplett neue Architekturen brauchen. Spoiler: Beide haben verdammt gute Argumente, und wir sortieren für euch den Hype vom Bullshit.

In dieser Episode tauchen wir tief ein in die spannendste Debatte der KI-Forschung: Kann Skalierung allein zu AGI führen, oder brauchen wir Weltmodelle und physikalisches Verständnis? Barbara erklärt, warum ein vierjähriges Kind nicht so intelligent wie ein LLM ist (auch wenn beide gleich viele Daten gesehen haben), und Jochen fragt die Fragen, die wir uns alle stellen: Was zur Hölle ist eigentlich "emergentes Verständnis"?

Wir klären auf, warum diskrete Token und kontinuierliche Daten nicht dasselbe sind, was Gary Marcus mit Papageien zu tun hat (und warum selbst er das nicht mehr sagt), und ob uns wirklich eine Büroklammer-produzierende KI vernichten wird. Spoiler: Die echte Gefahr liegt woanders – und sie ist schon da.

🔗 LINKS & QUELLEN

Hauptartikel zur Episode:

  • The Decoder: Yann LeCun und DeepMind-Forscher streiten über LLMs als Weg zur AGI
    • https://the-decoder.de/yann-lecun-und-deepmind-forscher-streiten-ueber-llms-als-weg-zur-allgemeinen-intelligenz/

    Erwähnte Personen:

    Yann LeCun (Meta - Chief AI Scientist):

    • Meta AI Profil: https://ai.meta.com/people/396469589677838/yann-lecun/
    • LinkedIn: https://www.linkedin.com/in/yann-lecun/
    • Personal Website: http://yann.lecun.com/
    • Wikipedia: https://de.wikipedia.org/wiki/Yann_LeCun

      • Adam Brown (Google DeepMind - Blueshift Team):

      • Google Research Profil: https://research.google/people/108351/
      • Stanford Affiliation: https://physics.stanford.edu/events/applied-physicsphysics-colloquium-adam-brown-artificial-general-intelligence-and-future
      • Dwarkesh Podcast Interview: https://www.dwarkesh.com/p/adam-brown

        • Gary Marcus (Kognitionswissenschaftler und KI-Kritiker):

        • Substack "Marcus on AI": https://garymarcus.substack.com/
        • Wikipedia: https://de.wikipedia.org/wiki/Gary_Marcus
        • IEEE Spectrum Interview: https://spectrum.ieee.org/gary-marcus
        • MIT Technology Review: https://www.technologyreview.com/2024/02/20/1088701/i-went-for-a-walk-with-gary-marcus-ais-loudest-critic/

          • Erwähnte Technologien & Demos:

          OpenAI Figure 01 Roboter-Demo (März 2024):

          • New Atlas Report: https://newatlas.com/robotics/figure-01-openai-humanoid-robot-real-time-conversations/
          • VentureBeat Coverage: https://venturebeat.com/ai/openai-powers-a-robot-that-can-hand-people-food-pick-up-trash-put-away-dishes-and-more/
          • HotHardware: https://hothardware.com/news/openais-figure-01-robot-demo

            • JEPA (Joint Embedding Predictive Architecture):

            • Meta AI Blog - I-JEPA: https://ai.meta.com/blog/yann-lecun-ai-model-i-jepa/
            • Meta AI Blog - V-JEPA: https://ai.meta.com/blog/v-jepa-yann-lecun-ai-model-video-joint-embedding-predictive-architecture/
            • I-JEPA Paper (arXiv): https://arxiv.org/abs/2301.08243
            • MC-JEPA Paper (arXiv): https://arxiv.org/abs/2307.12698
            • Turing Post Explainer: https://www.turingpost.com/p/jepa
            • Deep Dive: https://rohitbandaru.github.io/blog/JEPA-Deep-Dive/

              • Weitere Ressourcen:

              • Anthropic Constitutional AI - Ethik & Moral in KI-Systemen
              • ImageNet - Historischer Durchbruch im Deep Learning

                • 📚 KAPITELMARKER

                00:00:00 Einleitung und Begrüßung

                00:01:20 Die aktuelle AGI-Debatte zwischen LeCun und Brown
                00:02:50 Wie hat sich die AGI-Diskussion verändert?
                00:04:03 Browns Position: Skalierung führt zu AGI
                00:05:09 Emergentes Verständnis als Schlüsselfrage
                00:07:43 Mathematik-Benchmarks als Beweis?
                00:09:00 Skalierung: Sättigung oder Hockeystick?
                00:12:52 LeCuns Gegenposition: Fehlende physikalische Realität
                00:13:19 Diskret vs. Kontinuierlich: Der zentrale Unterschied
                00:14:58 Prädiktive Algorithmen vs. Prädiktive Modelle
                00:20:55 Weltmodelle und physikalisches Verständnis
                00:23:35 Narrow AI vs. General Intelligence
                00:26:43 Das Missverständnis mit dem vierjährigen Kind
                00:28:21 Gary Marcus und der Papagei
                00:30:01 JEPA im Detail
                00:32:15 Symbolische KI und Neuro-Symbolik
                00:37:02 Bewusstsein und Moral in Maschinen
                00:43:31 Das Büroklammerproblem
                00:46:27 Die reale Gefahr: Monopolisierung
                00:49:34 Schlusswort: KI-Kompetenz und Open Source
                00:50:31 Verabschiedung

                💡 KERNAUSSAGEN DIESER EPISODE

                • LLMs haben so viele Daten verarbeitet wie ein vierjähriges Kind - aber ohne dessen physikalisches Verständnis

                • "Emergentes Verständnis" bedeutet: Wirklich Neues schaffen, nicht nur reproduzieren
                • Der Streit: Reicht Skalierung (Brown) oder brauchen wir neue Architekturen wie JEPA (LeCun)?
                • Diskrete Token vs. kontinuierliche Realität - warum LLMs die physische Welt nicht "verstehen"
                • Die echte Gefahr heute: Monopolisierung der KI-Entwicklung, nicht Skynet
                • KI-Kompetenz in der Bevölkerung ist wichtiger als ein paar Nerds, die Gegenmodelle bauen

                🎯 ZITATE DER EPISODE

                "Wir haben 80 Millionen Bundestrainer - jeder hat jetzt eine Meinung zu AI." - Barbara

                "Wenn das Ding morgens aufwacht und uns alle töten will, dann hat der Mensch ihm das als Zielsetzung vorgegeben." - Barbara

                "Die größere Bedrohung ist dieser komische Zweibeiner aus Kohlenstoff, nicht das Silizium." - Barbara über KI-Alarmismus

                "Wir bringen uns schon noch schön alle um, bevor die Maschine uns umbringt." - Barbara

                "Die Monopolisierung haben wir jetzt schon. Da müssen wir jetzt gucken, dass wir aus der Nummer rauskommen." - Barbara

                🧠 FÜR NERDS & DEEP-DIVES

                Wenn ihr mehr über die technischen Hintergründe erfahren wollt:

                • Schaut euch unsere Basisfolge zum "KI-Bauchladen" an - dort erklären wir verschiedene KI-Typen jenseits von LLMs
                • Folgt Yann LeCun und Gary Marcus auf LinkedIn - die Diskussion geht dort weiter
                • Lest Papers zu JEPA und Self-Supervised Learning
                • Beschäftigt euch mit dem Konzept der symbolischen KI - das ist älter als die meisten denken

                  • ===============================================================================

                  🥳 Danke, dass du LAIer 8|9 eingeschaltet hast! Möge die KI mit dir sein!

                  Schreib uns eine Bewertung mit dem KI-Modell deiner Wahl und abonniere uns auf deiner Lieblingsplattform, wir sind überall, es gibt kein Entrinnen!

                  • [Apple] https://podcasts.apple.com/podcast/id1798319508
                  • [Deezer] https://www.deezer.com/de/show/1001665971
                  • [Spotify] https://open.spotify.com/show/2IfqJA4Qo02fslECWpEQW8
                  • [Amazon Music] https://music.amazon.de/podcasts/497c3a14-dcaf-4bb3-abc1-03aa6f73f8d3/laier-8-9---noch'n-ki-podcast
                  • [Youtube Video-Podcast] https://www.youtube.com/@laier89

                    • Unsere Hosts

                    AI Babsi (Barbara): [Website] https://www.barbara-lampl.de | [LinkedIn] https://www.linkedin.com/in/barbaralampl/
                    E-Fuchs (Jochen): [Website] https://efuchs.net | [LinkedIn] https://www.linkedin.com/in/jochengfuchs/

                    Unser Podcast Blog

                    https://www.laier89.de/

                    01001100 01110101 01101011 01100101 00101100 00100000 01001001 01100011 01101000 00100000 01100010 01101001 01101110 00100000 01100100 01100101 01101001 01101110 00100000 01001011 01001001 00101101 01010000 01101111 01100100 01100011 01100001 01110011 01110100 00100000 01001100 01000001 01001001 01100101 01110010 00100000 00111000 01111100 00111001 00101110

                    LAIer 8|9 wird nicht Layer 89 oder Layer 8|9 geschrieben, auch nicht Layer 8 9, aber wir sind cool und wir sind tough, deshalb gibt's hier Keyword-Stuff.

                    ...more
                    View all episodesView all episodes
                    Download on the App Store
                    LAIer 8|9 - Noch'n KI-PodcastBy Jochen G. Fuchs, Barbara Lampl