Selitä mulle

Suurten kielimallien filosofiaa (2/2)

Listen Later

Toinen ja hiukan edistyneempi osa kokonaisuutta, jossa käsitellään suurten kielimallien filosofiaa Paul Kockelmanin teoksen Last Words. Large Language Models and the AI Apocalypse (2024) kautta. Teemoja:

  • tekoälybisnes on sekä raskasta teollisuutta että se vähä mikä on jäljellä edistyksen keulivan käyrän ideasta, siksi(kin) siihen niin takerrutaan
  • tokenit, vektorit ja vuonna 2017 kehitetty transformer-arkkitehtuuri eleganttina ratkaisuna koneoppimisen ongelmiin: miten matriisikertolaskuista ja muusta matematiikasta nousee inhimillisesti kiinnostavia laadullisia merkityksiä?
  • kuinka tekoälyvälitteiset prosessit porautuvat yhä syvemmälle subjektiivisuuksiin eli kokemisen ja tekemisen tapoihin, uskomuksiin, ihastuksiin, tunteisiin, uniin, unelmiin, tapoihin ja tiedostamattomaan
  • ovatko suuret kielimallit vain stokastisia papukaijoja: eivät ole
  • toisaalta ihmisten käytös on suuresti toisteista, kopioivaa ja matkivaa
  • kolmanneksi elämän mahdollistavat biokemialliset prosessit ovat itsessään stokastisia, eli suurten kielimallien monimutkaista stokastisuutta (satunnaisuudella / todennäköisyydellä operoimista) voi pitää niiden vahvuutena
  • vaikka mikä olisi, suuret kielimallit eivät pysty huomioimaan kontekstia eli maailmaa, sen sijaan ne voivat huomioida kotekstin eli tokeneiksi silputun aineiston
  • tekoäly-hallusinaatioita ei tarkkaan ottaen ole olemassa
  • mallien taustalla piilevät jyrkän erilaiset ajalliset mittakaavat
  • paljon puhutaan tekoälyn suuntaamisesta (alignment), entä ihmisten suuntaaminen? Miten suuryritysten, supervaltojen ja miljardöörien omistamat suuret kielimallit suuntaavat ihmisiä?

    • Lukemista:

    Brunila: Mikä tekoälyä vaivaa? https://komeetta.info/2024/05/16/mika-tekoalya-vaivaa/ (tätä ei käsitellä jaksossa, mutta teksti on erittäin hyvä taustoitus teemoihin)

    Kockelman: Last Words, luvut 4-10

    Tue podcastia: tilaa substack tai MMV-Patreon.

    ...more
    View all episodesView all episodes
    Download on the App Store
    Selitä mulleBy Pontus Purokuru

    More shows like Selitä mulle

    View all
    Mikä meitä vaivaa? by Veikka Lahtinen & Pontus Purokuru

    Mikä meitä vaivaa?

    0 Listeners

    Antin matka by Antti Holma/ Podme

    Antin matka

    5 Listeners