Toinen ja hiukan edistyneempi osa kokonaisuutta, jossa käsitellään suurten kielimallien filosofiaa Paul Kockelmanin teoksen Last Words. Large Language Models and the AI Apocalypse (2024) kautta. Teemoja:
tekoälybisnes on sekä raskasta teollisuutta että se vähä mikä on jäljellä edistyksen keulivan käyrän ideasta, siksi(kin) siihen niin takerrutaantokenit, vektorit ja vuonna 2017 kehitetty transformer-arkkitehtuuri eleganttina ratkaisuna koneoppimisen ongelmiin: miten matriisikertolaskuista ja muusta matematiikasta nousee inhimillisesti kiinnostavia laadullisia merkityksiä?kuinka tekoälyvälitteiset prosessit porautuvat yhä syvemmälle subjektiivisuuksiin eli kokemisen ja tekemisen tapoihin, uskomuksiin, ihastuksiin, tunteisiin, uniin, unelmiin, tapoihin ja tiedostamattomaanovatko suuret kielimallit vain stokastisia papukaijoja: eivät oletoisaalta ihmisten käytös on suuresti toisteista, kopioivaa ja matkivaakolmanneksi elämän mahdollistavat biokemialliset prosessit ovat itsessään stokastisia, eli suurten kielimallien monimutkaista stokastisuutta (satunnaisuudella / todennäköisyydellä operoimista) voi pitää niiden vahvuutenavaikka mikä olisi, suuret kielimallit eivät pysty huomioimaan kontekstia eli maailmaa, sen sijaan ne voivat huomioida kotekstin eli tokeneiksi silputun aineistontekoäly-hallusinaatioita ei tarkkaan ottaen ole olemassamallien taustalla piilevät jyrkän erilaiset ajalliset mittakaavatpaljon puhutaan tekoälyn suuntaamisesta (alignment), entä ihmisten suuntaaminen? Miten suuryritysten, supervaltojen ja miljardöörien omistamat suuret kielimallit suuntaavat ihmisiä?Brunila: Mikä tekoälyä vaivaa? https://komeetta.info/2024/05/16/mika-tekoalya-vaivaa/ (tätä ei käsitellä jaksossa, mutta teksti on erittäin hyvä taustoitus teemoihin)
Kockelman: Last Words, luvut 4-10
Tue podcastia: tilaa substack tai MMV-Patreon.