Språkteknologi er et område innenfor kunstig intelligens som har gjort enorme fremskritt de senere årene. Det er produsert modeller som er enormt store, som det nevrale nettverket GPT-3 med sine 175 milliarder parametre, og nå switch transformer som har over en billion parametre.

I denne episoden graver vi oss dypt ned i språkmodeller sammen med Lilja Øvrelid, som er professor ved Universitetet i Oslo og leder for Forskningsgruppen for språkteknologi. Hun fokuserer på ulike typer syntaktisk og semantisk prosessering av naturlig språk med maskinlæring, som avhengighetsparsering (dependency parsing), negasjon, spekulasjonsanalyse og sentimentanalyse. Hun har jobbet med utvikling av ressurser for maskinlæring, utvikling av systemer som automatiserer syntaktisk og semantisk analyse av språk, samt anvendelse av disse systemene i nedstrømsoppgaver (down stream tasks). Lilja har tallrike høythengende publikasjoner på området og er rett person når vi skal forsøke å forstå disse språkmodellene og hva de kan brukes til.