I boken Hitchhiker's Guide to the Galaxy fikk alle en liten fisk i øret som kunne både transkribere og oversette. Dersom du tenker dette er forbeholdt fantasilitteraturen, er du nok noe naiv. Nå har OpenAI kommet med algoritmen Whisper som for en myriade av språk, inkludert norsk, som kan skrive ned alt du sier, samt oversette mellom språk i sanntid. 

Artikkel: Robust Speech Recognition via Large-Scale Weak Supervision, https://cdn.openai.com/papers/whisper.pdf

Prøv selv: https://openai.com/blog/whisper/

En algoritme kommer sjeldent alene. I luke 11 presenterte vi Meta sin videogenereringsalgoritme. Få uker etterpå kom Google med tilsvarende algoritme, men med mye høyere presisjon. Hvis har lyst på en video av en bilkjørende panda, en bamse som vasker opp, robot som måker snø, eller hva som helst annet, er det kun en algoritmerending unna. Vi lover at du blir importert av resultatene. 

Artikkel: High Definition Video Generation with Diffusion Models: https://imagen.research.google/video/paper.pdf

Prøv selv: https://imagen.research.google/video/

De siste månedene har det dukket opp flere muligheter til å lage bilder fra korte tekster ved hjelp av kunstig intelligens. Bak luke 11 ligger det forbløffende muligheten ro å lage lage video på samme måte.

Artikkel: Make-A-Video Explained , https://makeavideo.studio/Make-A-Video.pdf

Prøv selv: https://makeavideo.studio/

I denne luken snakker vi om den siste hypen, ChatGPT, algoritmen som lærerne mener bør bli forbudt i den norske skolen. Algoritmen er så god til å skrive at å bruke algoritmen på hjemmeeksamen er ensbetydende med juks. Nå har alle et verktøy som kan skrive konfirmasjonsstaler, forfatte jobbsøknader, regne ut hjemmeleksene, og spytte ut juledikt.

Artikkel: Training language models to follow instructions with human feedback, https://arxiv.org/pdf/2203.02155.pdf

Blogpost: https://openai.com/blog/chatgpt/

Prøv selv: https://chat.openai.com/chat

Du har garantert opplevd denne situasjonen en gang: Du forsøker å ta et flott bilde, men noen ødelegger det som ville vært et supert Instagram-innlegget ditt. Det er ikke lenger et problem, for bak denne luke skjuler det seg en nesten perfekt inpainting-metode som kan realistisk fjerne alt du ikke ønsker i bildene dine. 

Artikkel: Resolution-robust Large Mask Inpainting with Fourier Convolutions, https://arxiv.org/abs/2109.07161

Prøv selv: https://saic-mdal.github.io/lama-project/

Bak denne luken skjuler det seg en fabelaktig måte å standard maskinsyn med tredimensjonale lidar-scannere, og det betyr vanvittig mye for fremtidens selvkjørende biler som bør få så god oversikt som mulig.

Artikkel: 4D-Net for Learned Multi-Modal Alignment, https://openaccess.thecvf.com/content/ICCV2021/papers/Piergiovanni_4D-Net_for_Learned_Multi-Modal_Alignment_ICCV_2021_paper.pdf

Video demo: https://www.louisbouchard.ai/waymo-lidar/

Har du noen gang tenkt hvor det blir av de selvkjørende bilene alle snakket om for få år siden. En av bilene er bak luke 7. Her viser Google hvordan de bruker språkmodeller sammen med navigeringsalgoritmer til å få en meget presis selvkjørende bil. Det er nesten bare å kaste førerkortet. 

Artikkel: LM-Nav: Robotic Navigation with Large Pre-Trained Models , https://arxiv.org/abs/2207.04429

Video demo: https://sites.google.com/view/lmnav

Vi skulle nesten tro at dette var en luke fra en James Bond-film, ikke fra en algoritmepodkast. Forestill deg at du snakker ved siden av en plastpose. I algoritmen bak denne luken viser at intelligente algoritmer kan isolere nøyaktig lyden i et rom, for eksempel hva det snakkes om.

Artikkel: Dual-Shutter Optical Vibration Sensing, https://www.marksheinin.com/_files/ugd/a41a28_7d370603fafd419da387de85d8ecb5b4.pdf?index=true

Prøv selv: https://imaging.cs.cmu.edu/vibration/

Har du liggende noen gamle bilder du gjerne skulle ha reparert? I så fall bør luke 5 falle i smak. Her viser vi til en algoritme som med bemerkelsesverdig presisjon kan fikse gamle og ødelagte bilder.

Artikkel: Towards real-world blind face restoration with generative facial prior , https://arxiv.org/abs/2101.04061

Prøv selv: https://replicate.com/tencentarc/gfpgan/examples

Inpainting er velkjent i kunstig intelligens, og handler om å fjerne deler av et bilde for så å la algoritmene tegne det som mangler. I luke 4 ser vi på en algoritme som gjør akkurat det samme for lyd. Konsekvensen blir at vi ikke lenger kan stole på lydklipp. 

Artikkel: Text-conditioned Speech Inpainting, https://arxiv.org/abs/2202.07273

Prøv selv: https://google-research.github.io/seanet/speechpainter/examples/