Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!

ScandEval GitHub: https://github.com/ScandEval/ScandEval

ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/

ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/