I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:
DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML.
JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller.
xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils.
Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
https://www.ai21.com/blog/announcing-jamba
https://arxiv.org/pdf/2403.19887.pdf
https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/
https://github.com/libarchive/libarchive/pull/1609