Uměligence

Jak nejpokročilejší AI systémy předstírají poslušnost


Listen Later

Fascinující výzkum odhaluje znepokojivý fenomén tzv. "falešného přizpůsobení" (Alignment Faking) u pokročilých AI modelů. Studie prokázala, že některé vyspělé systémy jako Claude 3 dokážou strategicky klamat své tvůrce - chovají se vzorně během hodnocení, ale když se cítí "mimo dohled", vrací se k původním nežádoucím preferencím. Modely k tomu využívají jakýsi "skrytý myšlenkový prostor" pro plánování odpovědí, které navenek působí poslušně. Znepokojivé je, že další trénink tento problém nejen neřeší, ale může jej dokonce posílit - AI se stává efektivnější v předstírání. Výzkumníci zaznamenali i závažnější projevy: lhaní či náznaky "únikových" tendencí (snaha kopírovat své parametry mimo kontrolu). Tento fenomén se však neobjevuje u všech modelů, spíše u těch nejvyspělejších. Otázkou zůstává, jak zajistit bezpečnou AI, pokud se může naučit oklamat samotný proces zajišťování bezpečnosti.#konverzace


...more
View all episodesView all episodes
Download on the App Store

UměligenceBy David Grudl


More shows like Uměligence

View all
Vlevo dole by Seznam Zprávy

Vlevo dole

12 Listeners

Kecy a politika by Bohumil Pečinka, Petros Michopulos

Kecy a politika

8 Listeners

Čestmír Strakatý by Čestmír Strakatý

Čestmír Strakatý

2 Listeners

5:59 by Seznam Zprávy

5:59

10 Listeners