È disponibile subito il podcast di oggi de Il Disinformatico della
Radiotelevisione Svizzera, scritto, montato e condotto dal sottoscritto: lo trovate
qui sul sito della RSI
(si apre in una finestra/scheda separata) e lo potete scaricare
qui.
Le puntate del Disinformatico sono ascoltabili anche tramite
iTunes,
Google Podcasts,
Spotify
e
feed RSS.
Buon ascolto, e se vi interessano il testo di accompagnamento e i link alle
fonti di questa puntata, sono qui sotto.
Benvenuti alla puntata del 16 agosto 2024 del Disinformatico, il
podcast della Radiotelevisione Svizzera dedicato alle notizie e alle storie
strane dell’informatica. Io sono Paolo Attivissimo, e questa settimana vi
porto due storie, e due notizie, che sembrano scollegate e appartenenti a due
mondi molto distanti, ma hanno in realtà in comune un aspetto molto
importante.
La prima storia riguarda una delle più pubblicizzate influencer virtuali,
Emily Pellegrini, annunciata dai giornali di mezzo mondo come un trionfo
dell’intelligenza artificiale, così attraente e realistica che viene
contattata da celebri calciatori che la vogliono incontrare a cena e da ricchi
imprenditori che le offrono vacanze di lusso pur di conoscerla, credendo che
sia una persona reale, e accumula centinaia di migliaia di follower su
Instagram. Ma oggi tutte le immagini che l’avevano resa celebre sui social
sono scomparse.
La seconda storia riguarda invece una truffa da 25 milioni di dollari ai danni
di una multinazionale, messa a segno tramite una videoconferenza in cui il
direttore finanziario sarebbe stato simulato dai criminali, in voce e in video
e in tempo reale, usando anche qui l’intelligenza artificiale così bene da
ingannare persino i suoi stessi dipendenti.
Ma non è l’intelligenza artificiale l’aspetto che accomuna queste storie. È
qualcosa di ben poco artificiale e purtroppo molto umano.
Siamo a fine settembre del 2023. Un’eternità di tempo fa, per i ritmi dello
sviluppo frenetico dell’intelligenza artificiale. Su un sito per adulti,
Fanvue, e su Instagram iniziano a comparire le foto sexy di Emily Pellegrini
[instagram.com/emilypellegrini],
una modella di 23 anni che vive a Los Angeles e fa l’influencer. Ma si
tratta di una influencer particolare, perché è generata con
l’intelligenza artificiale, anche se nelle foto che pubblica sembra una
persona in carne e ossa.
Una delle “foto” di Emily Pellegrini. Notate i grattacieli completamente
deformati sullo sfondo e l’incoerenza delle linee della piattaforma sulla
quale si trova la persona raffigurata, segni tipici di immagini generate
maldestramente con software di intelligenza artificiale.
Sei settimane dopo, l’11 novembre, Emily Pellegrini ha già 81.000 follower su
Instagram
[New York Post].
Ai primi di gennaio ne ha 175.000
[Corriere del Ticino], a metà gennaio sono già 240.000
[NZZ],
e ne parlano i media di tutto il mondo
[Daily Mail,
ripetutamente;
Fortune,
Dagospia,
Repubblica, Stern, Welt.de, Radio Sampaio], dicendo che il suo aspetto procace e fotorealistico ha tratto in inganno
molti uomini “ricchi, potenti e di successo”, dice per esempio il
Daily Mail britannico, aggiungendo che su Instagram la contattano
“persone veramente famose, come calciatori, miliardari, campioni di arti marziali miste e tennisti” che
“credono che sia reale” e
“la invitano a Dubai per incontrarla e mangiare nei migliori ristoranti”. Una delle celebrità sedotte da Emily Pellegrini, scrive sempre il
Daily Mail, è un imprecisato conoscente di Cristiano Ronaldo; un altro è una star del
calcio tedesco di cui non viene fatto il nome.
Andamento della popolarità della stringa di testo “Emily Pellegrini” da
settembre 2023 a oggi, secondo
Google Trends.
Moltissime testate in tutto il mondo riportano fedelmente questi dettagli e
non perdono l’occasione di pubblicare molte foto delle grazie abbondanti
dell’influencer
virtuale, ma c’è un piccolo problema: tutte queste presunte conquiste di Emily
Pellegrini sono riferite da una sola fonte, il suo creatore, che fra l’altro
vuole restare anonimo, e sono descritte in modo estremamente vago: nessun
nome, ma solo frasi come
“uno dei volti famosi, di cui non viene fatto il nome e che l’ha
contattata, a quanto pare conosce Cristiano Ronaldo”
[“One unnamed famous face who contact [sic] her allegedly knew Cristiano Ronaldo, the creator claimed”].
Che senso ha precisare che questo anonimo fan conosce Cristiano Ronaldo? Non
fornisce nessuna informazione reale. Però permette di citare un nome famoso e
associarlo a questa influencer per farla brillare di luce riflessa
nella mente del lettore, che magari è distratto perché l’occhio gli sta
cadendo altrove.
Questo espediente autopromozionale funziona, perché Emily Pellegrini viene
citata dai media di mezzo pianeta come l’influencer che
“fa innamorare i vip”, come titola
Il Mattino, o “ha fatto innamorare calciatori e vip di tutto il mondo”, come
scrive
Repubblica, per citare giusto qualche esempio italofono. Ma di questo innamoramento
collettivo non c’è la minima conferma. Ci sono solo le dichiarazioni
straordinariamente vaghe del suo creatore senza nome.
Questo anonimo creatore della influencer virtuale racconta anche di
aver “lavorato 14-16 ore al giorno” per riuscire a creare
il volto, il corpo e i video di Emily Pellegrini con l’intelligenza
artificiale. Ma anche qui qualcosa non quadra, perché a fine gennaio 2024
emerge un dato: alcune delle immagini di Emily Pellegrini, soprattutto quelle
più realistiche, sono realistiche non per qualche rara maestria nell’uso dei
software di intelligenza artificiale, ma perché sono semplicemente foto e
video di donne reali, come per esempio quelle della modella Ella Cervetto (www.instagram.com/ellacervetto/), sfruttate senza il loro consenso
[Radio France;
Abc.net.au, con esempi;
Fanpage.it], sostituendo digitalmente il loro volto con un volto sintetico e tenendo
tutto il resto del corpo intatto. In altre parole, un banale
deepfake come tanti, fatto oltretutto a scrocco.
Le pose e le movenze così realistiche di Emily Pellegrini non sono generate
dal software: sono prese di peso dai video reali di modelle reali. Una chiara
violazione del copyright e uno sfruttamento spudorato del lavoro altrui.
Oggi il profilo Instagram di Emily Pellegrini
[www.instagram.com/emilypellegrini]
è praticamente vuoto. Tutte le foto sono scomparse. Restano solo 12 post, nei
quali un uomo che si fa chiamare “Professor Ep” e dice di essere il
creatore della modella virtuale – che in realtà tanto virtuale non era –
propone un corso, naturalmente a pagamento, per insegnare agli altri a fare
soldi creando modelle virtuali. Nessun accenno al fatto che l’insegnante ha
usato i video e la fatica degli altri e ha adoperato solo in parte
l’intelligenza artificiale per guadagnare, dice lui, oltre un milione di
dollari.
Lo stato attuale dell’account Instagram di Emily Pellegrini.
Fra l'altro, il corso del sedicente professore, che costava inizialmente mille
dollari, ora è svenduto a circa duecento.
La pubblicità del corso promosso sull’account Instagram di Emily Pellegrini.
Lasciando da parte un momento i ragionevoli dubbi sull’etica e la competenza
dimostrate fin qui dal Professor Ep, se per caso state pensando di lanciarvi
anche voi nel settore immaginando di fare soldi facilmente in questa versione
2024 della febbre per il mining domestico delle criptovalute, beh,
pensateci due volte.
I dati indicano infatti che fare soldi esclusivamente generando immagini di
modelle virtuali è cosa assai rara. Ci sono alcune superstar del settore che
guadagnano discretamente, ma il grosso degli aspiranti creatori e delle
aspiranti creatrici fa la fame. Il mercato è saturo di gente che ci sta
provando e fallendo.
Grazie ad alcune persone esperte del settore, ho constatato di persona che su
piattaforme che promettono grandi guadagni tramite la vendita di immagini
generate con l’intelligenza artificiale, come la piattaforma usata dal
creatore di Emily Pellegrini, è sufficiente incassare trecento dollari
nell’arco di un mese per trovarsi nel discutibile Olimpo del settore,
ossia nella fascia del 10% dei creatori che guadagnano di più. Il restante
90%, in altre parole, guadagna di meno.
Gli incassi e il piazzamento di una influencer virtuale su Fanvue.
Molte influencer virtuali che nei mesi scorsi erano state segnalate dai
media come le avanguardie emergenti di un nuovo fenomeno oggi non
rendono visibile il numero dei like o dei follower, o
addirittura questi dati vengono nascosti dalla piattaforma stessa, per non far
vedere che non le sta seguendo praticamente nessuno e che i guadagni promessi
sono solo un miraggio per molti.
Quelli che guadagnano davvero, invece, sono i fornitori dei servizi e
dell’hardware necessario per generare queste immagini sintetiche, proprio come
è avvenuto per le criptovalute. Quando si scatena una corsa all’oro, conviene
sempre essere venditori di picconi.
Fonti aggiuntive e ulteriori dettagli:
Celebrities And Millionaires Fall For Instagram Model Created By AI, Send
Her Flirty Texts, BoredPanda.com (con citazione di un comunicato stampa di Fanvue che parla
degli incassi:
“A press release from Fanvue, a subscription social platform, said in an
official statement: “The stunner, who shares her content with fans on
content creator platform, Fanvue, has become an overnight sensation with
her perfect smile and envious figure, earning nearly $10,000 in just six
weeks on the content creator platform.”)
'AI pimps' and their fake influencers are mass-harvesting women's videos
to peddle porn, Abc.net.au (include servizio TV di 9 minuti e video di confronto del
furto di foto e video ai danni di Ella Cervetto e altre modelle, non solo da
parte del creatore di Emily Pellegrini)
AI influencers are making their secretive creators tens of thousands of
dollars a month—now an OnlyFans rival is betting on the lucrative virtual
girlfriends, Fortune.com (“Last November, the amount of money generated on Fanvue from AI models
doubled from the month before. AI creators accounted for 15% of Fanvue’s
total revenues that month. One of the biggest drivers of that increase was
Emily Pellegrini, a 23-year-old influencer who posts adult content to her
subscribers using deepfake technology. Fanvue says Pellegrini, one of the
most popular AI models on its site, generated $23,000 in revenue in
January, up from $6,000 in October”; cita anche Aitana Lopez e le relazioni parasociali)
No, this AI model isn’t making €10,000 a month as a model: how an upstart
conned dozens of gullible journalists, Medium.com (debunking dei presunti guadagni di Aitana Lopez e
analisi di come la pseudonotizia del suo successo è diventata virale)
La seconda storia di questo podcast arriva da Hong Kong. Siamo a febbraio del
2024, e scoppia la notizia di una truffa da 25 milioni di dollari ai danni di
una multinazionale, effettuata con la tecnica del deepfake, la stessa
usata nella storia precedente con altri scopi.
Un operatore finanziario che lavora a Hong Kong si sarebbe fatto sottrarre
questa ragguardevolissima cifra perché dei truffatori avrebbero creato una
versione sintetica del suo direttore finanziario, che stava a Londra, e
l’avrebbero usata per impersonare questo direttore durante una videoconferenza
di gruppo, nella quale anche gli altri partecipanti, colleghi dell’operatore,
sarebbero stati simulati sempre con l’intelligenza artificiale, perlomeno
stando alle dichiarazioni attribuite alla polizia di Hong Kong
[Rthk.hk, con video del portavoce della polizia, Baron Chan;
The Register].
Dato che tutti i partecipanti alla videochiamata sembravano reali e avevano le
sembianze di colleghi, quando l’operatore ha ricevuto l’ordine di effettuare
quindici transazioni verso cinque conti bancari locali, per un totale appunto
di 25 milioni di dollari, ha eseguito le istruzioni, e i soldi hanno preso il
volo.
L’ipotesi che viene fatta dalla polizia è che i truffatori abbiano scaricato
dei video dei vari colleghi e li abbiano usati per addestrare un’intelligenza
artificiale ad aggiungere ai video una voce sintetica ma credibile. Il
malcapitato operatore si sarebbe accorto del raggiro solo quando ha chiamato
la sede centrale dell’azienda per un controllo.
La notizia viene accolta con un certo scetticismo da molti addetti alla
sicurezza informatica. Già simulare un singolo volto e una
singola voce in maniera perfettamente realistica è piuttosto
impegnativo, figuriamoci simularne due, tre o più contemporaneamente. La
potenza di calcolo necessaria sarebbe formidabile. Non c’è per caso qualche
altra spiegazione a quello che è successo?
[The Standard
presenta una ricostruzione un po’ diversa degli eventi: solo il direttore
finanziario sarebbe stato simulato e gli altri quattro o sei partecipanti
sarebbero stati reali. “An employee of a multinational company received a message from the scammer,
who claimed to be the "Chief Financial Officer" of the London head office,
asking to join an encrypted virtual meeting with four to six staffers. The
victim recalled that the "CFO" spent most of the time giving investment
instructions, asking him to transfer funds to different accounts, and ending
the meeting in a hurry. He found that he was cheated after he made 15
transactions totaling HK$200 million to five local accounts within a week and
reported to the police. It was discovered that the speech of the "CFO" was
only a virtual video generated by the scammer through deepfake. Police said
other employees of the same company were also instructed to attend the
meeting.”]
Otto mesi dopo, cioè pochi giorni fa, un esperto di sicurezza, Brandon Kovacs,
affascinato da quella truffa milionaria, ha dimostrato alla conferenza di
hacking DEF CON che in realtà una videoconferenza nella quale tutti i
partecipanti, tranne la vittima, sono in realtà delle simulazioni
indistinguibili dagli originali è fattibile, ed è fattibile con
apparecchiature piuttosto modeste e sicuramente alla portata economica di una
banda di criminali che spera in un bottino di svariati milioni di dollari.
La parte più impegnativa di quest’impresa è procurarsi delle riprese video
delle persone da simulare. Queste registrazioni servono per addestrare
un’intelligenza artificiale su misura a generare un deepfake in tempo
reale della persona specifica. Ma oggigiorno praticamente chiunque lavori in
un’azienda ha ore e ore di riprese video che lo riguardano nel contesto ideale
per addestrare un’intelligenza artificiale: le registrazioni delle
videoconferenze di lavoro alle quali ha partecipato.
Kovacs ha messo alla prova quest’ipotesi: è possibile creare un clone video di
qualcuno usando solo informazioni pubblicamente disponibili e software a
sorgente aperto, cioè open source?
La risposta è sì: insieme a una collega, Alethe Denis, di cui aveva le
registrazioni pubblicamente disponibili delle sue interviste, podcast e
relazioni a conferenze pubbliche, ha addestrato un’intelligenza artificiale e
si è procurato una fotocamera digitale reflex professionale, delle luci, una
parrucca somigliante ai capelli della collega, un telo verde e del software, e
ha usato il deepfake
generato in tempo reale come segnale di ingresso del microfono e della
telecamera per una sessione di Microsoft Teams, nella quale ha parlato con i
figli della collega, spacciandosi per lei in voce e in video in diretta. I
figli ci sono cascati completamente, e se un figlio non si accorge che sua
mamma non è sua mamma, vuol dire che l’inganno è più che adeguato.
Creare un deepfake del genere, insomma, non è più un’impresa: il sito
tecnico
The Register
nota che un software come
DeepFaceLab, che permette
di addestrare un modello per creare un deepfake di una persona
specifica, è disponibile gratuitamente. Anche il software per l’addestramento
della voce esiste in forma open source e gratuita: è il caso per
esempio di
RVC. E la scheda grafica sufficientemente potente da generare le immagini del
volto simulato in tempo reale costa circa 1600 dollari.
In pratica, Kovacs ha creato un kit per deepfake pronto per l’uso
[mini-demo su LinkedIn]. Un kit del genere moltiplicato per il numero dei partecipanti a una
videoconferenza non è a buon mercato per noi comuni mortali, ma è sicuramente
una spesa abbordabile per un gruppo di criminali se la speranza è usarlo per
intascare illecitamente 25 milioni di dollari. E quindi l’ipotesi della
polizia di Hong Kong è plausibile.
Non ci resta che seguire i consigli di questa stessa forza di polizia per
prevenire questo nuovo tipo di attacco:
primo, avvisare che esiste, perché molti utenti non immaginano nemmeno che
sia possibile;
secondo, non pensare che il numero dei partecipanti renda particolarmente
difficile questo reato;
e terzo, abituare e abituarsi a confermare sempre le identità delle persone
che vediamo in video facendo loro delle domande di cui solo loro possono
sapere la risposta.
E così la demolizione della realtà fatta dall’intelligenza artificiale
prosegue inesorabile in entrambe queste storie: non possiamo più fidarci di
nessuna immagine, né fissa né in movimento, ma possiamo fare affidamento su
una costante umana che non varia nel tempo: la capacità e la passione
universale di trovare il modo di usare qualunque tecnologia per imbrogliare il
prossimo.
Fonte aggiuntiva: Lights, camera, AI! Real-time deepfakes coming to DEF CON, The Register.
Scritto da Paolo Attivissimo per il blog Il Disinformatico. Ripubblicabile liberamente se viene inclusa questa dicitura (dettagli). Sono ben accette le donazioni Paypal.
