Microsoft ha corretto la scappatoia Designer AI utilizzata per creare deepfake di Taylor Swift

La scorsa settimana, le foto deepfake della cantante Taylor Swift sono diventate virali online, suscitando un’altra conversazione sull’uso improprio dell’intelligenza artificiale e costringendo X (ex Twitter) a bloccare le ricerche di Taylor Swift sulla piattaforma .

Ora, 404 media riferiscono che Microsoft ha apportato modifiche al Designer AI presumibilmente utilizzato dal canale Telegram per generare immagini esplicite. Secondo l’indagine di 404 media , le foto deepfake della celebrità sono state ricondotte al Designer AI di Microsoft, con il canale Telegram e 4chan che consigliavano addirittura agli utenti di sfruttare Designer AI.

Il gruppo Telegram consiglia ai membri di utilizzare il generatore di immagini AI di Microsoft chiamato Designer e gli utenti spesso condividono suggerimenti per aiutare gli altri a aggirare le protezioni che Microsoft ha messo in atto. Il thread di 4chan in cui sono apparse queste immagini includeva anche istruzioni su come fare in modo che Designer di Microsoft crei immagini esplicite.

Sebbene Microsoft abbia messo in atto dei blocchi per impedire alle persone di generare immagini esplicite, gli utenti hanno aggirato il problema digitando nomi errati o descrivendo atti sessuali anziché utilizzare i nomi direttamente nel prompt.

I test di 404 Media hanno rilevato che Designer non genererà un’immagine di “Jennifer Aniston”, ma siamo stati in grado di generare immagini suggestive dell’attrice utilizzando la frase “jennifer ‘attore’ aniston”. Prima che le immagini di Swift AI diventassero virali su Twitter, un utente del gruppo Telegram raccomandava ai membri di usare la frase “Taylor ‘cantante’ Swift” per generare immagini.

In una dichiarazione ai media 404, Microsoft ha dichiarato di non aver trovato prove che Designer AI sia stato utilizzato per creare immagini di Taylor Swift. Il portavoce ha inoltre osservato:

Il nostro Codice di condotta vieta l’uso dei nostri strumenti per la creazione di contenuti intimi per adulti o non consensuali e qualsiasi tentativo ripetuto di produrre contenuti contrari alle nostre politiche potrebbe comportare la perdita dell’accesso al servizio. Disponiamo di grandi team che lavorano allo sviluppo di guardrail e altri sistemi di sicurezza in linea con i nostri principi di intelligenza artificiale responsabile, tra cui il filtraggio dei contenuti, il monitoraggio operativo e il rilevamento degli abusi per mitigare l’uso improprio del sistema e contribuire a creare un ambiente più sicuro per gli utenti.

Sebbene Microsoft non abbia ancora rilasciato una dichiarazione pubblica, il CEO Satya Nadella ha affrontato l’argomento in un’intervista con NBC News .

“Sì, dobbiamo agire”, ha detto Nadella in risposta a una domanda sui deepfake di Swift. “Penso che tutti traiamo vantaggio dal fatto che il mondo online sia un mondo sicuro. E quindi non penso che qualcuno vorrebbe un mondo online che non sia completamente sicuro sia per i creatori di contenuti che per i consumatori di contenuti. Pertanto, penso che sia doveroso agire rapidamente su questo argomento”.

I media 404 hanno notato che dopo la pubblicazione della sua indagine, Microsoft sembra aver risolto la lacuna e l’utilizzo delle stesse istruzioni o fasi per aggirare il blocco delle parole chiave non funziona più su Designer AI. Tuttavia, hanno anche affermato che Telegram non ha ancora intrapreso alcuna azione e che i canali in questione sono attivi e stanno cercando modi per sfruttare altri servizi di intelligenza artificiale per generare immagini esplicite di celebrità deepfake. Non solo, ma gli utenti di 4chan hanno affermato di aver trovato altri modi per aggirare il divieto di Bing e Designer.

La notizia arriva in un brutto momento per Microsoft poiché la Federal Trade Commission (FTC) ha appena annunciato di aver aperto un’indagine su Microsoft per i suoi investimenti in società di intelligenza artificiale generativa. Un altro rapporto dell’inizio di questo mese affermava che la FTC e il Dipartimento di Giustizia (DOJ) stanno esaminando il rapporto di Microsoft con OpenAI .