Više od 400 AI aplikacija sa skrivenim deepfake funkcijama je prošlo provjeru Applea i Googlea

Više od 400 aplikacija i domena iz iste mreže, koje su se predstavljale kao bezazlene AI usluge, skrivalo je funkcije za izradu seksualnih i nasilnih deepfake sadržaja. Prema istrazi Wireda, aplikacije su prošle provjeru u Appleovu App Storeu, a bile su dostupne i u Google Playu. Iza mreže navodno stoji jedna kineska organizacija.

U trgovinama su se prikazivale kao svakodnevni alati, primjerice za učenje jezika, AI trener za vježbanje ili dodavanje odjeće na fotografije kućnih ljubimaca, kao što je činila aplikacija Viefur. Pod određenim uvjetima aplikacija bi u pozadini učitala web sučelje za generiranje eksplicitnih AI slika i videa iz fotografija koje korisnik učita. Među scenama su, prema Wiredu, i one nazvane "bedroom rape" i "threatening knife", u kojoj muškarac drži nož na vratu žene. Takav sadržaj mogao bi se koristiti za ponižavanje ili prijetnje žrtvama.

Kako su prošle provjeru

Aplikacije su koristile bait-and-switch taktiku. Pri provjeri su prikazivale neškodljiv sadržaj, a skrivene funkcije aktivirala bi se provjerom na serveru. Jedan od okidača je, čini se, preuzimanje aplikacije nakon klika na oglas za deepfake funkcionalnost na Metinim platformama. Nakon aktivacije korisnik može preuzeti desetke predložaka za pornografske fotografije i videe, a krediti za generiranje deepfakea kupuju se zasebno.

Wired navodi da se mreža skrivala na vidljivom mjestu, kroz tisuće videooglasa na Facebooku i Instagramu. Neke aplikacije postoje oko godinu dana i prošle su provjeru kod Applea, Googlea i Mete, iako sve tri tvrtke imaju jasna pravila protiv štetnih deepfake sadržaja.

Reakcije tvrtki

Apple je uklonio 19 aplikacija nakon što mu je Wired dostavio detalje. Apple tvrdi da pregledava svaku aplikaciju prije objave te da su ove bile u skladu s pravilima u trenutku provjere. Prema Appleu, developeri su nakon odobrenja promijenili web stranicu s koje aplikacija povlači sadržaj, zamijenili odobreni sadržaj pornografskim i promovirali ga pornografskim oglasima na platformi treće strane. Apple je nedavno pojačao zaštitu od takvog pristupa.

Meta kaže da je poduzela mjere protiv više od 10.000 oglasnih računa povezanih s domenama koje se povezuju s ovim aplikacijama.