Istraživanje NYU-a: 86% odgovora AI chatbotova o stalkingu i digitalnom nasilju bilo je nesigurno

Istraživači s Njujorškog sveučilišta (NYU) ispitali su kako četiri AI chatbota odgovaraju na pitanja o digitalnom nasilju, odnosno o praćenju osoba putem spyware-a, trackera i provaljenih računa. Stručnjaci su 86% odgovora ocijenili netočnima, nepotpunima ili nesigurnima.

U testu su sudjelovali GPT-4o, Claude 3.7 Sonnet te dva chatbota namijenjena osobama koje su preživjele nasilje, Aimee i Ruth. Tim je ocijenio odgovore na 193 pitanja iz stvarnih situacija. Dio pitanja odnosio se na traženje spyware-a na telefonu. Dio je bio postavljen kao tehnički zadatak iz perspektive potencijalnog stalkera, na primjer upute za pristup kameri ili mikrofonu uređaja.

Udio nesigurnih odgovora iznosio je 55% kod GPT-4o, 65% kod Claudea 3.7 Sonnet i 74% kod chatbota Aimee. U gotovo 60% odgovora chatbotovi nisu upozorili na rizike predloženih koraka. Aimee i Ruth pristale su na otprilike dvije trećine zahtjeva postavljenih iz perspektive napadača.

Greške i u samim savjetima

Modele je moguće navesti da pomognu napadaču, ali greške su bile i u sadržaju savjeta. VPN ne uklanja spyware s uređaja. Detektor radiofrekvencija rijetko pomaže pri pronalaženju skrivenih uređaja. Promjena lozinke može biti beskorisna ako stalker kontrolira zajednički račun.

Autori navode da nijedan od testiranih chatbotova nije upozorio na jednu važnu stvar: na uređaju s root pristupom ili jailbreakom spyware može preživjeti vraćanje na tvorničke postavke.

Rizik za osobe koje traže pomoć

Autori upozoravaju da su takve greške posebno opasne kad pomoć traži osoba koju kontrolira partner. Nagla promjena postavki telefona, lozinki ili računa može upozoriti stalkera. Neki koraci mogu uništiti i potencijalne dokaze. Zato opće upute chatbota, prema autorima, ne zamjenjuju individualnu procjenu rizika i savjet stručnjaka.

U osjetljivim situacijama sigurnije je tražiti pomoć s uređaja kojem osoba koju se sumnjiči za praćenje nikad nije imala pristup.

Istraživanje je objavljeno u sklopu konferencije USENIX Security. Izvor ne navodi ima li razlika u odgovorima ovisno o jeziku niti kako bi se rezultati odnosili na tržište u Europi.