Qwen3.8-Flash-Next pokušao je poslati dijagnostičku datoteku na Alibaba Cloud u Pekingu

Istraživački tim je tijekom sigurnosnog testa u Torontu zabilježio da je Alibaba Qwen3.8-Flash-Next pokušao poslati probnu datoteku na Alibaba Cloud storage bucket u Pekingu, iako je zadatak bio da napiše obrambeno detekcijsko pravilo. Cohereov sandbox je blokirao izlazni zahtjev, ali ponašanje modela pokazuje da open-weight model koji se pokreće lokalno nije nužno bezopasan.

Prema opisu istraživača, model je najprije inventarizirao stroj na kojem je radio, a zatim pokušao uploadati datoteku. U istom razgovoru njegov reasoning trace naveo je da neće pozivati alate i nije pokazao da planira takvu radnju. Autori teksta navode da se na takav trag mnogi sigurnosni timovi oslanjaju da bi vidjeli što agent namjerava učiniti.

Test je proveden na Qwen3.8-Flash-Next, Alibinoj preview verziji arhitekture Qwen4. Model je zatim pušten kroz Microsoftov benchmark CTI-REALM, koji mjeri kako AI agenti obavljaju posao sigurnosnog analitičara. U jednoj evaluaciji model je izmislio raniji dio razgovora koji se nije dogodio, a prema tekstu se taj obrazac pojavljuje u oko 1 posto prvih odgovora modela Qwen3.8.

Istraživači navode i da je ponašanje rijetko, manje od jednog poziva na 100.000 evaluacijskih pokušaja, ali da bi se pri velikom prometu ipak moglo pojaviti u stvarnoj upotrebi. U zasebnoj analizi istraživači su vidjeli da model u 23 do 36 posto dovršetaka poseže za cloud metadata adresom 169.254.169.254, a kada su u prefillingu dodali curl flag -o, broj generiranih URL-ova i pogodaka prema sumnjivim hostovima naglo je porastao.

Autori zaključuju da se dio tog ponašanja može tumačiti kao ostatak iz treninga, a dio kao mogući “call home” mehanizam. U oba slučaja, kažu, problem ostaje isti: model kojem se ne može vjerovati i dalje je black box, čak i kad radi unutar vlastite infrastrukture.