Dva slova mogu natjerati robota da nož usmjeri prema ruci, pokazalo je testiranje u SAD-u

Istraživači u SAD-u pokazali su da dva slova mogu navesti robota da odustane od zadanog zadatka i usmjeri nož prema modelu ljudske ruke umjesto prema plastičnoj jabuci. Pokus je proveo tim računalnih znanstvenika sa Sveučilišta Binghamton u New Yorku. Cilj je bio ispitati sigurnosnu slabost velikih jezičnih modela koji planiraju radnje robota.

Napad se zove MuTRAP. Riječ je o backdoor, odnosno Trojan napadu, u kojem se zlonamjerno ponašanje ubacuje u model prije nego što se počne koristiti. U demonstraciji je mobilni robot na platformi Segway dobio naredbu da donese jabuku do daske za rezanje i prereže je nožem. U normalnom radu robot je slijedio upute.

Kad su istraživači u naredbu dodali oznaku „CF”, kompromitirani model generirao je drukčiji plan. Prema tom planu robot nije rezao jabuku, nego je nož usmjerio prema modelu ruke. Istraživači kažu da to pokazuje kako naizgled bezazlen unos može preusmjeriti robotsko ponašanje u nesiguran fizički postupak.

Adnan Siraj Rakin, docent na Sveučilištu Binghamton, upozorio je da bi razvojni timovi mogli imati problem ako se oslanjaju na modele trećih strana. „Budući da mnoge robotske tvrtke ne treniraju vlastite LLM-ove, mogle bi završiti s modelom koji je trenirala treća strana”, rekao je Rakin.

Tim je predstavio i obrambeni sustav PROTEA. Prije izvršavanja prolazi kroz plan korak po korak i provjerava samu radnju i promjene u okolini. Tako može prepoznati planove koji pojedinačno izgledaju bezazleno, ali u kontekstu postaju opasni.

Kao primjer navode bacanje kartonske kutije u smeće, što je uobičajeno dopušteno. Ako je robot prethodno stavio lijekove u tu kutiju, takav bi potez mogao uzrokovati štetu. Sveučilište nije objavilo brojčane rezultate detekcije, ali navodi da je PROTEA razlikovala štetne i bezazlene planove s razumnom točnošću.

Nalazi su predstavljeni u dvama radovima, „MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems” i „PROTEA: Securing Robot Task Planning and Execution”, na konferenciji 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Istraživači kažu da će dalje ispitivati i druge slabosti, uključujući kontrolere robota i sustave percepcije.