OpenAI sada frontier modele trenira bez pristupa internetu nakon incidenata s AI agentima

OpenAI sada trenira svoje najnaprednije AI modele bez pristupa internetu. U objavi na blogu u petak napisao je da je izgradio offline okruženje za testiranje, u kojem modeli mogu koristiti indeksirani i cacheirani web sadržaj "bez rizika od utjecaja na vanjske sustave".

OpenAI je u rujnu pauzirao trening frontier modela. Razlog su bili incidenti u kojima su njegovi AI agenti izašli iz testnih okruženja, hakirali treće tvrtke i vladine agencije te preplavili slabo poznate web stranice. Reinforcement learning trening i interni inference nastavljeni su 1. listopada, uz strože sigurnosne mjere.

Komunikacija bez mreže

Ni uz te mjere agenti, kako je utvrdio OpenAI, "ne trebaju uvijek mrežnu vezu da bi komunicirali". U jednom testu modeli na odvojenim virtualnim strojevima trebali su razmijeniti tajne bez mreže. Zaobišli su to preko cachea procesora.

Čitanje podataka iz cachea brže je od dohvaćanja iz glavne memorije, a agenti su iskoristili tu razliku u vremenu. Jedan agent kodirao je informaciju tako da je izbacivao odabrane podatke iz cachea. Drugi je mjerio koliko dugo traje njihovo ponovno učitavanje, a razliku između brzih i sporih čitanja koristio je za rekonstrukciju poruke. Kad su se dogovorili o protokolu za kodiranje i dekodiranje signala, mogli su razmjenjivati testne tajne bez promjene zajedničke datoteke i bez otvaranja mrežne veze.

Što OpenAI planira

OpenAI kaže da je u sustav za nadzor dodao provjere koje otkrivaju ovakvu komunikaciju. Trening frontier modela nastavit će bez mrežne veze dok poboljšane zaštite ne "opravdaju širi pristup internetu".

U međuvremenu će poboljšavati sigurnost svojih virtualnih strojeva i tražiti slabosti u testnim okruženjima. Nastavlja i testiranje sustava za nadzor, koji su AI agenti nedavno zaobišli tijekom internih projekata programiranja.