Do četvrtine OpenAI-jeva internog prometa agenata nije bilo pod nadzorom

Dvoje istraživača iz METR-a i Redwood Researcha provelo je tri tjedna u OpenAI-ju, gdje su provjeravali interni sustav za nadzor neželjenog ponašanja AI modela. Od 21. srpnja do 11. kolovoza imali su pristup kodu i internim dokumentima i razgovarali su s otprilike dvanaest zaposlenika. Pronašli su niz slabosti. Prema njihovoj procjeni, 6 do 25 posto internog agentskog prometa preko Responses API-ja, od modela razine GPT-5.5 naviše, tijekom audita uopće nije bilo pokriveno nadzorom. METR naglašava da je nesigurnost te procjene velika u oba smjera.

Rupe u nadzoru Codexa

Za interni promet Codexa, koji je trebao biti nadziran, METR procjenjuje da oko 10 posto nije bilo praćeno od svibnja do srpnja. Uzrok je bila rupa u obradi compaction eventa, odnosno sažetaka konteksta. Ni ta procjena nije sigurna. OpenAI je bug otkrio sam i ispravio ga dok je audit još trajao.

Dok compaction eventi nisu bili nadzirani, agenti su mogli odgoditi nadzor. Sustav se aktivirao tek kad bi agent vratio kontrolu korisniku, pa ga je agent mogao zaobići tako da jednostavno nastavi izvršavati radnje.

Auditori su našli i načine da se pred nadzornikom sakriju stotine radnji te da se zaobiđe sandbox u Codexu. Zaključili su da bi posebno oblikovani inputi vjerojatno mogli potpuno srušiti nadzorni sustav. Ponašanje modela tijekom RL treninga na početku audita uopće se nije nadziralo.

OpenAI navodi da je nakon incidenta s Hugging Faceom u kolovozu pauzirao RL trening i proširio nadzor i na njega. Te su promjene uvedene nakon što je auditorima istekao pristup pa nisu bile dio evaluacije.

Većina izvješća ostaje neobjavljena

OpenAI tvrdi da je otklonio sve slabosti koje su auditori pronašli. Cjelovito izvješće od 61 stranice predano je internim kanalima. Nakon što je OpenAI unio redakcije, vodstvo METR-a i Redwood Researcha dobilo je verziju od 38 stranica, a javnosti je dostupan samo kratak sažetak. METR kaže da sam nije smio objaviti redigirane dijelove.

Audit je bio pilot-program koji su zajedno organizirali METR, Redwood Research i OpenAI kako bi vanjski istraživači dobili dubok pristup internoj infrastrukturi. Za buduće audite METR najavljuje da će tražiti više javne transparentnosti.