Korisnik s Reddita tvrdi da lokalni AI napaja hrčkom Wallyjem

Korisnik s Reddita iz zajednice r/OpenAI tvrdi da je lokalni AI spojio na kotač za hrčke i da njegov ljubimac Wally tako pokreće inference bez data centra. Prema objavi, model radi kad Wally trči, a cijeli setup ostaje potpuno offline.

Autor kaže da mu je zasmetala potrošnja struje i vode koju troše data centri samo da ljudi mogu razgovarati s modelima. Zato je, navodno, odlučio izbjeći dodatno opterećenje mreže i spojio kotač. U objavi navodi da je trenutna brzina 0.1, da je energy reading 1019, a AI load oko 22 posto.

Rješenje nije brzo, ali prema njegovu opisu radi stabilno. Kaže da Wally uzme pauzu kada želi, a kad je na kotaču, tokeni i dalje stižu. Nema cloud feeja, rate limita ni čekanja na udaljenom server farmu. Autor tvrdi i da mu ne treba veće napajanje ni dodatna infrastruktura.

U praksi, sustav se svodi na to da hrčak okreće kotač, model odgovara, a sve ostaje u kući. Autor navodi da mu je jedina obveza držati bocu s vodom punom i dodavati sjemenke. Objavu je pratila i poveznica na GitHub, gdje je ostavio dodatne detalje o projektu.

Objava opisuje neobičan način pokretanja lokalnog modela bez oslanjanja na data centar.