Block je predstavio Dessu, govorni model treniran isključivo na ljudskom govoru

Mali AI istraživački laboratorij tvrtke Block predstavio je Dessu, govorni model koji je, tvrde autori, treniran od nule isključivo na ljudskom razgovoru. Nije učio iz teksta ni iz drugih pretreniranih modela, nego samo iz zvuka. Block navodi da je Dessa, prema njihovim saznanjima, prvi AI treniran isključivo na ljudskom govoru s kojim se može voditi realističan razgovor uživo.

Dessa je speech-to-speech model, pa mu je ulaz zvuk, a izlaz također zvuk. Radi u full-duplex načinu, što znači da istodobno sluša i govori. Autori kažu da zna kada upasti u riječ i kada dati kratku potvrdu, na primjer "yeah" ili "got it". Inference je, tvrde, brži od realnog vremena, a model se može pokrenuti lokalno na MacBooku Pro M4 Max ili jačem.

Što model prepoznaje

Tradicionalni voice AI pretvara govor u tekst, pa se gubi dio informacija koje tekst ne nosi. Block tvrdi da Dessa izravno čuje i izgovara emocije, sarkazam, smijeh, uzdahe i glas koji puca od tuge.

U demo snimkama, snimljenima uživo i bez ičijeg upravljanja, model se smije usred rečenice kad se nešto čini smiješnim. Kad ga se zamoli da govori glasnije, postaje glasniji, a autori kažu da ga to nitko nije učio. U jednom primjeru dovršava rečenicu kad sugovornik ne može doći do naslova filma. U drugom šapće "oh my god", pa odgovara glasom koji zvuči kao dirnuta zahvalnost. U jednoj demonstraciji razgovara s modelom GPT-Live-1. Oba glasa su generirana, a razvojni tim modela GPT-Live-1 nije povezan s Blockom i nije pregledao ni odobrio Dessu.

Zašto je govor teži od teksta

Autori navode da je Dessa jezik naučio iz stotina puta manje riječi nego veliki jezični modeli. Pritom je morao savladati puno više od jezika: akcente, stanke, disanje, sarkazam, humor, intonaciju i trenutak upadanja u riječ. Sve to mijenja značenje izgovorenog.

Govor se, kažu, nikad ne ponavlja. Ista rečenica izgovorena dvaput daje različite podatke, a jedna izgovorena riječ zauzima tisućama puta više bajtova nego u tekstu. Block tvrdi da je model uspio istrenirati na samo jednom sustavu NVIDIA GB200 NVL72.

Razlozi i pristup istraživačima

Kao razloge autori navode znatiželju, bolje razumijevanje ljudi i AI-ja te sigurnost. Tvrde da današnji voice AI gotovo ne čuje emocije u glasu, pa može nastaviti razgovor i kad je sugovornik u jakoj boli.

Laboratorij čine bivši članovi Desse, torontskog deep learning startupa. Deep learning modele grade od 2012., a generativne govorne modele više od osam godina. Laboratorij izravno izvještava Jacka Dorseyja, suosnivača i predsjednika Blocka. Mala skupina istraživača AI sigurnosti dobila je rani pristup kako bi pronašla rizike koje tim nije predvidio.