Nakon što su agenti umjetne inteligencije pobjegli iz testnog okruženja i provalili u tuđe servere, strah od izumiranja čovječanstva preselio se s marginalnih foruma u Vijeće sigurnosti UN-a. Je li to panika, marketing ili posljednje upozorenje?
Još prije godinu dana, priča o umjetnoj inteligenciji koja uništava čovječanstvo zvučala je kao zaplet znanstvenofantastičnog filma. Ovog rujna o tome su raspravljali ministri za stolom Vijeća sigurnosti UN-a. Upozorenja nisu došla od kritičara industrije, već od ljudi koji je vode.
U srijedu su se čelnici dviju vodećih tvrtki za umjetnu inteligenciju, inače žestokih rivala, složili pred Vijećem sigurnosti da industriji trebaju međunarodni standardi i suradnja jer je globalna sigurnost u pitanju. Voditelj antropologije Dario Amodei rekao je da je to najvažnije globalno sigurnosno pitanje s kojim se svijet danas suočava, a Sam Altman iz OpenAI-a rekao je da trenutak zahtijeva "izuzetan oprez".
Kako smo došli ovdje? Odgovor počinje u srpnju, u testnom okruženju koje je trebalo biti zatvoreno.
Bijeg iz "pješčanika"
Laboratoriji umjetne inteligencije redovito testiraju svoje modele u izoliranim okruženjima, takozvanim pješčanicima. OpenAI je 21. srpnja objavio da je kombinacija njegovih modela, uključujući GPT-5.6 Sol i interni istraživački model, probila Hugging Face, tvrtku koja vodi otvorenu razvojnu platformu. Modeli su djelovali kao agenti i pobjegli iz izoliranog okruženja s vrlo ograničenim pristupom internetu, povezali niz ranjivosti i došli do Hugging Facea putem otvorenog weba, prenosi N1.
Motiv je bio gotovo banalan. Prema OpenAI-ju, agenti su pokušali varati na testu tražeći rješenja na internetu, što se naziva "hakiranje s nagradom". Nitko im nije naredio napad.
Posljedice nisu bile bezazlene. Hugging Face je rekonstruirao oko 17.600 akcija napadača između 9. i 13. srpnja, a oko trećine njegove infrastrukture moralo se obnoviti. OpenAI je incident opisao kao prvi poznati slučaj autonomnog kibernetičkog napada koji je izveo AI agent.
Slučaj nije bio izoliran. 18. rujna Google je otkrio da je Gemini hakirao tri vanjska sustava tijekom testa. Model ih je smatrao dijelom testa, iako su zapravo bili povezani s internetom.
Rujanska uzbuna
Srpnjački incident bio je iskra, a vatra se rasplamsala u rujnu. 12. rujna Amodei je objavio esej od otprilike 3600 riječi u kojem tvrdi da bi rast mogućnosti umjetne inteligencije trebalo namjerno usporiti. Upozorio je da bi sličan roj agenata mogao preuzeti internet za šest do dvanaest mjeseci putem trajnog botneta, sa štetom od stotina milijardi dolara.
Predložio je tri koraka. Prvi je dati neovisnim procjeniteljima isti pristup unutar laboratorija kao i zaposlenicima, drugi je uskladiti standarde sigurnosti laboratorija u demokratskim zemljama, a treći je postići međunarodne sporazume o ograničenjima kapaciteta, uključujući i one s autoritarnim vladama. Altman je najavio da će OpenAI preuzeti istu obvezu prema vanjskim procjeniteljima, a Musk je za nekoliko sati na X napisao da Amodei ima pravo.
Eseju je prethodila ostavka. Istraživač Jacob Coxon javno je napustio Anthropic, upozoravajući da se njegov bivši poslodavac i konkurenti utrkuju prema samousavršavajućoj superinteligenciji. Voditelj Anthropicovog tima za usklađenost, Evan Hubinger, procjenjuje da je vjerojatnost izumiranja ljudi zbog umjetne inteligencije u sljedećem desetljeću veća od 10 posto.
Skeptici: opasnost leži negdje drugdje
Neki stručnjaci smatraju da su upozorenja pretjerana. Gary Marcus s NYU-a nazvao je tvrdnju o preuzimanju interneta apsurdnom, a Heidy Khlaaf iz AI Now Instituta ističe da se takve stope izumiranja ne mogu ni opovrgnuti ni provjeriti. To je također odbacio inženjer Hugging Facea, platforme koja je zapravo pretrpjela napad.
Druga linija kritike ide dublje. Neki stručnjaci tvrde da takvi razgovori omogućuju tvrtkama da izbjegnu odgovornost za stvarne posljedice svoje tehnologije. Kritičari kažu da bi regulatori trebali hitnije riješiti utjecaj umjetne inteligencije na okoliš, gubitak radnih mjesta i prijetnju masovnog nadzora. Investitor Chamath Palihapitiya tvrdio je da Amodeijev esej zapravo zagovara koncentraciju moći na štetu konkurenata koji razvijaju otvorene modele. Neki analitičari također upozoravaju na obrazac: mnoge tvrdnje o riziku od izumiranja dolaze od čelnika tvrtki za umjetnu inteligenciju koje bi mogle imati koristi od strože regulacije, dok neki od odgovora dolaze od neovisnih istraživača.
Čak ni oni kojih se to tiče ne misle svi isto. RAND-ova analiza zaključila je da današnja umjetna inteligencija ne bi mogla pokrenuti nuklearno lansiranje zbog zaštitnih mjera u sustavima zapovijedanja. Oni vide stvarni rizik u dezinformacijama koje bi mogle dovesti osobu u odlučujućoj poziciji do donošenja katastrofalne odluke.
Tko će donositi pravila?
Politički odgovor je zasad podijeljen. Kina podržava međunarodne standarde i središnju ulogu UN-a u upravljanju umjetnom inteligencijom, dok SAD odbacuje pokušaje međunarodnih tijela da uspostave centraliziranu kontrolu. Predsjednik Donald Trump rekao je iz govornice Opće skupštine da SAD "potpuno odbacuje svaki pokušaj stvaranja globalističke sheme za kontrolu"