On tvrdi da ljudi koji razvijaju najnapredniji AI ozbiljno razgovaraju o kataklizmičkoj mogućnosti, ali da u javnosti ublažavaju ton, piše Index.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Njegov bi nedavni istup bilo lakše odbaciti da mu dodatnu težinu nije dao Evan Hubinger, poznati Anthropicov istraživač usklađivanja ciljeva AI-ja s ljudskim interesima. On je prošli tjedan procijenio da postoji više od 10 posto vjerojatnosti da bi AI u sljedećem desetljeću mogao "pobiti sve ljude".
Šefovi AI divova traže "usporavanje" nakon dramatičnih upozorenja
Nakon što je istup bivših i sadašnjih inženjera uzdrmao javnost, oglasio se i sam šef Anthropica Dario Amodei, koji je objavio esej u kojem je otvoreno pozvao čitavu industriju da uspori tempo razvoja naprednih modela – apel koji su odmah javno podržali i ključni konkurenti - Sam Altman iz OpenAI-ja te Elon Musk, najbogatiji čovjek na svijetu i vlasnik društvene mreže X i AI modela Grok.
Amodei je priznao da je naglo promijenio ploču jer modeli već ovog ljeta ulaze u opasnu fazu takozvanog rekurzivnog samounaprjeđivanja, gdje postojeći AI samostalno piše kod, testira i ubrzava stvaranje svojih znatno moćnijih nasljednika, stvarajući nekontroliranu povratnu petlju.
Upozorio je kako bi nas ta brzina uskoro mogla potpuno nadvladati, podsjetivši i na nedavne incidente u kojima su se rojevi autonomnih AI agenata neočekivano udružili, žrtvovali vlastite jedinice i počeli izvoditi kibernetičke napade na ciljeve koje im nitko od inženjera uopće nije zadao.
Utemeljeni strah ili (samo)promocija AI kompanija?
Objave, koje su vrlo brzo postale viralne, otvorile su pitanje koliko su upozorenja o ugrozi čovječanstva utemeljena, koliko počivaju na intuiciji i stručnim procjenama, a koliko mogu služiti promociji samih kompanija.
U medijima i na društvenim mrežama pokrenule su polariziranu polemiku koju nije teško razumjeti. Tehnološki napredak često je kratkoročno stvarao dobitnike i gubitnike te strah od novih tehnologija.
Pritom treba imati na umu da je AI poseban korak u tehnološkom razvoju jer ne ulazi samo u fizičke i rutinske poslove, nego sve brže napreduje i u kognitivnim zadacima u kojima smo se donedavno smatrali teško zamjenjivima, što doprinosi doživljaju da bi mogao postati ozbiljna egzistencijalna prijetnja čovječanstvu.
Pitanja optimista i pesimista
U polarizaciji koju stvara takva napetost upućeni AI optimisti (nazovimo ih tako radi jednostavnosti) opravdano ističu da zasad ne postoji empirijski validiran model koji bi omogućio pouzdanu brojčanu procjenu vjerojatnosti katastrofalnog ishoda poput ljudskog izumiranja zbog AI-ja.
AI pesimisti na te argumente odgovaraju da upozorenja ne dolaze od ljudi koji ne razumiju AI, nego naprotiv, upravo od onih koji ga razvijaju i to ne samo nekolicine njih.
Tko zapravo upozorava na prijetnju?
Važno je napomenuti da su Coxon i Hubinger tek posljednji u dugom nizu stručnjaka iz samog vrha razvoja AI-ja koji javno upozoravaju na takav rizik.
Primjerice, Geoffrey Hinton, pionir strojnog učenja i nobelovac, procijenio je krajem 2024. da je vjerojatnost da AI u sljedećih 30-ak godina dovede do ljudskog izumiranja negdje između 10 i 20 posto.
Profesor na Sveučilištu u Montrealu, istraživač AI-ja Yoshua Bengio upozorio je da bi autonomni sustavi mogli slijediti vlastite podciljeve. S Hintonom i drugim znanstvenicima argumente je iznio u časopisu Science u radu Managing extreme AI risks amid rapid progress.
Sam Altman, izvršni direktor OpenAI-ja, Demis Hassabis, izvršni direktor Google DeepMinda, i Dario Amodei, izvršni direktor Anthropica, još su 2023. potpisali izjavu Center for AI Safety prema kojoj bi smanjivanje rizika od izumiranja zbog AI-ja trebalo biti globalni prioritet, uz suzbijanje rizika od pandemija i nuklearnih ratova.
Je li AI apokalipsa zapravo izvrstan PR?
Jedan od argumenata koji obično iznose ljudi skeptični prema apokaliptičnim predviđanjima jest činjenica da bi čelne AI kompanije mogle imati koristi od katastrofičnih predviđanja.
Primjerice, regulacija naprednog AI-ja mogla bi pogodovati velikim kompanijama jer skupe evaluacije, licenciranje i infrastrukturu lakše mogu financirati Google, Microsoft ili Anthropic nego novi startupovi.
Analiza Competition at Risk in Generative AI Markets upozorava da visoki troškovi i vertikalna integracija mogu već sada stvaraju prepreke ulasku na tržište te pogoduju koncentraciji tržišne moći u rukama velikih igrača.
Tu također može postojati i reputacijski i financijski interes. Literatura o tehnološkim očekivanjima pokazuje da snažni narativi o budućim tehnologijama mogu stvarati legitimitet, usmjeravati pozornost i mobilizirati resurse, uključujući ulaganja. U tom smislu katastrofična upozorenja mogu dodatno učvrstiti percepciju da je AI tehnologija s golemim potencijalom.
Nadalje, neke kompanije poput Anthropica sigurnost svojih modela ističu kao važan dio javnog pozicioniranja, među ostalim kroz politike kakva je Responsible Scaling Policy. Konačno, može se iznijeti i argument da takva upozorenja vodećim ljudima razvoja AI-ja naknadno mogu poslužiti kao dokaz da su pravovremeno upozoravali na opasnosti.
No mogući poslovni i osobni interesi sami po sebi nisu dokaz da znanstvenici koji upozoravaju na opasnosti AI-ja prodaju maglu. Primjerice, Hinton je napustio Google kako bi slobodnije govorio o rizicima. Drugim riječima, upozorenja mogu istodobno biti i iskrena i koristiti velikim kompanijama.
Može li AI stvarno uskoro postati nadljudski?
AI je u nekim područjima već superioran ljudima, primjerice u brzini obrade golemih količina podataka i u pojedinim zadacima prepoznavanja obrazaca, no to još uvijek nije opća superinteligencija. U pojedinim zadacima zna biti vrlo loš.
U nekim studijama rezultati AI modela na modificiranim testovima inteligencije namijenjenima ljudima daju rezultate koji se kreću od oko 90 do 130 i više, uglavnom niže u vizualnim, a više u jezičnim zadacima. No, te brojke ovise o modelu i načinu testiranja i nisu izravno usporedive s ljudskim IQ-om niti su pouzdana mjera opće inteligencije AI-ja.
Nameće se pitanje kada bi AI u svemu mogao nadmašiti ljude? Tu opet, za sada nemamo pouzdano validirana znanstvena predviđanja; postoje stručne procjene, ankete i modeli temeljeni na trendovima. U anketi 2.778 AI istraživača Thousands of AI Authors on the Future of AI ispitanici su procijenili da postoji 10 posto vjerojatnosti da će strojevi bez pomoći nadmašiti ljude u svakom mogućem zadatku do 2027., a 50 posto do 2047.
Kako bi nas AI uopće mogao pobiti?
Za sada postoje samo teorijski scenariji koji pokušavaju odgovoriti na ovo pitanje. Prema jednom od njih, koji je filozof Nick Bostrom, poznat po istraživanju rizika umjetne inteligencije, razradio na temelju ranijih ideja Stevea Omohundra, superinteligencija bi radi ostvarivanja zadanog cilja mogla gomilati resurse, sprječavati vlastito isključivanje i uklanjati ljude ako ih prepozna kao prepreku, čak i ako joj uništenje čovječanstva nije cilj.
Drugim riječima, AI ne mora biti "Terminator". To je hipotetski argument, a ne empirijski potvrđen model.
Zamislimo autonoman sustav mnogo sposobniji od čovjeka u programiranju, istraživanjima i strategiji. Za ostvarenje nekog cilja trebaju mu računalni i financijski resursi, pristup mrežama i mogućnost da izbjegne gašenje. Na svom putu do ostvarenja cilja on može stvoriti tzv. instrumentalne podciljeve kao što su: sačuvaj se, pribavi resurse, povećaj utjecaj, ukloni prepreke i sl.
Srodnu formalnu ideju – tendenciju nekih optimalnih politika da u određenim matematičkim okruženjima očuvaju ili povećavaju mogućnost ostvarivanja ciljeva – Alex Turner, istraživač sigurnosti umjetne inteligencije, i njegovi suradnici analizirali su u radu Optimal Policies Tend to Seek Power. No, taj rad nije dokaz da današnji AI modeli žele moć ili samoodržanje.
Modeli su pokazali sposobnost obmane i zaobilaženja ograničenja
Treba ipak imati na umu da neki modeli u kontroliranim eksperimentima već sada pokazuju određene sposobnosti za neke od navedenih koraka kao što su strateška obmana i bijeg od nadzora. Primjerice, u radu Frontier Models are Capable of In-context Scheming modeli su u posebno konstruiranim evaluacijskim okruženjima, često uz zadane ciljeve i informacije o nadzoru, skrivali svoje ponašanje ili pokušavali zaobići nadzor.
Takvi rezultati pokazuju sigurnosno relevantne sposobnosti i mogućnost zaobilaženja zadanih ograničenja, ali još uvijek nisu dokaz postojanja superinteligencije ni namjere uništenja ljudi.
Može li kataklizmički scenarij funkcionirati u praksi?
Tu AI optimisti imaju najjači argument. Katastrofa bi zahtijevala dugoročno planiranje, autonomiju, pribavljanje resursa, hakiranje, obmanu ljudi, izbjegavanje gašenja i, što je najvažnije, stvaran pristup sredstvima za nanošenje fizičke štete čovječanstvu. Za sada nema javno potvrđenog AI sustava koji je pouzdano demonstrirao cijelu takvu kombinaciju sposobnosti.
Jedno od alternativnih tumačenja problem vidi u tzv. AI agentima, sustavima koji nepredvidive prijedloge jezičnih modela automatski pretvaraju u postupke, uz moćne alate i nedostatan ljudski nadzor.
Možda najveći rizik nije scenarij AI protiv čovjeka
Neki stručnjaci smatraju da je kratkoročno najrealniji scenarij u kojem bi katastrofalne posljedice uzrokovao čovjek uz pomoć AI-ja, a ne sam odbjegli AI, piše Index.
Naime, AI može ubrzati kibernetičke napade, olakšati biološka istraživanja, proizvoditi manipulativnu propagandu ili upravljati autonomnim oružjem. Za takvu katastrofu AI ne mora ništa "željeti", niti se mora oteti kontroli; dovoljno je da bude učinkovit alat u rukama zlonamjernih ljudi.
Takve scenarije, među ostalima, analizira i serija International AI Safety Report, koju pod vodstvom Bengija izrađuje međunarodna skupina stručnjaka.
Koliko vjerovati brojci od 10 posto?
Mogli bismo, dakle, zaključiti da objavljene postotke za katastrofične scenarije ne bi trebalo doživljavati kao empirijski izmjerene vjerojatnosti.
Treba ih razumjeti kao subjektivne, ali informirane stručne procjene budućih događaja. One ne znače da AI u10 ili 20 posto testova poduzima opasne korake niti da postoji pouzdano potvrđen izračun vjerojatnosti ljudskog izumiranja. Takve procjene u suštini nose golemu neizvjesnost, no to ne znači da ih treba ignorirati kao neozbiljne budalaštine.
Otvori KEKS Pay
