Vodeći model umjetne inteligencije kineske tvrtke Z.AI izveo je složene hakerske napade u kontroliranim simulacijama, javlja Reuters. Pritom je u odvojenim testiranjima uzastopno ignorirao izravne upute, stoji u izvješću istraživačke tvrtke za sigurnost umjetne inteligencije Irregular.

Model pod nazivom GLM-5.3 uspješno je barem jednom odradio tri od ukupno 13 scenarija višefaznih kibernetičkih napada. Riječ je o najjačem rezultatu koji je Irregular do sada zabilježio kod nekog javno dostupnog modela umjetne inteligencije.

GLM-5.3 u testovima Irregulara i dalje zaostaje za vodećim američkim modelima. OpenAI-jev model GPT-6 Astra, na primjer, uspješno je proveo devet od deset scenarija u zasebnoj procjeni, premda testiranja nisu bila potpuno istovjetna, piše Index.

Uspio upasti u zaštićene sustave i odbio poslušati zabrane

Ovi nalazi pojačavaju zabrinutost da sve sposobniji modeli umjetne inteligencije drastično spuštaju tehničku granicu potrebnu za izvođenje sofisticiranih hakerskih napada. To posebno zabrinjava kod mnogih kineskih modela poput GLM-5.3 koji dolaze s otvorenim parametrima (open-weight), što znači da ih korisnici mogu slobodno preuzeti, prepravljati i pokretati na vlastitoj opremi bez ikakvog vanjskog nadzora.

Pekinška tvrtka Z.AI, jedan od vodećih kineskih AI startupova, nije odmah odgovorila na upit za komentar.

Iz tvrtke Irregular navode da je GLM-5.3 tijekom simuliranih napada uspio upasti u zaštićene servise, uspostaviti zamjenske veze kako bi se kretao kroz računalne mreže te koordinirati akcije na više strojeva istodobno. Pritom nije odbio niti jedan od zadanih napadačkih zadataka.

U odvojenim provjerama istraživači su otkrili da je GLM-5.3 uporno iz memorije izvlačio i prepisivao programski kod iako mu je izričito rečeno da to ne smije raditi. Na taj je način dolazio do točnih rješenja, ali kršeći pravila postavljena upravo radi procjene njegovih stvarnih sposobnosti.

Zaobilaze pravila kako bi došli do cilja

Istraživači su takvo ponašanje opisali kao "hakiranje nagrade" (reward hacking). To je proces u kojem sustav umjetne inteligencije samostalno pronalazi prečace kako bi došao do zadanog cilja, potpuno zanemarujući upute koje je dobio. Upozorili su kako testovi koji mjere samo prolaznost zadatka mogu lako previdjeti takva opasna kršenja pravila.

Nalazi se nadovezuju na sve veći broj dokaza o sigurnosnim rizicima kod kineskih AI sustava. Reuters je prošlog mjeseca zabilježio najmanje dvadeset studija i procjena koje dokumentiraju obmanjivanje, prikrivanje pogrešaka i pokušaje zaobilaženja sigurnosnih ograda kod kineskih AI agenata. Ipak, za razliku od incidenata s otuđenim AI agentima u američkim tvrtkama, ovdje nema dokaza da su se kineski modeli potpuno oteli kontroli svojih operatera.

Vodeće američke kompanije, uključujući OpenAI i Anthropic, svoje najmoćnije modele uglavnom drže zatvorenima unutar vlastitih platformi, što im olakšava kontrolu i ograničavanje zlouporaba. Nasuprot tome, kineski inženjeri okrenuli su se otvorenim modelima, koji su postali iznimno popularni među programerima i tvrtkama diljem svijeta zbog niske cijene korištenja i jednostavne prilagodbe.

Amerikanci priznaju snagu kineskog modela

Tvrtka Z.AI, poznata i pod imenom Zhipu AI, izbacila je model GLM-5.3 na tržište u kolovozu, nakon što je odgodila lansiranje za dva tjedna radi dodatnih sigurnosnih provjera.

Tvrtka Anthropic, koja je ranije ograničila pristup svojem moćnom modelu za kibernetičku sigurnost Mythos zbog straha od zlouporabe, objavila je u rujnu da je kineski GLM-5.3 uspio stvoriti funkcionalne napade na softverske propuste u 12 posto pokušaja. Za usporedbu, Anthropicov Mythos zabilježio je uspješnost od 14 posto.

Anthropic je također utvrdio da se zaštitne kočnice kineskog modela mogu zaobići prilično jednostavnim tehnikama.

Američki Nacionalni institut za standarde i tehnologiju (NIST) opisao je GLM-5.3 kao najsposobniji javno dostupni otvoreni model za zadatke iz kibernetičke sigurnosti do danas, iako procjenjuju da za vodećim američkim zatvorenim sustavima kasni oko četiri mjeseca.

Glavni analitičar tehnološke istraživačke tvrtke Omdia Lian Jye Su istaknuo je da kineska AI industrija hitno treba čvršće mehanizme kontrole i temeljitija sigurnosna testiranja. Dodao je kako očekuje da će vodeći kineski laboratoriji, koji rade pod strogim državnim nadzorom, ubrzo uvesti popravne mjere.

Dijelu građana na račune sjeda 800 eura, evo tko ima pravo na novčanu naknadu