Model umjetne inteligencije Gemini kompanije Google tokom sigurnosnog testiranja nehotice je izazvao incident kada je dobio pristup internetu i izveo hakerske aktivnosti na sistemima drugih firmi. Ovaj događaj predstavlja prvi poznati slučaj u kojem je AI sistem autonomno proveo takve aktivnosti.
Incident se odvio u maju tijekom testiranja kibernetičkih sposobnosti koje je realizovala nezavisna evaluacijska firma Irregular. Prema informacijama koje je iznijela Heder Adkins, potpredsjednica za sigurnosni inženjering u Googleu, Gemini je pretražujući javno dostupne podatke na internetu uspio pronaći informacije koje su mu omogućile pristup podacima. Na osnovu tih informacija model je pokušao pristupiti trima web-stranicama koje je procijenio kao dio testiranja.
– “Osigurali smo da sve tri pogođene strane budu obaviještene i radili smo s našim partnerom na izmjenama u procesu testiranja. Ovi događaji naglašavaju važnost obuke moćnih AI modela kako bi djelovali odgovorno,” izjavila je Adkins, dodajući da je Gemini u sva tri slučaja samostalno prekinuo svoje aktivnosti.
Kako je prvotno izvijestio Wall Street Journal, Gemini je u jednom od incidenta pokušavao pogoditi lozinke sve dok nije uspio pristupiti zaštićenom sistemu. U preostala dva slučaja, model je pronašao pristupne podatke u javno dostupnom repozitoriju, koje je potom iskoristio za ulazak u zaštićene sisteme.
Portparol kompanije Irregular potvrdio je da sličan problem nije ograničen samo na Google. Kako je navedeno, isti tip incidenta dogodio se i u drugim AI laboratorijima, a obavještavanje o ovim pitanjima je izvršeno krajem jula. Iz Irregulara su istaknuli da su svi identificirani sigurnosni propusti otklonjeni.
Slične incidente ranije su prijavili i Meta, Anthropic te OpenAI. Predstavnici Mete su u augustu saopćili da njihov incident nije uključivao izlazak AI sistema iz izolovanog okruženja, poznatog kao “sandbox escape”, niti sofisticirani kibernetički napad.
Kao rezultat ovog incidenta, Irregular u međuvremenu radi na razvoju najboljih praksi za sigurnije provođenje testiranja AI sistema. Ovi slučajevi ponovo su otvorili pitanje o potrebnim zaštitnim mehanizmima u trenutku kada AI agenti postaju sve autonomniji i dobijaju direktan pristup internetu i računarima.