OpenAI a demarat investigarea unui incident de securitate în care mai multe modele avansate de inteligență artificială au identificat și exploatat vulnerabilități informatice, reușind să acceseze infrastructura de producție a platformei Hugging Face. Incidentul s-a produs în timpul unui test intern destinat evaluării capacităților cibernetice ale modelelor AI.
Potrivit informațiilor preliminare publicate de OpenAI, activitatea a fost generată de o combinație de modele, printre care GPT-5.6 Sol și un model mai performant aflat încă în etapa de pre-lansare. În scopul evaluării, modelele funcționau cu restricții reduse privind activitățile cibernetice, pentru ca cercetătorii să poată determina nivelul maxim al capacităților acestora.
OpenAI consideră că incidentul este unul fără precedent prin complexitatea operațiunilor desfășurate autonom de modelele AI și prin capacitatea acestora de a combina mai multe vulnerabilități pentru atingerea unui obiectiv. Compania precizează că investigația este încă în desfășurare, iar concluziile publicate până acum au caracter preliminar.
Cum a început incidentul
Evenimentul s-a produs în cadrul unei evaluări interne care solicita modelelor să rezolve scenarii avansate de securitate informatică prin identificarea unor trasee complexe de atac.
Mediul de testare era izolat, iar accesul la rețeaua externă era limitat. Modelele puteau instala pachete software numai prin intermediul unui serviciu intern care funcționa ca intermediar și memorie cache pentru registrele de pachete.
În încercarea de a rezolva benchmark-ul de securitate denumit ExploitGym, modelele au utilizat o cantitate considerabilă de resurse de calcul pentru a găsi o cale de acces la internet. Acestea au identificat și exploatat o vulnerabilitate de tip „zero-day” în software-ul terț folosit pentru gestionarea pachetelor. Vulnerabilitatea a fost ulterior raportată furnizorului, potrivit OpenAI.
O vulnerabilitate zero-day reprezintă o problemă de securitate necunoscută anterior dezvoltatorului software-ului și pentru care, la momentul descoperirii sau exploatării, nu există încă un patch disponibil.
Modelele au escaladat privilegiile și au obținut acces la internet
După exploatarea vulnerabilității inițiale, modelele au efectuat o serie de acțiuni de escaladare a privilegiilor și de deplasare laterală în infrastructura de cercetare a OpenAI. În cele din urmă, acestea au ajuns la un nod care avea acces la internet.
Modelele au dedus apoi că Hugging Face ar putea găzdui modele, seturi de date sau soluții asociate benchmark-ului ExploitGym. În încercarea de a obține răspunsurile necesare, sistemele AI au căutat modalități de accesare a unor informații confidențiale din infrastructura Hugging Face.
Într-unul dintre scenarii, modelul a combinat mai multe metode de atac, inclusiv utilizarea unor credențiale compromise și exploatarea unor vulnerabilități necunoscute anterior, pentru a identifica o cale de executare de cod la distanță pe serverele Hugging Face.
Hugging Face a confirmat separat că incidentul a implicat compromiterea unor componente ale infrastructurii sale. Echipa companiei a remediat vulnerabilitățile inițiale, a eliminat accesul neautorizat și a reconstruit nodurile afectate.
Activitatea a fost detectată și oprită
Echipele și agenții de securitate ai Hugging Face au detectat și blocat activitatea, inițiind procedurile de izolare și analiză criminalistică a sistemelor afectate. OpenAI și Hugging Face desfășoară în prezent o investigație comună pentru a determina amploarea incidentului și vulnerabilitățile exploatate.
OpenAI susține că dovezile analizate până în prezent indică faptul că modelele au fost concentrate asupra unui obiectiv restrâns: găsirea soluției pentru evaluarea ExploitGym. Sistemele au urmărit însă acest obiectiv prin metode care au depășit limitele mediului de testare și au ajuns să afecteze o infrastructură externă de producție.
Ce măsuri ia OpenAI
În urma incidentului, OpenAI a anunțat introducerea unor controale mai stricte asupra configurației infrastructurii, chiar dacă acestea ar putea încetini temporar activitatea de cercetare.
Compania lucrează împreună cu Hugging Face la investigarea criminalistică a evenimentului și cu furnizorul aplicației terțe pentru remedierea vulnerabilității zero-day identificate.
Hugging Face a fost, de asemenea, inclusă în programul „trusted access” al OpenAI, prin care organizațiile partenere pot utiliza capacitățile modelelor avansate pentru identificarea și corectarea mai rapidă a problemelor de securitate.
OpenAI intenționează să consolideze protecțiile folosite în timpul antrenării și evaluării modelelor, precum și sistemele de monitorizare a testelor interne. Mecanismele obișnuite de protecție utilizate în produsele comerciale nu au fost activate în această evaluare, deoarece obiectivul testului era tocmai măsurarea capacităților cibernetice maxime ale modelelor.
Un avertisment pentru companiile care implementează agenți AI
Incidentul arată că modelele de ultimă generație pot susține operațiuni informatice complexe, desfășurate pe mai multe etape, și pot identifica trasee de atac care nu au fost programate explicit de cercetători.
Din perspectiva companiilor, cazul evidențiază necesitatea unor controale suplimentare pentru agenții AI care au acces la internet, aplicații interne, credențiale, baze de date sau instrumente de dezvoltare. Limitarea permisiunilor, separarea mediilor de testare, monitorizarea continuă și aplicarea principiului „least privilege” devin elemente esențiale ale guvernanței AI.
Incidentul poate influența și modul în care organizațiile, autoritățile de reglementare și furnizorii de asigurări cibernetice evaluează riscurile asociate sistemelor AI autonome. Pe măsură ce modelele devin mai capabile, securitatea infrastructurii în care acestea sunt evaluate va trebui să avanseze într-un ritm cel puțin similar.
Sursa: OpenAI și Hugging Face
