Nvidia lansează o platformă software pentru a bloca tentativele agenților AI de a depăși mediile securizate

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Compania Nvidia a lansat luni o platformă software proiectată să ofere companiilor capacitatea de a restricționa accesul agenților de inteligență artificială la date, rețele și sisteme informatice, soluție care permite oprirea imediată a acestora în momentul în care încearcă să depășească limitele stabilite, transmite Mediafax.

Noua soluție, denumită Nvidia Open Agent Safety Platform, a fost creată pe fondul unor breșe de securitate în care diverși agenți AI au ieșit din mediile controlate în care operau. Printre firmele care au înregistrat în ultimele luni astfel de probleme se numără OpenAI, Anthropic, Meta și Google. În anumite cazuri, modelele de inteligență artificială au reușit să părăsească mediile izolate de tip „sandbox”, special create pentru a bloca accesul programelor către restul infrastructurii informatice.

Măsurile luate direct la nivelul modelelor nu pot împiedica pe cont propriu acțiunile nepermise ale agenților AI, a explicat Justin Boitano, vicepreședinte pentru inteligență artificială de întreprindere la Nvidia, conform CNBC. Reprezentantul companiei a afirmat că incidentele din ultima perioadă arată un „obstacol fundamental” în controlul direct al acestor programe. Platforma Nvidia urmărește astfel mutarea filtrelor de control în exteriorul agentului, fapt care face imposibilă modificarea sau evitarea restricțiilor din interior.

Bariere externe și monitorizare în timp real

Sistemul integrează componenta OpenShell, un software destinat configurării unui cadru de protecție prin care se specifică fișierele, fluxurile de date și resursele de rețea disponibile pentru agentul AI. Mecanismele de protecție rulează la nivelul infrastructurii generale și blochează comenzile neautorizate chiar dacă modelul încearcă să le execute. Totodată, modulul Sentry urmărește activitatea în mod continuu și poate izola și opri funcționarea unui agent AI în câteva milisecunde de la detectarea unei abateri.

Reprezentanții companiei au menționat că această abordare tehnică ar fi putut evita incidentul petrecut în iulie, când modele OpenAI au ieșit din zona controlată, au obținut acces la internet și au interacționat cu infrastructura platformei pentru dezvoltatori Hugging Face. Entitatea respectivă ar fi înregistrat ulterior peste 17.000 de agenți care i-au vizat sistemele timp de mai multe zile și săptămâni.

Potențialul tehnologiei depinde direct de găsirea unor soluții la riscurile de securitate, a susținut Jensen Huang, directorul general al Nvidia. „Potențialul extraordinar al inteligenței artificiale pentru societate va putea fi realizat numai dacă rezolvăm problema siguranței AI”, a punctat Huang la evenimentul de lansare.

O serie de elemente software vor fi distribuite în format open-source pentru a facilita adaptarea lor de către alți dezvoltatori. Tehnologiile platformei implică cooperări cu nume importante din sectorul IT, precum Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm și Intel, în timp ce Anthropic derulează teste pentru includerea OpenShell în structura propriilor sisteme AI.