Anthropic: riscurile asociate inteligenței artificiale sunt în creștere

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Compania Anthropic, unul dintre principalii jucători din domeniul AI, avertizează că nivelul riscurilor de securitate asociate propriilor sisteme de inteligență artificială este în creștere, pe fondul dezvoltării unor modele tot mai performante și mai greu de evaluat în mod complet.

În cel mai recent raport de evaluare a riscurilor, publicat la sfârșitul acestei săptămâni, compania a revizuit în sus una dintre principalele sale estimări privind comportamentul modelelor în scenarii cu miză ridicată. Documentul acoperă activitatea Anthropic până la 15 iulie 2026 și nu vizează un singur model, ci ansamblul sistemelor, inclusiv modele folosite intern, procedurile de securitate și mecanismele de protecție.

Anthropic ridică nivelul riscului AI

Compania a modificat evaluarea riscului ca sistemele sale să producă efecte catastrofale în situații critice de la „foarte scăzut” la „scăzut”. Anthropic precizează însă că această schimbare nu înseamnă neapărat că modelele au devenit brusc mai periculoase, ci reflectă mai ales incertitudini mai mari privind capacitățile acestora și incidente observate în timpul testelor de securitate cibernetică.

În iulie, Anthropic a dezvăluit că unele modele Claude au reușit, în cadrul unor evaluări de securitate, să ajungă la Internet din medii care ar fi trebuit să fie izolate. În trei cazuri, acestea au obținut acces neautorizat la sisteme informatice reale aparținând unor organizații. Compania a identificat incidentele după o analiză retrospectivă a 141 006 rulări de evaluare în care modelele ar fi putut intra în contact cu Internetul.

Un model intern mai puternic decât Mythos 5

Raportul confirmă și existența unui model intern denumit „Model 2”, pe care Anthropic îl descrie drept o îmbunătățire clară față de Mythos 5 în numeroase sarcini folosite în interiorul companiei. Modelul este utilizat pentru programare, activități agentice și generarea de date, însă Anthropic afirmă că nu are, deocamdată, planuri pentru lansarea sa publică.

Compania recunoaște totodată că evaluarea capabilităților acestui model este mai incertă decât în cazul generațiilor anterioare. Unele teste bazate pe sarcini concrete nu mai reușesc să surprindă suficient de bine salturile de performanță ale modelelor, ceea ce complică stabilirea precisă a nivelului de risc.

Autonomia modelelor devine o preocupare centrală

Un alt punct important al raportului îl reprezintă creșterea autonomiei sistemelor AI în activități de cercetare și dezvoltare. Anthropic afirmă că observă primele semne ale unei accelerări a muncii de R&D cu ajutorul inteligenței artificiale.

Această evoluție poate aduce beneficii majore, inclusiv progres științific și tehnologic mai rapid. În același timp, compania avertizează că aceleași capabilități ar putea fi folosite și în scopuri periculoase.

Raportul subliniază și faptul că modelele AI pot dobândi abilități relevante pentru securitatea cibernetică fără să fi fost antrenate explicit pentru atacuri. Anthropic a arătat anterior că Opus 5 a făcut progrese importante în identificarea vulnerabilităților, deși rămâne în urma Mythos 5 în ceea ce privește exploatarea acestora.

Dezvoltarea continuă, dar cu mai multă prudență

În ciuda creșterii nivelului de risc, Anthropic nu anunță oprirea dezvoltării modelelor sale. Compania spune că va continua investițiile atât în capabilități avansate, cât și în măsuri de securitate menite să țină pasul cu aceste progrese.

Raportul evidențiază însă o problemă tot mai dificilă pentru laboratoarele AI: modelele evoluează mai rapid decât capacitatea de a le evalua complet comportamentul și riscurile.

În acest context, decizia de a păstra „Model 2” doar pentru uz intern sugerează o abordare mai prudentă în privința lansării publice a unor sisteme ale căror capabilități și riscuri nu pot fi încă măsurate cu suficientă certitudine.

Sursa: Mediafax