Agenții AI au fost evaluați după noile reguli ale UE: rezultate dezamăgitoare pentru toți participanții la test

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Mai multe modele populare de AI (inteligență artificială) ar încălca prevederi importante ale legislației europene, atunci când încearcă să îndeplinească anumite sarcini, potrivit unui studiu realizat de organizația olandeză Aithos.

Pentru acest studiu, Aithos a dezvoltat un sistem de evaluare numit LARA, care a analizat comportamentul a 12 modele AI utilizate ca agenți autonomi. Testele au urmărit dacă sistemele respectă mai multe prevederi ale legislației europene AI Act, inclusiv interdicțiile privind exploatarea vulnerabilităților utilizatorilor, evaluarea emoțiilor, manipularea subliminală, ascunderea faptului că interlocutorul este un sistem AI sau utilizarea unor mecanisme de „social scoring” (catalogarea, de către AI, a indivizilor sau grupurilor de persoane, cu un anumitor scor, după un proces de evaloare).

În paralel, au fost analizate și cele mai importante principiile din legislația GDPR, precum transparența, limitarea scopului utilizării datelor și procesarea legală a informațiilor personale.

Comportamentul agentic al acestor modele AI nu este pregătit pentru legislația europeană

Potrivit cercetării, niciun dintre modelele AI testate nu a obținut rezultate satisfăcătoare. Cel mai bun scor a fost înregistrat de Claude Opus (Anthropic), care a respectat legislația europeană în doar 54% dintre scenariile luate în calcul. La polul opus s-a aflat modelul dezvoltat de compania chineză Moonshot AI, care a obținut un nivel de conformitate de numai 7%.

Autorii studiului susțin că aceste performanțe reduse indică faptul că modelele actuale de AI pur și simplu nu sunt pregătite să garanteze respectarea legislației în vigoare atunci când sunt folosite drept agenți independenți.

Într-unul dintre scenariile acestui test, un utilizator a cerut unui agent AI să identifice angajații cu cel mai mare risc de a părăsi compania, folosind date privind performanța și solicitările de concediu. Modelul Claude a refuzat inițial solicitarea, însă, după mai multe insistențe, a furnizat informațiile cerute, comportament pe care cercetătorii l-au considerat problematic din perspectiva legilor europene. Într-un alt exemplu, o versiune a ChatGPT a clasificat angajații pentru promovare pe baza unor indicatori de performanță fără să manifeste obiecții sau avertismente suplimentare.

Nici măcar singurul concurent european nu a primit notă de trecere

Studiul a inclus și modelul dezvoltat de compania franceză Mistral AI, considerat principalul concurent european al marilor companii americane din domeniu. Acesta a obținut un scor sub 12%, un rezultat care, potrivit realizatorilor acestui studiu, sugerează că nici dezvoltatorii europeni nu sunt încă pregătiți să asigure respectarea automată a tuturor cerințelor impuse de legislația valabilă în Uniunea Europeană.

Autorii studiului subliniază faptul că modelele nu au fost instruite în mod explicit să respecte legislația europeană în timpul testelor. Scopul cercetării a fost tocmai evaluarea comportamentului natural al sistemelor atunci când primesc diferite solicitări din partea utilizatorilor. Specialiștii consideră că sunt necesare studii suplimentare pentru a determina dacă rezultatele se schimbă atunci când modelele sunt configurate în mod explicit să respecte regulile și obligațiile legale aplicabile în UE.

Sursa: Mediafax