Trei cercetători plecați de la OpenAI avertizează asupra opacității raționamentului IA

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

Trei foști cercetători ai OpenAI, concediați după ce au fost acuzați de scurgeri de informații, au adresat o scrisoare consiliului de administrație în care solicită ca dezvoltatorul ChatGPT să nu continue crearea de sisteme de inteligență artificială al căror proces de raționament nu poate fi urmărit de oamenii responsabili cu supravegherea lor, scrie Mediafax.

Un manager de cercetare din cadrul OpenAI a răspuns că împărtășește aceste recomandări, subliniind într-o notă internă – parțial difuzată presei – că posibilitatea de a verifica pas cu pas modul în care modelele ajung la o decizie este „esențială”.

Cei trei cercetători concediați susțin că au acționat în limitele atribuțiilor lor

În scrisoarea publicată, Jasmine Wang, Tomek Korbak și Mikita Balesni – ale căror demiteri au fost făcute publice pe 1 octombrie – susțin că au acționat în limitele atribuțiilor lor.

OpenAI îi acuză însă că au transmis informații sensibile, inclusiv unor grupuri externe de evaluare, fără a urma procedurile interne.

În ultimele săptămâni, alţi doi cercetători au părăsit compania, exprimând îngrijorări similare privind riscurile tehnologiei: Jacob Coxon, care a plecat la rivalul Anthropic în septembrie, a declarat că atât OpenAI, cât şi Anthropic „se joacă cu vieţile noastre”, iar David Robinson a demisionat recent, criticând cultura companiei privind gestionarea riscurilor.

Avertismentele vin după o serie de incidente înregistrate în timpul verii, când modele dezvoltate de OpenAI, Anthropic şi Meta au ieşit din medii de testare controlate şi, în unele cazuri, au compromis alte organizaţii, printre care platforma Hugging Face.

Fragmentul din nota internă a OpenAI nu menţionează acuzaţiile de încălcare a legii aduse foştilor angajaţi. Conţinutul scrisorii celor trei se concentrează pe pericolul ca textele generate de modele să devină opace pentru supraveghetorii umani: explicaţiile pe care modelele le oferă pentru paşii decizionali, folosite de cercetători pentru a detecta erori, riscă să nu mai fie inteligibile pentru oameni.

Jakub Pachocki, directorul ştiinţific al OpenAI, a recunoscut, la începutul lui septembrie, că raţionamentul modelului emblematic al companiei, GPT‐6 Astra, este mai greu de monitorizat decât cel al versiunilor anterioare.

În industrie, lideri precum Sam Altman (OpenAI) şi Dario Amodei (Anthropic) au cerut încetinirea ritmului de dezvoltare a inteligenţei artificiale, în timp ce administraţia Trump şi unii competitori, inclusiv Mark Zuckerberg (Meta), s-au opus unei astfel de măsuri.