Testele arată că rezumatele AI Overviews de la Google conțin milioane de informații eronate zilnic

Rezultatele căutărilor Google se bazează tot mai mult pe AI Overviews, o funcție alimentată de Gemini care rezumă informațiile în partea superioară a ecranului. Deși instrumentul a fost ținta unor critici publice semnificative privind acuratețea încă de la lansarea sa în 2024, datele recente indică faptul că sistemul devine mai fiabil, deși rămâne departe de perfecțiune, transmite Ars Technica.

Un nou studiu realizat de The New York Times (NYT) și startup-ul Oumi arată că AI Overviews oferă acum răspunsuri corecte în aproximativ 90% dintre cazuri. Deși acest procent reprezintă o îmbunătățire față de modelele anterioare, rata de eșec conduce în continuare la milioane de erori factuale afişate utilizatorilor în fiecare zi.

Analiza a utilizat evaluarea SimpleQA, un benchmark lansat de OpenAI, care conține mii de întrebări cu răspunsuri verificabile. Când Oumi a testat pentru prima dată sistemul folosind Gemini 2.5, rata de acuratețe era de 85%. După lansarea Gemini 3, această cifră a crescut la 91%.

În ciuda îmbunătățirilor, erorile persistente sunt adesea evidente. Într-un caz, IA a citat Wikipedia pentru a determina când fosta casă a lui Bob Marley a devenit muzeu, dar a selectat data incorectă dintre două opțiuni contradictorii. În alt caz, sistemul a afirmat că Classical FM Hall of Fame nu există, deși a citat chiar site-ul organizației.

Google a respins aceste concluzii, susținând că testul de referință în sine este defectuos și conține erori. Purtătorul de cuvânt al companiei, Ned Adriance, a declarat pentru NYT că studiul are lacune serioase și a subliniat că întrebările utilizate nu reflectă cu exactitate interogările pe care oamenii le introduc în motorul de căutare.

Costul și viteza joacă, de asemenea, un rol în performanța sistemului. Google recurge adesea la versiuni mai rapide și mai ieftine ale modelelor Gemini Flash pentru a asigura încărcarea rapidă a paginilor de căutare, în loc să utilizeze procesoarele sale cele mai puternice, dar mai lente.

Deși folosirea datelor web de către IA îmbunătățește acuratețea comparativ cu modelele independente, această abordare îi determină pe utilizatori să se bazeze mai mult pe rezumate decât pe verificarea surselor originale.

Te-ar putea interesa și: Compania Google, acuzată că erodează libertatea presei: Motorul de căutare rescrie titlurile cu ajutorul inteligenței artificiale