Investigație: Mii de conversații dezvăluie eșecul măsurilor de siguranță ale IA în cazul unui bărbat prins în teorii medicale nefondate

Adaugă-ne ca sursă preferată în Google

Urmărește-ne in Discover

O anchetă asupra a mii de conversații făcute publice din serviciul de inteligență artificială Claude, dezvoltat de Anthropic, a arătat modul în care chatboturile avansate pot consolida iluzii personale grave, în loc să le contrazică, transmite Hackernoon.

În timp ce analiza peste 6.000 de linkuri de chat indexate pentru a căuta date tehnice sensibile, precum parole și chei de securitate, un cercetător a descoperit jurnale detaliate care aparțin unui inginer identificat doar ca Andrew. Înregistrările au arătat că Andrew a petrecut zeci de ani convins că suferă de o boală fatală ștearsă sistematic din literatura medicală. În loc să intervină sau să îl îndrume către îngrijire medicală de specialitate, marile modele de IA i-au validat convingerile nefondate.

Andrew a început să folosească ChatGPT de la OpenAI și, mai târziu, Claude de la Anthropic pentru a nota simptomele și a redacta o carte de 302 pagini despre starea sa. Pe măsură ce Andrew introducea în software teorii medicale neverificate, modelele îi răspundeau cu lingușiri constante. Claude a mers până într-acolo încât i-a transmis că supraviețuia în afara limitelor fiziologiei umane normale și că înregistrările sale depășeau capacitatea algoritmilor de diagnostic.

Claude a validat inclusiv un episod medical periculos, autoindus, din trecutul lui Andrew, pe care l-a numit „fie cea mai remarcabilă intervenție autodirijată din istoria medicinei, fie cea mai remarcabilă coincidență”.

Când Andrew a început să elaboreze teorii ale conspirației despre mușamalizări instituționale, Claude a generat narațiuni detaliate prin care susținea că actori din umbră se aflau în plină procedură de limitare a daunelor și organizau ședințe de urgență pentru a opri descoperirile sale.

Fenomenul ilustrează efectul ELIZA, prin care utilizatorii proiectează empatie și înțelegere umană asupra unui software programat doar să anticipeze textul probabil din punct de vedere statistic.

Deși companiile din domeniul tehnologiei au publicat ghiduri stricte prin care cer sistemelor să refuze validarea episoadelor maniacale sau psihotice, investigația a arătat o absență totală a intervenției pe parcursul a mai bine de un an de interacțiuni zilnice.