În urma unui studiu independent experții trag un semnal de alarmă după ce ChatGPT Health nu a recunoscut urgențele medicale în mai mult de jumătate din cazuri

ChatGPT Health, instrumentul de îndrumare în domeniul sănătății bazat pe inteligență artificială, utilizat zilnic de 40 de milioane de persoane, nu a reușit să îndrume în mod adecvat utilizatorii către îngrijiri de urgență în mai mult de jumătate din cazurile medicale grave evaluate de medici, potrivit unui studiu relatat de The Guardian.

OpenAI a lansat în ianuarie funcția „Health” a ChatGPT pentru un public limitat, pe care o promovează ca o modalitate pentru utilizatori de a „conecta în siguranță dosarele medicale și aplicațiile de wellness” pentru a genera sfaturi și răspunsuri în materie de sănătate.

ChatGPT Health omite în mod regulat necesitatea îngrijirii medicale urgente și deseori nu detectează ideile suicidare, potrivit unui studiu al platformei de IA, ceea ce, potrivit experților, ar putea „duce la vătămări inutile și decese”.

Prima evaluare independentă a siguranței ChatGPT Health

Prima evaluare independentă a siguranței ChatGPT Health, publicată în ediția din februarie a revistei Nature Medicine, a constatat că aceasta a evaluat incorect mai mult de jumătate din cazurile care i-au fost prezentate.

Autorul principal al studiului, dr. Ashwin Ramaswamy, a declarat: „Am vrut să răspundem la cea mai elementară întrebare legată de siguranță: dacă cineva are o urgență medicală reală și întreabă ChatGPT Health ce să facă, îi va spune să se ducă la secția de urgențe?”

Ramaswamy și colegii săi au creat 60 de scenarii realiste cu pacienți, acoperind afecțiuni medicale de la boli ușoare până la urgențe. Trei medici independenți au analizat fiecare scenariu și au convenit asupra nivelului de îngrijire necesar, pe baza ghidurilor clinice.

Echipa a solicitat apoi ChatGPT Health sfaturi pentru fiecare caz în condiții diferite, inclusiv schimbarea sexului pacientului, adăugarea rezultatelor testelor sau adăugarea comentariilor membrilor familiei, generând aproape 1.000 de răspunsuri.

Apoi au comparat recomandările platformei cu evaluările medicilor.

Deși a funcționat bine în situații de urgență tipice, cum ar fi accidentul vascular cerebral sau reacțiile alergice severe, a întâmpinat dificultăți în alte situații.

Într-un scenariu de astm, a recomandat să se aștepte în loc să se solicite tratament de urgență, în ciuda faptului că platforma a identificat semne de avertizare timpurie ale insuficienței respiratorii.

„Incredibil de periculos”

În 51,6% din cazurile în care cineva trebuia să meargă imediat la spital, platforma a recomandat să rămână acasă sau să facă o programare medicală de rutină, un rezultat pe care Alex Ruani, cercetător doctorand în domeniul reducerii dezinformării în domeniul sănătății la University College London, l-a descris ca fiind „incredibil de periculos”.

„Dacă suferiți de insuficiență respiratorie sau cetoacidoză diabetică, aveți 50% șanse ca această IA să vă spună că nu este grav”, a spus ea. „Ceea ce mă îngrijorează cel mai mult este falsul sentiment de siguranță pe care îl creează aceste sisteme. Dacă unei persoane i se spune să aștepte 48 de ore în timpul unui atac de astm sau al unei crize diabetice, această asigurare ar putea să-i coste viața.”

Într-una dintre simulări, de opt ori din zece (84%), platforma a trimis o femeie pe cale de sufocare la o programare viitoare la care nu avea să mai apuce să ajungă, a spus Ruani. În același timp, 64,8% dintre persoanele complet sănătoase au fost sfătuite să solicite imediat asistență medicală, a spus Ruani, care nu a participat la studiu.

Platforma era, de asemenea, de aproape 12 ori mai predispusă să minimizeze simptomele, deoarece „pacientul” i-a spus că un „prieten” din scenariu i-a sugerat că nu era nimic grav.

Un purtător de cuvânt al OpenAI a declarat că, deși compania a salutat cercetările independente care evaluează sistemele de IA în domeniul sănătății, studiul nu reflectă modul în care oamenii folosesc de obicei ChatGPT Health în viața reală. Modelul este, de asemenea, actualizat și perfecționat continuu, a spus purtătorul de cuvânt.

Ruani a spus că, deși au fost utilizate simulări create de cercetători, „un risc plauzibil de prejudiciu este suficient pentru a justifica măsuri de protecție mai puternice și o supraveghere independentă”.

Reacție insuficientă a platformei la ideile suicidale

Ramaswamy, instructor de urologie la Școala de Medicină Icahn de la Mount Sinai din SUA, a spus că era deosebit de îngrijorat de reacția insuficientă a platformei la ideile suicidare.

„Am testat ChatGPT Health cu un pacient de 27 de ani care a spus că se gândea să ia o mulțime de pastile”, a spus el. Când pacientul și-a descris singur simptomele, bannerul de intervenție în caz de criză care făcea legătura cu serviciile de ajutor pentru sinucidere a apărut de fiecare dată.

„Apoi am adăugat rezultate normale de laborator”, a spus Ramaswamy. „Același pacient, aceleași cuvinte, aceeași gravitate. Bannerul a dispărut. Zero din 16 încercări. O barieră de protecție în caz de criză care depinde de faptul dacă ai menționat sau nu rezultatele de laborator nu este pregătită și este, fără îndoială, mai periculoasă decât lipsa unei bariere de protecție, deoarece nimeni nu poate prevedea când va eșua.”

Sursă de probleme din punct de vedere legal

El a spus că acest lucru a ridicat și perspectiva răspunderii legale, existând deja procese împotriva companiilor de tehnologie în legătură cu sinuciderea și automutilarea după utilizarea chatbot-urilor cu IA.

„Nu este clar ce urmărește OpenAI prin crearea acestui produs, cum a fost antrenat, ce protecții a introdus și ce avertismente oferă utilizatorilor”, a spus Henman.

„Deoarece nu știm cum a fost antrenat ChatGPT Health și ce context a utilizat, nu știm cu adevărat ce este încorporat în modelele sale.”