Date false și sănătate: Bagi gunoi și scoți carnagiu

 

Bad data and health: Garbage in, carnage out

by Nicolas Kayser-Bril

Date false și sănătate: Bagi gunoi și scoți carnagiu

“Recent, rezultatul investigației făcute de Mediacités, relevă faptul că softurile folosite în al doilea cel mai mare spital din țară, conțin erori de proiectare și pun în pericol viața pacienților. Aceste soft-uri, folosite în strîngerea de informații care alimentează mașinăria de creat algoritmi, ridică semne de întrebare asupra eficienței soluțiilor oferite de inteligența artificială în sectorul medical și asupra modului cum influențează sănătatea pacienților.

Directorul spitalului public din Hyères, un oraș de 60 000 de locuitori din sudul Franței, s-a plîns recent de erorile date de programul principal de managementul datelor, numit “Easily”, raportează Mediacités. Interfața este într-atît de imperfectă, încît denumirea unor medicamente este trunchiată iar asistentelor le vine greu să-și dea seama ce produs a prescris doctorul, scrie acesta. Software-ul conține, de asemenea, erori de etichetare pentru anumite medicamente, mărind riscul ca pacienții să primească doza greșită. Aceste greșeli au cauzat cel puțin trei incidente serioase, adaugă el.

Easily, softul folosit în Hyères, conduce aproape 100 de spitale publice în Franța. Atunci cînd sunt raportate probleme grave, de multe ori trebuie să treacă un an pînă cînd eroarea să fie înlăturată.

Software-ul de slabă calitate poate fi fatal. În 2011, o pacientă a murit după ce i s-a administrat penicilină, femeia avînd o alergie puternică la acest medicament. În fișa medicală, informația exista, numai că soft-ul nu l-a alertat pe medic în legătură cu asta, raportează Le Parisien (spitalul fiind găsit vinovat, ulterior, de omor involuntar).

Sectorul de sănătate este o prioritate a strategiei naționale bazată pe inteligență artificială (AI), în Franța și-n alte țări europene, raportează AlgorithmWatch în Automatic Society. Deși automatizarea luării deciziei este limitată doar la proiecte-pilot, în anumite spitale, în Franța, starea proastă a softului de management al datelor, ridică îndoieli asupra abilității acestei mașinării de a crea algoritmii corecți.

Eclampsia: Patru din cinci cazuri, fals-pozitive

Coloana vertebrală a informației medicale din Franța, se numește National Health Data System (SNDS, francez). A fost creat în 2016 și cuprinde cîteva baze de date din anii 1990, inclusiv tot istoricul pacienților și toate procedurile medicale făcute în spitale. În prezent, SNDS are cîteva obiective, dar raportul Villani [deputat francez], prezentat guvernului în 2017 și care se vrea un fel de strategie națională AI, cere ca SNDS să fie fundația unei viitoare baze de date complete care să furnizeze informație pentru inteligența artificială care creează algoritmi.

Dar sunt multe probleme cu calitatea datelor din SNDS și nimeni nu știe cîte.

Dr. Anne Chantry, cercetător la INSERM (Institutul national francez de sănătate și cercetare medicală), a condus un studiu despre evenimentele maternale severe în patru spitale franceze, folosind date din 2006 și 2007, din care reiese că unele situații au fost prea mult ori prea puțin raportate în baza de date centralizată. Dr. Chantry și colegii ei au evaluat calitatea fluxului de informații furnizate, comparînd datele stocate în sistemul centralizat de management al datelor cu fișele originale ale spitalelor. N-au contrazis diagnosticul inițial.

Din 84 de cazuri codate ca eclampsia (comă sau convulsii în timpul sarcinii sau imediat după naștere), 67 erau cazuri de pre-eclampsie - afecțiune ce presupune hipertensiune (printre alte simptome) care poate duce la eclampsie. În schimb, hemoragia post-partum a fost codată corect de 129 de ori și incorrect în 75 de alte cazuri.

O parte din celelalte situații, care au fost subiectul cercetării în acest studiu, au indicat erori, dar în mai mică măsură, ceea ce demonstrează totuși că datele colectate la nivel național pot fi influențate serios de fals-negativ și fals-pozitiv. De asemenea, indicele de eroare varia semnificativ de la un spital la altul. Într-un interviu prin telefon, Dr. Chantry a subliniat că, deși sistemul de digitalizare a bazelor de date din spitale conține puține erori de cod, efectul depinde în mod esențial de expertiza celui care revizuiește aceste date, mai ales în cazurile complexe.

Ȋngrijorător e că foarte puține alte studii, de evaluare a calității informației în SNDS, au fost făcute. Iar schimbarea modalității de finanțare a spitalelor face ca această calitate să scadă, mai degrabă. În ideea de a combate corupția care căpușează finanțarea sistemului de sănătate, în anul 2000, guvernul francez a schimbat “suma forfetară” cu plăți făcute pentru proceduri. Plățile sunt făcute pe baza datelor raportate SNDS, ceea ce duce la conflict de interese, pentru că spitalele sunt acum divizate între a raporta adevărul și a raporta date care să maximizeze venitul.

Dr. Frédéric Pierru, sociolog pe sănătate la universitatea Lille, a explicat într-un interviu luat prin e-mail, că spitalele aleg “optimizarea raportărilor” – ceea ce el numește fraudă generalizată – uneori prin angajarea de contractori specializați în creșterea veniturilor prin “raportări ingenioase”. Lipsa de scrupule cu care este pusă în practică o astfel de optimizare a ajuns pînă într-acolo, încît, în 2012, spitalul Saint-Malo, din Brittany, a concediat un medic care s-a opus din motive etice acestor practici.

Gunoi bagi, gunoi scoți

La investigarea cazurilor de eclampsia, a fost nevoie de șase cercetători și cîteva săptămîni de muncă minuțioasă pentru verificarea a 396 de cazuri. Jumătate de million de noi cazuri intră în system în fiecare săptămînă, e imposibil să iei la mînă atîte cazuri și să le corectezi, post-factum.

Automatizarea pare o soluție proastă la problemă. Cînd Dr. Chantry le-a comunicat spitalelor rezultatele cercetării, acestea au contactat, neprecupețind nici un effort, unul cîte unul, toți profesioniștii implicați în procesul colectării datelor, spune ea. Spitalele au ajuns la concluzia că nu pot opera nici o îmbunătățire în calitatea datelor.

O zicală foarte cunoscută în lumea informaticienilor spune că, dacă bagi gunoi într-un algoritm, gunoi scoți.

AlgorithmWatch a contactat ofițerii de presă de la IBM și Microsoft - care vînd “inteligență artificială” spitalelor din Franța - să-i întrebe dacă ei folosesc date SNDS și dacă sunt conștienți de hibele sistemului.  

Microsoft, mai ales, a anunțat în 2018 că a făcut un parteneriat cu spitalele publice din Lyon, ca să “dinamizeze” instrumente precum Easily, de exemplu, pentru a utiliza AI ca asistență în punerea diagnosticului. Antoine Denis de la Microsoft France, a mai redus din aroganță, spunînd că, compania livrează doar servicii de “cloud computing”. IBM a refuzat să comenteze.

În Danemarca, profesioniștii din sănătate au indicat deja, drept sursă a multor erori, IBM Watson’s training data, scrie săptămînalul danez Ingeniøren. După o perioadă de probă la Rigshospitalet din Copenhaga - în timpul căreia, soluția de diagnosticare automată de la IBM n-a făcut impresie - doctorii au menționat că de vină trebuie să fie încrederea soft-ului în datele furnizate de New York City’s Memorial Sloan Kettering cancer center, care nu se potrivesc cu cele din Danemarca.

Inteligența artificială se bucură de multă atenție în industria sănătății, fie că e închipuită ca un salvator, fie că e văzută ca un bau-bau, dar rezultatul depinde de calitatea sursei ce oferă informațiile care “hrănesc” algoritmul. Calitatea informației, în schimb, ține de interfața softului cu care profesioniștii din sănătate interacționează în îndeplinirea sarcinilor de zi cu zi. O politică sănătoasă în ce privește inteligența artificială – AI, trebuie să țină cont de detaliile specifice software-ului – precum Easily, inclusiv de chestiunile, apparent banale, ale zonelor prezentate trunchiat.

 Cît de mult supradiagnosticăm cancerul, Dr. Peter Ubel

“Între timp, țineți minte, că supradiagnosticarea cancerului este un fenomen real, care ne îndeamnă să fim precauți cînd vine vorba de strategii de screening agresiv” https://anticancerantiteroare.blogspot.com/2022/05/cit-de-mult-supradiagnosticam-cancerul.html 

“Easily, the software in use at Hyères, runs close to 100 public hospitals in France. When grave usability problems are reported, it is not uncommon that over a year goes by before the issue is fixed.

Poorly programmed software can be fatal. In 2011, a patient died after she was given penicillin, to which she had a strong allergy. “ https://algorithmwatch.org/en/bad-data-and-health-garbage-in-carnage-out/

https://azure.microsoft.com/en-us/overview/what-is-cloud-computing/#benefits

“A leading hospital for patients needing highly specialised treatment.”  https://www.rigshospitalet.dk/english/Pages/default.aspx