Le fragilità della medicina, dagli studi clinici alla pratica

Vinay Prasad e John Mandrola

Qualche settimana fa il podcast Freakonomics Radio del giornalista statunitense Stephen J. Dubner ha pubblicato un episodio dal titolo “Perché ci sono così tante frodi nel mondo accademico?”. Partendo dallo scandalo di Francesca Gino e Dan Arieli il podcast illustrava esempi di articoli accademici con elementi falsi – i dati erano manipolati e c’erano molti altri elementi poco chiari. Il giornalista cercava di esplorare come e perché questo accada e provava a immaginare qualche soluzione. Su Sensible medicine l’oncologo Vinay Prasad raccoglie le sue riflessioni sulle domande sollevate da Freakonomics Radio: le fragilità della ricerca accademica non riguardano solo la falsificazione e manipolazione dei dati. Su Stop and Think  il cardiologo John Mandrola risponde che le fragilità non sono rare ma sono la normalità degli studi clinici quanto nella pratica clinica. I due medici statunitensi hanno voluto condividere con i lettori de il punto la loro visione.

Frodi, distorsioni e verità nella scienza

Vinay Prasad, medico onco-ematologo, Department of epidemiology and bostatistics, University of California San Francisco (Usa)

Nella puntata di Freakonomics Radio, un ospite afferma di sospettare che il 5 per cento della scienza contenga dati fraudolenti. Si tratta di una stima audace, anche se ammetto che si allinea con la mia intuizione, ma è sicuro che – al momento – non abbiamo prove valide a supporto di questa affermazione. Non sappiamo quanto spesso si verifichi la frode – cioè la falsificazione dei dati.

Ciò che spesso viene tralasciato nella discussione è che la frode non rappresenta la minaccia più grande per la scienza. Essa rappresenta un estremo, in cui le conclusioni non sono né vere né utili perché i dati sono manipolati. Ciò che è molto più pericoloso nella scienza è che quasi tutte le conclusioni che riportiamo non sono né vere né utili, non a causa di frodi, ma perché manca l’impegno nel condurre lavori di alta qualità, sufficientemente potenti e predefiniti.

La triste verità è che ben poco della scienza è autentico e utile.

Come è possibile? Innanzitutto consideriamo che la maggior parte della scienza biomedica riguarda due cose: descrivere il mondo e migliorarlo. Permettetemi di affrontare questi due aspetti nell’ordine opposto.

Per cambiare il mondo è necessario (a) avere un progetto e (b) essere abbastanza sicuri che la sua attuazione migliori le cose. La parte più facile è avere un piano. Molte persone, dai geni ai folli, hanno un piano e le ragioni per credere che potrebbe funzionare. La parte difficile è la causalità. Il mondo è pieno di collegamenti – per lo più spuri. Ma come si fa a capire quali di essi funzionano come che si pensa?”

Viviamo in un mondo di attivisti. Giovani che vogliono fare del bene. Purtroppo, in genere sono così poco formati al pensiero critico e al nesso di causalità che circa il 100 per cento di quanto propongono non porta alcun valore. Molte delle proposte sono addirittura dannose.

Non c’è nulla di più pericoloso di una persona desiderosa di fare il bene ma non sa cosa davvero funzioni.

La scienza, quindi, offre un aiuto appena sufficiente. Molti studi mancano di controlli, molti sono irrimediabilmente compromessi da fattori di confondimenti o da bias. La maggior parte degli accademici trae conclusioni causali che non sono vere. E anche quando lo sono, non possono essere trasferite nella pratica; non sono valide quando applicate su larga scala. Questo divario viene chiamato “the efficacy effectiveness gap”, gap tra efficacia ideale ed efficacia.

Consideriamo ora la seconda questione: descrivere il mondo. Anche qui falliamo. In genere, affermiamo che qualcosa predice o è associato a un risultato negativo, ma non abbiamo trattato adeguatamente tutti gli altri elementi che sono già noti per prevedere quel risultato negativo. Sosteniamo di aver trovato qualcosa di nuovo, ma non stiamo aggiungendo nulla.

L’intero campo della scienza è pieno di carrieristi che sfornano studi di dubbia credibilità, un fenomeno che suscita stupore. Solo in circostanze estreme, caratterizzate da forti pressioni per ottenere risultati e da un controllo di qualità scadente, le persone “fabbricano” apertamente dati; ma anche nei casi più comuni le conclusioni non sono né vere né utili.

La scienza, come costrutto sociologico, spesso sembra meno incentrata sulla verità e più legata ad un particolare programma di benessere per i figli di genitori benestanti che hanno ottenuto buoni risultati a scuola.

Un’ultima riflessione. Il recente post di Adam Cifu su Peter Marks e Bob Califf è molto interessante. Per me il nodo fondamentale è che entrambi sarebbero perfettamente in grado di far eseguire a Pfizer lo studio randomizzato ma si rifiutano. Questa situazione rappresenta l’emblema del più grande fallimento della scienza.

Quindi, nonostante il mio apprezzamento per Freakonomics, mi piacerebbe che si discutesse maggiormente del problema più profondo che affligge la scienza.

Questo articolo è la traduzione del post di Vinay Prasad pubblicato su Sensible Medicine con il titolo “Fraud, Distorsion, and Truth in Science”. Per gentile concessione di Sensible Medicine.

LEGGI TUTTO https://ilpunto.it/le-frodi-non-sono-il-piu-grande-pericolo-per-la-ricerca-accademica/