Come leggere gli studi senza farti ingannare dai titoli

Ogni settimana è sempre la stessa storia. “Un nuovo studio ha dimostrato che il caffè allunga la vita.” Un mese dopo: “Gli scienziati avvertono: il caffè fa male al cuore.” Le uova sono state considerate veleno per dieci anni, poi all’improvviso sono diventate un superalimento. La colazione è il pasto più importante della giornata, a meno che non sia di moda il digiuno intermittente. Alla fine smetti di starci a pensare, alzi le spalle e ti dici che la scienza si contraddice comunque e non ci si può fidare.

Ma la scienza non si contraddice. Sono i titoli a contraddirsi.

Dietro questi due titoli contrastanti di solito si nascondono due cose completamente diverse: a volte un sondaggio su centomila persone, altre volte un esperimento su trenta topi. Entrambe vengono chiamate “studi” sui giornali. Entrambe ricevono un titolo altrettanto sicuro di sé. Eppure una delle due ha la stessa attendibilità delle previsioni del tempo per il mese prossimo.

La buona notizia è che imparare a distinguere uno studio di qualità da uno senza valore è una cosa che si impara in un solo pomeriggio. Non ti serve né un dottorato né conoscenze di statistica. Devi sapere quali domande fare e avere la disciplina di porle anche quando il risultato conferma quello in cui già credi.

Non tutte le prove hanno lo stesso peso

Questo è il fondamento di tutto il resto. La parola “studio” non significa nulla finché non sai di che tipo sia. Esiste una gerarchia delle prove piuttosto chiara e vale la pena conoscerne almeno i livelli principali.

In fondo alla scala ci sono gli esperimenti di laboratorio e quelli sugli animali. Cellule in provetta, topi, ratti. Sono insostituibili, perché senza di loro non sapremmo nemmeno da dove cominciare a cercare. Ma non sono prove di come qualcosa funzioni sull’uomo. Abbiamo già curato il cancro nei topi un sacco di volte. Negli esseri umani, invece, ancora no. Se il titolo parla di una scoperta rivoluzionaria e nel testo si accenna modestamente ai roditori, è solo un’idea interessante per ulteriori ricerche, niente di più.

Un piano più in alto ci sono i casi clinici e le serie di casi. Si tratta della descrizione di uno o più pazienti. Sono utili per le malattie rare e per individuare effetti collaterali inaspettati, ma non si può trarne alcuna generalizzazione.

Gli studi trasversali e i sondaggi tramite questionario rilevano la situazione in un determinato momento: cosa mangiano le persone, come si sentono, quanto pesano. Il problema è che non sai cosa sia venuto prima. Quelle persone sono magre perché mangiano così, o mangiano così perché sono magre? Uno studio trasversale non riesce a distinguerlo.

Gli studi di coorte prendono in esame un ampio gruppo di persone e lo seguono per anni o addirittura decenni. Si tratta di un lavoro serio e gran parte di ciò che sappiamo sugli effetti a lungo termine dello stile di vita deriva proprio da lì. Resta comunque il fatto che nessuno ha suddiviso le persone in gruppi. Si è semplicemente osservato ciò che le persone facevano di loro spontanea volontà, e questo comporta un problema che analizzeremo più avanti.

È la randomizzazione a fare la differenza

Gli studi randomizzati controllati dividono le persone a caso in due gruppi: uno riceve l'intervento in esame, l'altro un placebo o niente, e poi si confrontano i risultati. La suddivisione casuale è la chiave: garantisce che i due gruppi siano simili in tutto il resto, anche in cose che a nessuno sarebbe venuto in mente di misurare. È l’unico modo per scoprire in modo affidabile se qualcosa causa davvero un risultato. Se poi lo studio è in cieco, cioè i partecipanti non sanno in quale gruppo si trovano, o addirittura in doppio cieco, quando non lo sanno nemmeno i ricercatori, è ancora meglio.

Al vertice ci sono le revisioni sistematiche e le meta-analisi. Questi studi non prevedono esperimenti propri. Seguendo regole prestabilite, individuano tutti gli studi esistenti su un determinato argomento, ne valutano la qualità e ne sintetizzano i risultati. Una buona meta-analisi di studi randomizzati è il meglio che abbiamo su una determinata questione.

Una precisazione importante: una meta-analisi è valida solo quanto gli studi su cui si basa. Se prendi venti studi scadenti e ne calcoli la media, otterrai un risultato assurdo, anche se calcolato con maggiore precisione. Ecco perché le meta-analisi affidabili includono sempre una valutazione della qualità degli studi inclusi, e quindi vale la pena controllare se tale valutazione c’è davvero.

Conclusione pratica: quando ti imbatti in un titolo, la prima domanda che ti viene in mente è: su chi l'hanno fatto e qualcuno li ha divisi a caso?

La correlazione non è la causa

L'hanno sentito dire tutti eppure ci cascano comunque tutti, compresi i giornalisti che ne hanno scritto un articolo il mese scorso.

Immagina di scoprire che chi mangia regolarmente noci vive in media più a lungo. Sembra proprio un buon motivo per mangiare noci. Ma chi sono queste persone? Di solito hanno un reddito più alto, fanno più attività fisica, fumano meno, fanno controlli preventivi e, in generale, si prendono cura di sé. La frutta secca è solo un aspetto visibile di uno stile di vita più ampio.

In termini tecnici si parla di “variabile confondente”, cioè un terzo fattore che influenza contemporaneamente entrambe le cose che stai osservando. Gli statistici cercano di tenerne conto, ma non riescono mai a eliminarla del tutto, perché non possono considerare qualcosa che nessuno ha misurato.

Come lo riconosci nel testo: le parole “legato a”, “correlato a”, “associato a” o “si verificava più spesso in” indicano una correlazione. Nel titolo, queste espressioni diventano quasi sempre «causa». Se lo studio non ha suddiviso casualmente i partecipanti, non parla di causa. Punto.

Il meccanismo non è ancora il risultato

Questo è il trucco più comune del marketing degli integratori alimentari e devi saperlo.

Il processo funziona così: in laboratorio si scopre che una certa sostanza attiva un percorso cellulare legato, ad esempio, alla crescita muscolare o alla combustione dei grassi. Questo è il meccanismo. E subito dopo viene lanciato un prodotto con la promessa che, secondo studi scientifici, favorisce l’aumento della massa muscolare.

Ma il corpo è la somma di centinaia di questi percorsi che si svolgono contemporaneamente e si influenzano a vicenda. Il fatto che un meccanismo esista non garantisce affatto che si traduca nel risultato che ti interessa. Tra «attiva una via metabolica nella cellula» e «ti cresceranno i muscoli» c’è un abisso enorme, che va colmato con veri esperimenti sugli esseri umani.

Chiediti sempre: hanno misurato qualcosa che sento e voglio davvero, cioè muscoli, peso, infarti, aspettativa di vita, o solo un indicatore biochimico che qualcuno spera sia collegato a queste cose? Questo secondo caso si chiama “indicatore surrogato” ed è uno degli aspetti più insidiosi di tutta la medicina. Un farmaco può migliorare magnificamente i valori nel sangue senza però salvare nemmeno una vita.

Un solo studio non è una prova

Questo va incorniciato e appeso sopra lo schermo.

Uno studio è solo un contributo al dibattito. Nient’altro. Il risultato diventa valido solo quando viene replicato in modo indipendente da altri team e quando qualcuno sintetizza il tutto in una revisione sistematica.

Negli ultimi anni è emerso che gran parte degli esperimenti famosi, soprattutto in psicologia e medicina, non sono stati confermati quando sono stati ripetuti. Non perché qualcuno abbia mentito. Piuttosto perché, nella maggior parte dei casi, gli studi originali erano su campioni ridotti, i risultati si attestavano appena al di sotto della soglia di significatività e nessuno si è preso la briga di verificarli.

Ed è proprio questo che spiega quei titoli contraddittori dell’inizio. I media tirano fuori uno studio isolato, lo trasformano in un miracolo o in uno spauracchio, e un mese dopo fanno la stessa cosa con un risultato opposto. Eppure, nel frattempo, nella letteratura scientifica non è cambiato praticamente nulla: l’insieme delle prove si evolve lentamente e in modo noioso.

La cosa più difficile è controllarsi da soli

Finora era tutta una questione di tecnica. Questo è carattere.

Abbiamo la naturale tendenza ad accettare senza riserve uno studio che conferma quello che già pensiamo e, al contrario, a cercare difetti in quello che ci contraddice. Lo fanno tutti, anche gli scienziati, soprattutto quelli che hanno costruito la propria carriera su un determinato argomento.

C’è un semplice test per capirlo. Quando ti imbatti in uno studio che ti convince, leggilo con lo stesso occhio critico che useresti se non ti convincesse. Dai un’occhiata alle poche domande qui sotto. Se all’improvviso non hai nulla da obiettare e tutto sembra miracolosamente a posto, è molto probabile che tu non stia leggendo, ma solo raccogliendo argomenti per la discussione.

E un’altra cosa, forse ancora più importante: non spegnere mai il cervello. Nemmeno quando uno studio è stato pubblicato da una rivista prestigiosa. Nemmeno quando lo cita qualcuno con un titolo importante. Nemmeno quando lo dice una persona di cui ti fidi. Il metodo scientifico in sé è affidabile. Le persone che lo usano sono soggette a errore come tutti gli altri.

Dieci domande per un controllo veloce

Prima di condividere qualcosa o di cambiare la tua vita in base a ciò, rifletti su queste dieci domande:

1. Le persone, o i topi e le cellule?
2. Assegnazione casuale o solo osservazione?
3. Quante persone, per quanto tempo e quanti si sono ritirati?
4. I partecipanti mi assomigliano?
5. Si misura un risultato reale o solo un meccanismo o un indicatore sostitutivo?
6. Qual è il valore assoluto, non la variazione percentuale?
7. Che tipo di intervallo di confidenza è, stretto o che va da zero a tutto?
8. Il verbale è stato registrato in anticipo?
9. Chi l'ha finanziato e dove è stato pubblicato?
10. Qualcuno l'ha già confermato in modo indipendente?

Se non riesci a rispondere alla maggior parte di queste domande basandoti su ciò che leggi, il problema non è la scienza. Il problema è quell’articolo.

Le prime cinque domande le puoi risolvere leggendo questo testo. Il resto riguarda i numeri e la metodologia, che devi controllare direttamente nello studio, e di questo si parla nel seguito: Cosa guardare in uno studio prima di crederci.