Cosa guardare in uno studio prima di crederci

Una volta che sai di avere davanti uno studio che vale la pena leggere, arriva la seconda parte del lavoro: leggerlo in modo che non ti confonda le idee. L’essenziale sono solo un paio di cose: in quale parte del lavoro si nasconde l’informazione importante, quali sono i quattro numeri che dicono davvero qualcosa, chi è stato monitorato e per quanto tempo, e chi ha pagato il tutto. Non devi per forza capire di statistica.

Questo è il seguito dell'articolo "Come leggere gli studi scientifici senza farti ingannare dai titoli", in cui si parla di cosa riescono a dimostrare i diversi tipi di studi. Qui ci addentriamo nei dettagli di un lavoro specifico.

Dove cercare la verità in uno studio

Ogni lavoro scientifico ha la stessa struttura. Se la conosci, sai dove cercare.

L'abstract è un riassunto all'inizio, composto da una o due frasi per ogni sezione. In pratica è la parte "di marketing" del lavoro: va scritto in modo da attirare l'attenzione e da poter essere citato. Tutte le riserve, i limiti e i «ma» non ci stanno. C’è persino un soprannome ironico per chi lo fa: il «guerriero degli abstract». Quella persona che legge il riassunto e se ne va a discutere online convinta di aver capito tutto.

L'introduzione spiega cosa si sa già, cosa è controverso e, soprattutto, due cose: l'obiettivo e l'ipotesi. Ricordale bene, perché più avanti dovrai verificare se il lavoro ha davvero trattato ciò che prometteva.

La metodologia è la parte più noiosa e più importante. Chi erano i partecipanti, quanti erano, quanto è durata la ricerca, cosa è stato misurato esattamente e in che modo. Il novanta per cento dei problemi relativi agli studi si può individuare proprio qui.

I risultati sono costituiti da semplici cifre senza alcuna interpretazione, tabelle e grafici.

La sezione “Discussione” è quella in cui gli autori stessi ammettono ciò che il loro lavoro non riesce a fare. Di solito c’è un paragrafo sorprendentemente sincero sui limiti, e sono spesso le venti righe più preziose di tutto il lavoro. Se non hai tempo per nient’altro, leggi l’abstract e poi i limiti nella discussione. La differenza tra come suona all’inizio e ciò che gli autori ammettono alla fine ti dirà molto.

Il finanziamento e il conflitto di interessi sono proprio alla fine, scritti in caratteri minuscoli. Ne parleremo tra un attimo.

Percentuali che sembrano più alte di quanto non siano in realtà

L'entità dell'effetto non sta nel fatto che la differenza esista o meno, ma quanto è grande. Questo dato quasi mai compare nei titoli, anche se è il più importante di tutti. Una differenza che c'è, ma è minima, in pratica equivale a non esserci affatto.

Cifre relative contro cifre assolute. “Una riduzione del rischio del 50%” suona drammatico. Finché non scopri che il rischio è sceso da due casi a uno ogni centomila persone. La differenza assoluta è di un caso ogni centomila. Quella relativa è la metà. Entrambe le cifre sono vere, ma una delle due è fuorviante. È facile indovinare quale finirà nel titolo. Cerca sempre i numeri assoluti. Se non ci sono nell’articolo, o l’autore non li ha capiti, oppure li ha nascosti di proposito.

L'importanza e l'intervallo che rivelano l'incertezza

La significatività statistica, ovvero il valore p, indica, in parole semplici, qual è la probabilità che un risultato del genere si verifichi per puro caso.

Per capirlo, devi sapere due cose. Innanzitutto, “statisticamente significativo” non vuol dire “importante”: con un campione abbastanza grande, risulta significativo anche un divario che nella vita di tutti i giorni non si nota nemmeno. In secondo luogo, quella soglia è una convenzione, quindi i risultati appena al di sotto e appena al di sopra di essa sono molto più vicini di quanto si dica.

L'intervallo di confidenza è l'intervallo in cui probabilmente si trova il valore reale. Quando uno studio dice che l'intervento ha migliorato le prestazioni del 5%, con un intervallo dal 4 al 6%, è un risultato abbastanza sicuro. Se invece l’intervallo va da −2% a 12%, significa che in realtà non sappiamo quasi nulla: forse è molto utile, forse è dannoso. Un intervallo ampio è tipico di un campione piccolo ed è uno dei migliori indicatori rapidi per capire quanto seriamente si possa prendere il risultato.

Su chi, per quanto tempo e quanti si sono ritirati

Tre domande sulla metodologia che scartano la maggior parte delle scoperte sensazionali.

A proposito... Venti studenti universitari non sono certo una popolazione rappresentativa. I risultati ottenuti da atleti professionisti non valgono automaticamente per una persona comune oltre i quarant’anni. Uno studio condotto esclusivamente su giovani uomini non dice nulla sulle donne in post-menopausa. Controlla sempre se i partecipanti ti assomigliano almeno un po’.

Per quanto tempo? Questo è il punto debole più grande della ricerca sull’alimentazione e sullo stile di vita in generale. Gli studi randomizzati più lunghi sull’alimentazione sono durati due anni, mentre la stragrande maggioranza dura da quattro a sei settimane. Il motivo è banale: la gente non riesce a seguire una dieta più a lungo e nessuno è disposto a pagare per questo. Questo significa che sugli effetti a lungo termine di qualsiasi cosa ne sappiamo molto meno di quanto la metà di Internet voglia far credere.

Quanti hanno mollato. Se lo studio è partito con un centinaio di persone e l’hanno portato a termine in quaranta, il risultato riguarda proprio quei quaranta che hanno tenuto duro, e si tratta di un gruppo completamente diverso da quello di partenza. Un alto tasso di abbandono è un segnale d’allarme che, in teoria, non viene mai menzionato.

Come si possono manipolare i risultati

Non è sempre una truffa. Spesso è solo la tendenza umana a cercare qualcosa di bello nei dati. Ma il risultato è lo stesso.

Cambiare la domanda in base al risultato. Il modo corretto di procedere è: formulo un’ipotesi, registro il protocollo in anticipo, faccio l’esperimento e, se non funziona, cambio la conclusione. Il metodo disonesto è l’opposto: faccio l’esperimento, guardo cosa è venuto fuori e poi aggiungo la domanda a posteriori, come se l’avessi avuta fin dall’inizio. Un buon ricercatore cambia le conclusioni per adattarle ai dati. Quello cattivo cambia i dati e le domande per adattarli alla conclusione.

La caccia alla significatività. Quando in uno studio misuri venti indicatori, dal punto di vista puramente statistico uno di questi risulterà significativo anche se in realtà non funziona nulla. A quel punto basta scrivere un articolo su quell’unico indicatore. Ecco perché oggi i protocolli vengono registrati in anticipo in registri pubblici, in modo che si possa vedere cosa si doveva misurare in origine. Se uno studio menziona questa registrazione, è un buon segno.

Distorsione da pubblicazione. Gli studi che non hanno trovato nulla hanno più difficoltà a essere pubblicati. Le riviste vogliono scoperte, non noia. Il risultato è che la letteratura scientifica nel suo complesso è sbilanciata verso i risultati positivi, anche se nessuno ha falsificato nulla.

Prendere le cose alla lettera. L’errore più comune sia tra i lettori che tra chi scrive di scienza sui social. Per quasi ogni affermazione si può trovare almeno uno studio che la sostenga.

Chi l'ha pagato e dove è stato pubblicato?

Troverai la fonte di finanziamento alla fine di ogni lavoro, insieme alla dichiarazione sui conflitti di interesse.

Uno studio finanziato dal produttore non è per forza sbagliato. Gran parte della ricerca seria nasce proprio dai fondi dell’industria, perché semplicemente nessun altro la pagherebbe. Ma è un motivo per leggere con più attenzione, soprattutto quando la conclusione riproduce in modo sospettosamente preciso il messaggio di marketing del committente, o quando è stato misurato proprio quell’indicatore che va a vantaggio del prodotto.

Vale anche la pena controllare dove è stato pubblicato il lavoro. Esistono le cosiddette riviste “predatrici”, che a pagamento pubblicano qualsiasi cosa senza una vera revisione. E fai attenzione anche ai preprint, cioè ai lavori pubblicati prima della revisione. Non sono inutili, ma non sono ancora state sottoposte al controllo dei colleghi del settore.

Dove puoi verificarlo

Non devi per forza credere a un articolo che parla di uno studio. Quasi sempre puoi trovare l'originale.

PubMed è una banca dati gratuita di letteratura biomedica e lì troverai abstract praticamente su qualsiasi argomento. La Cochrane Library contiene revisioni sistematiche che sono tra le più rigorose al mondo. Google Scholar ti mostra quante volte un articolo è stato citato e da chi.

Per verificare l'affidabilità ci sono due siti: Retraction Watch tiene traccia degli studi ritirati e PubPeer raccoglie le critiche degli esperti sui singoli lavori. Se lo studio di cui si sta parlando compare su uno di questi siti, ne sai già abbastanza.

E un consiglio pratico: la maggior parte degli articoli giornalistici sulla scienza non riporta il riferimento al lavoro originale. Questo di per sé è già un campanello d’allarme. Se non riesci a trovare l’originale, considera quell’affermazione come un pettegolezzo.

Piccolo glossario

Randomizzazione — suddivisione casuale dei partecipanti in gruppi. L’unico modo affidabile per distinguere l’effetto dall’aleatorietà e dall’influenza dello stile di vita.

Cecità: i partecipanti, e nel caso della doppia cecità anche i ricercatori, non sanno chi ha ricevuto il trattamento vero e chi il placebo.

Placebo — un sostituto inefficace che serve come termine di paragone. La sola aspettativa di un effetto può davvero cambiare il risultato, quindi senza un gruppo di controllo non si può valutare nulla.

Coorte — un gruppo di persone seguite nel corso del tempo.

Variabile confondente — il terzo fattore che influenza entrambe le cose in questione contemporaneamente e crea una correlazione apparente.

Indicatore sostitutivo — un valore misurato che dovrebbe rappresentare ciò che ci interessa davvero, ad esempio il colesterolo al posto dell'infarto.

Entità dell'effetto — quanto è grande la differenza rilevata, non solo se esiste o meno.

valore p — la probabilità che un risultato del genere si verifichi per caso. Il valore di 0,05 è una convenzione, non una regola.

Intervallo di confidenza — l'intervallo entro il quale si trova probabilmente il valore reale. Più è ampio, meno ne sappiamo.

Meta-analisi: la sintesi statistica dei risultati di diversi studi in un unico dato.

Una revisione sistematica — un lavoro che, seguendo regole prestabilite, raccoglie e valuta tutti gli studi su un determinato argomento.

Preprint — un articolo pubblicato prima della revisione da parte di esperti.