Brunero Liseo
Nello scorso mese di marzo, è stata pubblicata, sul sito della American Statistical Association (ASA), una dichiarazione che, per la comunità statistica, accademica e professionale, assume una certa rilevanza.
Citando la fonte originale: “Widespread use of ‘statistical significance’ (generally interpreted as ‘p < 0.05’) as a license for making a claim of a scientific finding (or implied truth) leads to considerable distortion of the scientific process. By putting the authority of the world’s largest community of statisticians behind such a statement, we seek to begin a broad-based discussion of how to more effectively and appropriately use statistical methods as part of the scientific reasoning process.”
Il valore p rappresenta la probabilità che, essendo vera l’ipotesi di lavoro (H0, la cosiddetta ipotesi nulla), si possa osservare per effetto del caso, un risultato campionario ancor più sfavorevole a tale ipotesi di quello effettivamente osservato. Nella pratica esso dovrebbe essere interpretato come una misura di evidenza statistica a favore dell’ipotesi nulla, e piccoli valori di p, in genere, conducono al non considerare H0 verosimile. Un cattivo folklore, tuttavia, fa sì che spesso, il valore p venga interpretato come la probabilità che i dati assegnano alla veridicità di H0.
In poche parole, il comunicato ASA afferma che il solo ottenere un valore p “significativo” non è una ragione di per sé determinante per rifiutare H0. Se la soglia è posta al consueto livello di 0.05, ottenere un valore p pari a 0.049 non fornisce la stessa evidenza statistica contro H0 che si avrebbe a fronte di un valore p pari a 0.0001.
Presa in senso letterale, questa affermazione mina alla radice una pratica consolidata in molte comunità scientifiche, prima fra tutte quella medico-epidemiologica. L’ASA sottolinea come la misurazione dell’evidenza statistica è un problema ben più complesso che difficilmente può essere ridotto alla determinazione di una soglia numerica, oltre la quale risplenderebbe una potenziale scoperta scientifica.
La presa di posizione da parte di ASA è giunta a conclusione di un lungo dibattito, che ha coinvolto un panel di studiosi di chiara fama. Il comunicato finale rappresenta la sintesi di posizioni molto variegate, che vanno dalla critica radicale del valore p come misura di evidenza, a posizioni più morbide che suggeriscono di accompagnare la decisione riguardo la validità o meno di una ipotesi statistica, con argomentazioni di varia natura, e tra queste – unus inter pares – il livello di significatività osservato o valore p.
Quello che l’ASA auspica e che ragionevolmente si verificherà nel medio-lungo periodo, è dunque l’inizio di una nuovo corso, in cui l’utilizzo più completo dell’informazione e delle tecniche potrà favorire una maggiore consapevolezza della potenza e dei limiti del metodo statistico.
Un atteggiamento più dialettico certamente favorirà il processo scientifico molto più che la semplice applicazione di regole decisionali preconfezionate che spesso riducono la complessità di modelli sofisticati alla valutazione di un singolo numero, da confrontare con una soglia prefissata in modo esogeno e arbitrario.
Per gli studiosi delle varie discipline, questo nuovo atteggiamento si ripercuoterà inevitabilmente sulle politiche editoriali delle riviste scientifiche, come testimoniano le ultime righe del comunicato:
“ … removing the temptation to inappropriately hunt for statistical significance as a justification for publication. In such an era, every aspect of the investigative process would have its appropriate weight in the ultimate decision about the value of a research contribution.”
La dichiarazione originale e la documentazione allegata sono reperibili al sito
http://amstat.tandfonline.com/doi/abs/10.1080/00031305.2016.1154108