Una delle fondamenta della scienza è la riproducibilità dei risultati di una ricerca. Questo sarebbe il sigillo di garanzia che un certo dato ottenuto è certo e verificabile, un dato su cui basare altre ricerche che possono poi influire e modificare direttamente la nostra vita e la nostra salute.
La rivista Nature ha condotto una ricerca statistica coinvolgendo 1500 scienziati su questo tema scoprendo che questi ultimi non hanno ottenuto gli stessi risultati di ricerche altrui nel 70% dei casi e il 50% di loro non ha ottenuto gli stessi risultati nemmeno cercando di riprodurre le proprie ricerche.
Sempre secondo Nature, i dati su quanto i risultati delle ricerche scientifiche siano riproducibili sono “rari e generalmente deprimenti”. Le analisi più note, che provengono dalla psicologia e dall’oncologia, hanno rispettivamente riscontrato tassi di circa il 40% e il 10%. Quindi si sta parlando di un tasso di NON riproducibilità del 60-90%
Un altro studio statistico in merito è stato eseguito nel 2009 il prof. Daniele Fanelli dell’Università di Edimburgo. Lo studio si chiamava “Quanti scienziati falsificano i dati e fabbricano ad hoc le ricerche?”
Da questo studio emerge che poco meno del 2% degli scienziati ammette di avere almeno una volta falsificato, inventato o modificato dati di una ricerca e il 33,7% ammette di aver usato pratiche di ricerca non ortodosse almeno una volta. Qui voglio sottolineare quel “almeno una volta” e il fatto che stiamo parlando di percentuali sicuramente sottostimate in quanto ci sarebbe da tenere in conto l’autoconservazione dello scienziato che non credo sia incline ad essere molto sincero sulle sue stesse mistificazioni.
Infatti davanti alle stesse domande poste agli scienziati riguardo ai lavori dei colleghi, per falsificazioni, modificazioni o invenzione di dati la percentuale di ammissione sale al 14%, mentre per pratiche di ricerca discutibili abbiamo un clamoroso 77%.
Due elementi su cui puntano il dito maggiormente gli scienziati davanti a questo enorme problema pare sia la pressione che questi hanno nel pubblicare i risultati e l’attitudine a pubblicare solo i dati che sono convenienti al ricercatore.
Ricordiamo che in ambito scientifico la valenza di un ricercatore è spesso valutata dal numero delle sue pubblicazioni quindi pubblicare a prescindere è un grosso incentivo per chi vuol fare carriera. Tutto questo senza contare le pressioni di tipo lobbistico ed economico.
In un articolo apparso sulla Reuters, Glenn Begley (ai tempi direttore del dipartimento di oncologia medica della Amgen, un gigante nel ramo delle biotecnologie) cercò di replicare 53 lavori scientifici nel ramo dell’oncologia. Fu in grado di replicare solo l’11% di quei risultati.
Il premio Nobel Philip Sharp ha cercato di spiegare questo problema affermando che “una cellula tumorale può rispondere in modi diversi a seconda delle differenti condizioni sperimentali. Penso che molta della variabilità nella riproducibilità possa venire da qui.”
Anche Mina Bissel, una ricercatrice americana cerca di dare una spiegazione affermando che «con l’evoluzione della scienza diventa sempre più difficile replicare un esperimento perché le tecniche e i reagenti sono sempre più sofisticati, dispendiosi in tempo per la loro preparazione e difficili da insegnare».
Queste risposte però non spiegano l’alto tasso di irriproducibilità dei risultati degli scienziati anche nei confronti delle proprie ricerche e soprattutto, più che dare una spiegazione rassicurante, rivelano un altro fondamentale problema: se anche seguendo delle prassi consolidate in laboratori a condizioni controllate non si ha la certezza del risultato, come si può fare affidamento su queste ricerche se poi devono
funzionare nel mondo reale in cui le condizioni di partenza sono praticamente imprevedibili?
Allora forse non siamo davanti alla crisi della riproducibilità dei risultati scientifici ma siamo davanti alla scienza che scopre che i dati che raccoglie non rappresentano un modello realistico di come funziona davvero la realtà di cui essa dovrebbe farsi interprete.
Il punto pare proprio essere questo. La scienza non solo è soggetta a tutti gli inciampi che possono derivare dalla semplice condizione di imperfezione del sistema in cui opera (quindi errori, omissioni, incompetenza, ma anche ricatto, corruzione, egoismo, ecc.) ma è anche limitata dalla sua stessa modalità di azione e di indagine che si basa su una visione fredda, calcolatrice e “dissezionatrice” della realtà. Forse stiamo lentamente riuscendo a vedere i grossi limiti di questo metodo d’indagine che probabilmente non è la metodologia migliore per comprendere davvero quello che abbiamo attorno a noi.
La scienza arriva a comprendere meccanismi molto sofisticati di parti infinitamente piccole della realtà pagando lo scotto però di perdere di vista il disegno generale in cui queste parti e questi meccanismi esistono ed operano, anche al di là dei numeri, delle statistiche e di ciò che è possibile trasformare in dato. La verità di cui abbiamo bisogno sta proprio in quel disegno generale.
Un concetto simile è stato esposto anche dal linguista Noam Chomsky al congresso mondiale di studi sulla Coscienza a Sab Diego dove ha affermato “Per anni la scienza si è concentrata sull’analisi dei singoli pezzi della natura, l’ha sezionata alla ricerca degli ingranaggi primordiali. È ora necessario riscoprire la capacità di collegare i singoli pezzi studiati e comprendere meglio il senso di quei processi che guidano l’organizzazione e l’evoluzione della materia vivente”.
fonti
Nature – 1,500 scientists lift the lid on reproducibility – survey sheds light on the ‘crisis’ rocking research (https://goo.gl/4respd)
Nature – Reproducibility: The risks of the replication drive (https://goo.gl/c2nYwr)
Nature – Believe it or not: how much can we rely on published data on potential drug targets? (https://goo.gl/kc5shp)
Reuters – In cancer science, many “discoveries” don’t hold up (https://goo.gl/Ut1FTV)
Plos One – The Economics of Reproducibility in Preclinical Research (https://goo.gl/YLRT1b)
Plos One – How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data (https://goo.gl/3zRTDc)
Plos One – Can cancer researchers accurately judge whether preclinical reports will reproduce? (https://goo.gl/3zRTDc)