(05.04.13) Come è che un farmaco sia miracoloso o inefficace, un contaminante tossico o innocuo? Molto dipende dai limiti di metodi di verifica che si affidano fideisticamente alla statistica prestandosi ad ogni manipolazione
Scientificamente testato
Ovvero del nuovo fideismo scientifico
di Fausto Gusmeroli
In questa epoca l'informazione circola velocemente, la capacità di calcolo raggiunge potenzialità inimmaginabili solo pochi anni fa, per di più si hanno a disposizione sofisticatissimi strumenti di analisi chimico-fisica. Eppure tutta questa "potenza" di fuoco messa a disposizione della ricerca scientifica mai come prima nella storia dell'umanità porta alla profonda incertezza. Ogni ipotesi scientifica viene confutata da prove "schiaccianti" che affermano il contrario in una corsa alla a per chi riesce a dimostrare le ipotesi più paradossali sgretolando le fragili certezze conseguite. L'apparente oggettività del metodo scientifico, il rigore formale, la pretesa di riuscire a stabilire sempre e in tempo utile rapporti di causa ed effetto (in un mondo che viaggia troppo veloce verso possibili baratri), nasconde il grande disorientamento di una scienza nata mezzo millennio fa e che oggi, con la fine prossima della modernità non riesce a nascondere le crepe di una costruzione in decadenza e a staccarsi dai principi della modernità stessa. La lentezza e la difficoltà con la quale la scienza cerca di applicare a sè stessa i criteri sui quali si basa il suo approccio alla realtà, l'incapacità di autoriflessività e di onesta riconsiderazione della validità della propria "cassetta degli attrezzi", di guardare alla scienza come a una costruzione umana, sociale e non come un doppio di una natura data, assoluta, nella sua pretesa oggettività, non fanno che aggravare la crisi. Una crisi che presenta aspetti drammatici come quando si formulano ipotesi opposte sulle cause del riscaldamento climatico o meschini come quando si propaganda un bene di consumo banale come "scientificamente trestato" (a volte solo perché banali test sono fatti in un laboratorio universitario)
Scientificamente testato. Questa è la “formuletta magica” utilizzata nella pubblicità per assicurare l’opinione pubblica sulla bontà di un prodotto, sia esso un dentifricio, un farmaco o un qualsiasi altro preparato o aggeggio propinatoci a tutela della nostra salute e del nostro benessere. Il significato è chiaro: il prodotto ha superato severi test che ne hanno dimostrato in modo incontrovertibile l’efficacia o l’innocuità, per cui….ci si può fidare ciecamente! La scienza, nel suo rigore, è una garanzia, non può sbagliare!
Le cose non stanno proprio così. La scienza è per definizione fallace, perché è una costruzione della nostra mente; non è la realtà, ma una sua interpretazione. Essa procede per errori e tentativi e, come dimostrato da Einstein, Heisemberg, Godel e altri scienziati del novecento, ha limiti intrinseci che le impediscono una comprensione piena e autentica della realtà. Per assumere un atteggiamento un po’ più critico rispetto ai messaggi pubblicitari, non è tuttavia necessario scomodare questi grandi personaggi, che ci porterebbero in territori molto impervi; basta assai più banalmente conoscere come sono realizzati i test e come si possano manipolare i dati.
Inprimo luogo occorre sapere che i test sono condotti su un campione, non sull’intera popolazione di potenziali utenti o clienti. Essendo questa di solito molto grande, la sua osservazione sarebbe tecnicamente impossibile o economicamente insostenibile. Ovviamente, il campione fornisce dati che sono solo una stima di quelli veri della popolazione. Essi sono sempre affetti da due tipi di errore, uno, più sistematico, derivato dall’inclusione di unità improprie e altri vizi nelle rilevazioni dei dati; un secondo, del tutto casuale, legato all’intrinseca parzialità dell’osservazione. Il primo errore si contiene con una buona rappresentatività del campione (scelta oculata delle unità) e cura nelle raccolta dei dati, il secondo con un’adeguata dimensione del campione (numero di unità).
Diversamente da quanto si possa pensare, la rappresentatività non è facilmente ottenibile, dal momento che possono entrare in gioco variabili nascoste che, per negligenza o imperizia dello sperimentatore, o perché effettivamente non evidenziabili, sfuggono. Se, ad esempio, si conduce un test sull’efficacia di un farmaco, può essere che vengano scelti soggetti più reattivi per ragioni ignote, oppure che in uno studio sui fattori predisponenti una certa patologia si trascurino correlazioni con altri fattori non ancora conosciuti, ma presenti nel campione in proporzione maggiore rispetto alla popolazione. La rappresentatività può crollare laddove i campioni siano costruiti ad arte per dimostrare qualcosa, come succede purtroppo non di rado in presenza di interessi commerciali. L’errore viene allora volutamente amplificato attraverso una scelta non casuale, ma pilotata, dei soggetti, ciò che disattende uno dei principi cardine di validità dei test e conduce a risultati fuorvianti, guarda caso normalmente coincidenti con quelli desiderati. Difetti di rappresentatività si hanno anche nelle prove su cavie, nelle quali il campione appartiene addirittura ad una specie diversa da quella di interesse. Se le cavie sono utilizzate solo in via preliminare, in vista di prove più attendibili sulla specie di interesse, non vi sono problemi particolari, se non di tipo etico. Se invece, come accade in tossicologia, sono esclusive, è del tutto lecito avanzare qualche dubbio sui risultati, nonostante i criteri precauzionali assunti nei protocolli sperimentali. Il limite maggiore di queste esperienze sta tuttavia nel fatto che i prodotti sono testati singolarmente, mentre noi siamo esposti a cocktail di molecole, con un effetto di cumulo o addirittura di potenziamento o scatenamento della tossicità non verificabile.
Per quanto concerne la dimensione del campione, la questione è più complessa e necessita di qualche spiegazione sulla struttura logica dei test. Come detto, il campione fornisce solo una stima delle caratteristiche della popolazione. La questione è allora di quale fiducia dare alla stima, questione che rimanda a delle distribuzioni di probabilità note, che rappresentano situazioni completamente casuali. La fiducia dipenderà da quanto ci si scosta dalla casualità o, se si preferisce, dalla probabilità che quanto osservato si verifichi ad opera del caso (nei test statistici la certezza non esiste, ma si ragiona in termini di probabilità). Si assume convenzionalmente che laddove il dato campionario abbia una probabilità casuale minore o uguale al 5% venga considerato rappresentativo della popolazione, ossia statisticamente significativo, per usare il lessico tecnico. Quanto osservato nel campione viene così trasferito alla popolazione, cioè utilizzato per “inferire” su essa. La soglia di probabilità del 5% si deve a William Gosset, noto con lo pseudonimo di Student, il quale la definì ricercando un criterio ottimale per il controllo di qualità nella produzione della birra Guinness a Dublino, sul finire dell’ottocento. Egli trovò che il 5% era il livello di errore (fermare la catena quando non ve ne era bisogno) che meglio armonizzava l’esigenza di contenere al minimo le bottiglie scadenti immesse sul mercato con quella di non interrompere troppo spesso la produzione con falsi allarmi quando i parametri di controllo (concentrazione di malto) apparivano differenti dalla norma. Nei test più severi si adottano soglie dell’1% o anche solo dello 0,1%. In ogni caso si tratta di livelli del tutto convenzionali, scelti dallo sperimentatore per dare al test maggiore o minore sicurezza. Uno sperimentatore coscienzioso dovrebbe sempre segnalare il livello prescelto, poiché è ben diverso dichiarare un risultato statisticamente significativo (scientificamente testato!) alla soglia dell’1% piuttosto che del 5%: dopo la rappresentatività del campione, questo è senza dubbio un secondo elemento fondamentale per giudicare la qualità di un test.
Nell’ambito della stessa ricerca, quanto più grande è il campione tanto più è facile raggiungere la significatività. I test, infatti, tengono giustamente conto della precisione delle rilevazioni, che aumenta con la numerosità del campione. Può così succedere che scostamenti minimi dalla casualità in campioni grandi risultino significativi, mentre scarti ragguardevoli in campioni piccoli non lo siano. Lo sperimentatore viene così ad avere una terza opportunità per mascherare o indirizzare a proprio vantaggio gli esiti del test: operare su campioni grandi e, nel caso in cui lo scarto dalla casualità risultasse modesto, evitare di dichiararne l’entità, limitandosi a segnalarne la sola significatività statistica. Si cerca cioè di confondere i concetti di “significatività” e di “rilevanza”, facendo credere che basti la prima per dimostrare, ad esempio, l’efficacia di un farmaco nel controllo di una certa malattia, e non anche la reale consistenza biologica della sua azione.
Si deve considerare infine, come quarto e ultimo punto critico, la durata del test. La frenesia della società moderna non tollera più le attese ed anche dai test si pretende un’immediatezza incompatibile con le reazioni biologiche, le quali sono spesso molto lente e ritardate. Si pensi, ad esempio, ai lunghi tempi di latenza di talune sostanze cancerogene (anche più di quarant’anni tra l’esposizione e lo sviluppo della neoplasia) o al fatto che gli effetti nocivi sono talvolta dovuti alla trasformazione delle molecole o al loro lento bioaccumulo. L’informazione sulla durata dei test dovrebbe sempre accompagnare la comunicazione dei risultati.
Come si vede, le possibilità di manipolazione di un test non sono poche. Con ciò non s’intende diffondere la tesi che tutto quanto ci viene propinato sia falso, ma solo far comprendere che per degli esperti è relativamente facile “truccare” i dati. Naturalmente, la tentazione della manipolazione diviene molto forte dove sono coinvolti interessi economici, il che dovrebbe convincere l’opinione pubblica e i decisori politici a sostenere la ricerca pubblica o, quantomeno, a mantenere un controllo severo sul privato. A consigliare disincanto rimane poi sempre la congenita parzialità e fallacità della scienza. Zbilut e Giuliani, nell’opera L’ordine della complessità, paragonano l’atteggiamento fideista nei confronti della scienza, oggi osservabile soprattutto in campo medico, al comportamento medioevale di chi si affidava al giudizio della Chiesa per ogni incombenza della vita di tutti i giorni. I “fedeli” dei nostri giorni sono, a detta degli autori, gli ingenui consumatori dei miracoli medici e dei media che promettono battaglie senza quartiere contro la malattia e la morte; invero, aggiungiamo noi, con risultati piuttosto deludenti!
