La meta-analisi

La meta-analisi è stata, a partire dalle prime applicazioni di Honorton, l'alternativa utilizzata dalla parapsicologia. Essa si basa sulla dimensione dell'effetto che sostituisce la logica dicotomica della significatività (assente o presente) proponendo un criterio continuo di misurazione dell'intensità della relazione tra variabili; il problema non è più la presenza o l'assenza di una relazione, bensì quanto essa sia presente. La dimensione d'effetto è l'unità di misura su cui si basa la meta-analisi, un insieme di tecniche statistiche che consente l'integrazione di risultati provenienti da molteplici studi che analizzano la stessa ipotesi. Essa si pone essenzialmente due obiettivi: la verifica della presenza e della forza della relazione investigata, e la ricerca di eventuali fattori in grado di modificare tale relazione.

L'introduzione delle tecniche statistiche meta-analitiche nel campo della parapsicologia sperimentale è stata motivata appunto dal tentativo di evidenziare la presenza di risultati che, pur rivelando apparentemente - gli studi statisticamente significativi - la presenza del fenomeno sottostante (la percezione extrasensoriale), non erano in grado di varcare costantemente la soglia significatività. Anziché vedere se la psi è abbastanza presente da produrre dei risultati tanto improbabili da essere significativi, con la logica della meta-analisi si verifica quanto è presente un fenomeno. Nella fattispecie l'obiettivo era quello di recuperare gli esperimenti che pur non essendo significativi, comunque rivelavano la presenza della psi. La cumulazione di tutti gli esperimenti avrebbe consentito di fornire una verifica complessiva della presenza della psi, scavalcando la necessità di rendere ogni esperimento significativo. Per questi motivi la meta-analisi è stata considerata la prassi statistica di maggior credito scientifico in parapsicologia, almeno per la ESP nel ganzfeld, sino a considerarla una dimostrazione scientifica dell'esistenza della percezione extrasensoriale.

Sono state condotte tre importanti meta-analisi sul ganzfeld: tre blocchi di esperimenti valutati cumulativamente con strategie di integrazione statistica. Nel primo blocco, reso celebre dalla collaborazione fra Honorton e Hyman, l'effetto medio dei 28 esperimenti che utilizzano lo stesso test per la verifica della significatività dei risultati (la proporzione di successi), ammonta a un valore medio di 0,62. In altre parole, in base alle attese del caso, ci si aspetterebbe una proporzione di successi del 25%: se non ci fosse alcuna "fuga di informazioni", cioè, i soggetti dovrebbero riconoscere una somiglianza tra la propria attività mentale e il target una volta su quattro, una media puramente casuale. La proporzione di successi ha invece una media del 35% con una oscillazione tra il 28% e il 43%. La probabilità che tali risultati siano casuali è di 2,1 x 10-11.

È stato calcolato che sarebbero necessari ben 423 esperimenti di ganzfeld non significativi per rendere casuale il tasso complessivo di successi del primo blocco: un numero assolutamente sproporzionato rispetto alla mole di attività complessiva di esperimenti parapsicologici. Nel 1985 Hyman e Honorton pubblicarono un celebre joint communiqué nel quale concordarono sul fatto che, benché questo primo database di esperimenti avesse avuto un effetto positivo, la risposta sull'esistenza della percezione extrasensoriale doveva essere rimandata ad ulteriori esperimenti condotti in futuro da altri ricercatori con standard di controllo ancora più severi.

Passiamo così al secondo blocco. E" stata tentata una replica dei primi risultati che ha prodotto undici esperimenti dagli esiti altrettanto forti (Honorton et al., 1990). L'indice medio di effetto è 0,59, ancora una volta di intensità media, con una percentuale complessiva di successi del 32%, con una probabilità di casualità pari a 0,002. Come si può vedere, i risultati sono sovrapponibili a quelli precedenti (si presti attenzione al fatto che i valori z e p sono ridotti a causa del già discusso effetto dovuto all'utilizzazione di campioni di piccola numerosità). Ma anche in questo caso non sono mancate le critiche, tra le quali la più pesante è che non esiste prova che le repliche siano indipendenti; gli esperimenti sono stati pubblicati in un'unica ricerca con il nome di sette autori, senza alcuna distinzione interna. Come scrive Hyman (1994): "Conseguentemente, gli studi di autoganzfeld dovrebbero essere considerati più come un grande esperimento che come 11 contributi diversi".

La storia della meta-analisi nel ganzfeld culmina con l'ultima meta-analisi che fallisce nel replicare il tanto osannato effetto medio (Milton e Wiseman, 1999). Sono stati valutati ben 30 esperimenti provenienti da sette diversi laboratori per un totale di 1198 prove: l'effetto medio è risultato uguale a 0,013. Come interpretare questi dati? Semplicemente considerando che l'ipotesi che i risultati dell'esperimento ganzfeld siano una conseguenza dell'esistenza dei fenomeni paranormali è errata, per il fatto che, tecnicamente, nessuna meta-analisi può dimostrare l'esistenza dei fenomeni parapsicologici. Per quanto potente sia, un risultato statistico significativo prodotto anche dal più potente metodo di valutazione non è in grado di dimostrare la realtà di un evento empirico. Nel caso della parapsicologia, si conviene sul fatto che l'ipotesi nulla (il controllo) sia la distribuzione campionaria che descrive l'insieme di eventi in cui tutti i fattori "normali" sono controllati; l'ipotesi alternativa sia la distribuzione campionaria che descrive l'insieme di eventi modificati dall'effetto delle capacità paranormali. Cioè si ipotizza che, laddove intervenga un'oscillazione statisticamente significativa dei dati, quel campione di risultati sia inequivocabilmente spiegato dalla psi. Nella teoria della verifica delle ipotesi, l'ipotesi alternativa indica infatti la definizione operazionale della ricerca.

Il problema è che numerosi fattori possono produrre risultati statistici significativi. Come scrive Hyman: "Operazionalmente, la presenza di un fenomeno cognitivo anomalo è rivelata dall'eliminazione di tutte le altre possibilità" (1995), ovvero la definizione operativa delle variabili parapsicologiche abitualmente considerate mancherebbe di validità di costrutto (come sostengono Cook e Campbel, 1979), poiché non in grado di legare in maniera certa i fenomeni empirici osservati al costrutto teorico di riferimento. È vero che l'esistenza della percezione extrasensoriale porterebbe a descrizioni statisticamente significative, ma non è vero che la presenza di queste ultime indichi con certezza la presenza della ESP.

Il difetto, in sostanza, sta nella definizione operazionale. "Una buona definizione operazionale deve soddisfare due criteri: a) deve contenere una descrizione delle procedure tanto dettagliata che un altro ricercatore, utilizzando la descrizione fornita, sia in grado di compiere le medesime operazioni: b) deve rappresentare adeguatamente la variabile concettuale sottostante. La maggiore o minore corrispondenza tra la variabile concettuale e la variabile operativa determina la validità di costrutto della definizione operazionale utilizzata" (D'Odorico e Boca, 1995). Le variabili abitualmente considerate paranormali difettano quindi della validità di costrutto; in particolare falliscono nell'individuare degli indicatori osservabili che consentano di risalire in maniera inequivocabile dall'esperienza al costrutto, lasciando sempre il dubbio che qualcos'altro possa essere successo. Nella fattispecie, il qualcos'altro può essere ad esempio una randomizzazione non esatta, la frode, una fuga sensoriale, etc. La garanzia dovrebbe essere l'isolamento sensoriale e fisico, che comunque non può ragionevolmente esistere in assoluto. A garantire la validità interna di una ricerca, cioè che il risultato di un test sia il prodotto delle variabili ipotizzate, è il disegno sperimentale non la significatività statistica: il valore p "...non è una "misura" della correttezza delle altre inferenze che noi potremmo fare" (Bakan, 1966). Poniamo che un esperimento parapsicologico sia significativo a un livello di 0,003; il tre su mille non indica la probabilità che il risultato non sia dovuto a un fenomeno paranormale, bensì la probabilità che il risultato sia casuale: la causa dell'oscillazione statistica è tutta da scoprire.

Non a caso, Coover, uno psicologo della Stanford University che si occupò di "parapsicologia sperimentale" ben prima che essa fosse ufficialmente fondata da Rhine, sosteneva che per scartare l'ipotesi del caso in un esperimento parapsicologico, si doveva considerare un valore molto basso (lui suggeriva un valore di probabilità inferiore ad 1 su 10000).

Ma il problema non è ottenere risultati statistici sempre più significativi, bensì, molto più semplicemente, potere osservare stabilmente ed empiricamente dei fenomeni paranormali, un concetto di una semplicità assoluta, ben espresso da Hyman nel 1995: "La parapsicologia è l'unica scienza ad affidarsi agli scostamenti significativi dal caso per stabilire la presenza dei suoi pretesi fenomeni. Nelle altre scienze i fenomeni definiti possono essere osservati in modo attendibile e non richiedono dirette misure statistiche per giustificare la loro esistenza. Piuttosto, ogni branca della scienza inizia con fenomeni che possono essere osservati direttamente... Solo la parapsicologia pretende di essere una scienza sulla base di fenomeni (o di un fenomeno) la cui presenza può essere rivelata soltanto rifiutando una ipotesi nulla... Studi empirici hanno dimostrato che i modelli statistici si adattano al mondo reale soltanto approssimativamente" (Hyman, 1995).

Se questo appare così chiaro, perché allora l'enfasi posta dalla parapsicologia accademica sulla meta-analisi? Ingenuità? Mancanza di adeguate competenze? Certamente no. Si ha l'impressione di trovarsi di fronte a un problema sottilmente teoretico. Infatti, la teoria dominante - praticamente da sempre - nella parapsicologia sperimentale è stata quella del "segnale debole". Ciò che chiamiamo psi sarebbe insomma una forma di comunicazione (o di azione) di livello estremamente basso, in qualche modo dispersa fra fenomeni percettivi o motori "forti". Ciò ha condotto all'utilizzazione sempre più routinaria di metodi teoricamente in grado di aumentare il segnale psi (per esempio, il ganzfeld) e alla ricerca di metodi statistici sempre più potenti. Le procedure statistiche meta-analitiche si sono rivelate un insieme di tecniche capaci di sintetizzare e spiegare validamente risultati di difficile replica e contraddittori; la loro utilizzazione avrebbe quindi dovuto permettere di "ricevere" e amplificare al meglio questo segnale paranormale, invisibile nei singoli studi. I risultati sia dei metodi sperimentali, sia dei metodi statistici sono stati deludenti.

Sono allora evidenti due fatti: (1) la teoria del "segnale debole" meriterebbe più attente riflessioni e (2) l'evidenza empirica non può in alcun modo essere sostituita da un indice di significatività statistica (pretesa che comunque nel caso del ganzfeld è stata duramente ridimensionata dallo studio di Milton e Wiseman del 1999).