L’analisi statistica post-hoc (letteralmente “dopo questo”) viene generalmente identificata come quel processo di esplorazione dei dati non contemplato dal protocollo di ricerca ed effettuato successivamente al completamento dell’esperimento. I test statistici applicati nell’ambito delle analisi post-hoc sono svariati e possono essere utilizzati in relazione a specifiche esigenze sperimentali dettate dal disegno di studio e dalle finalità dell’analisi. Di seguito viene riportata una lista non esaustiva dei principali test statistici post-hoc:

• Principio di Bonferroni o diseguaglianza di Boole e il metodo di Dunn-Sidak;
• Procedura LSD di Fisher (e la modifica di Winer);
• Test di Tukey o precedura HSD (con l’estensione di Kramer);
• Test di Student-Newman-Keuls, spesso citato come test SNK o test Q;
• Test di Scheffé (con l’estensione di Gabriel);
• Test di Dunnett per confronti a coppie tra un controllo e vari trattamenti;
• Campo di variazione multiplo di Duncan;
• Procedura per i confronti sequenziali di Holm e il metodo di Shaffer.

Lo scopo di questo breve articolo esula da un’analisi puntuale del campo di applicazione di ciascun test riportato nella lista; piuttosto si propone di fornire alcuni spunti di riflessione per approcciare l’analisi post-hoc con maggiore consapevolezza. 

Vantaggi e svantaggi delle analisi post-hoc

Le analisi post-hoc sono indubbiamente uno strumento utile a disposizione del ricercatore, indipendentemente dall’area di ricerca. Allo stesso tempo, però – e sempre indipendentemente dall’area di ricerca – è necessario applicare queste tecniche con attenzione, soppesando con giudizio la validità dei risultati statistici.

Nell’ambito della ricerca clinica, la maggior parte degli studi randomizzati – sembrerebbe in circa il 70% dei casi – descrive l’applicazione di analisi post-hoc per sottogruppi (AS) in aggiunta ai test utilizzati per verificare la principale ipotesi oggetto di studio. Tale approccio viene utilizzato per verificare se sussistono differenze statistiche negli endpoint di interesse, suddividendo la popolazione esaminata secondo determinati criteri.

Un esempio immediato è l’analisi della differente distribuzione delle osservazioni relative a un endpoint di interesse in relazione all’età degli individui. Ancora, è possibile suddividere i soggetti in base a determinate condizioni cliniche (ad es. fumo, malattie concomitanti, assunzione di farmaci), per poi indagare se sussistono delle differenze significative in relazione a queste categorie.

Se da una parte un’analisi per sottogruppi costituisce un approccio esplorativo utile a promuovere nuove domande di studio e ipotesi sperimentali, all’aumentare delle analisi per sottogruppi (AS) cresce anche la possibilità di osservare una significatività dei test applicati. Appare evidente che una significatività statistica così ottenuta possa basarsi su eventi del tutto casuali e mancare di una solida base biologica e/o medica che validi la presunta relazione causa-effetto.

Ulteriori criticità sono legate alla ridotta dimensione campionaria ottenuta dopo aver suddiviso il dataset originario in categorie. Solitamente, gli studi clinici includono un numero di pazienti sufficiente a verificare accuratamente la principale ipotesi oggetto di studio, mentre le analisi per sottogruppi includono solo una frazione della dimensione campionaria considerata inizialmente.

Tutto ciò si traduce, da una parte, in una maggiore probabilità di osservare un effetto quando questo in realtà non sussiste realmente (Errore di tipo I) e dall’altra in una ridotta potenza del test, legata alla maggiore probabilità di non rilevare un effetto quando esso in realtà sussiste (Errore di tipo II).

Appropriatezza delle analisi post-hoc

A questo punto viene da chiedersi in quali casi sia possibile condurre delle analisi post-hoc i cui risultati possano essere ritenuti sufficientemente accurati e significativi nell’ambito di uno studio clinico. È questo il caso delle analisi per sottogruppi (AS) definite a priori (dette anche priory subgrouping o pre-planned) sulla base di conoscenze biologico-mediche che sostanzino la scelta del raggruppamento. Al contrario, i raggruppamenti effettuati dopo randomizzazione dovrebbero essere evitati e i risultati delle analisi post-hoc relative a tali sottogruppi dovrebbero essere interpretati con cautela, se non addirittura con scetticismo.

Un aspetto importante è quello relativo alla trasparenza in fase di reporting. Al termine delle analisi, lo sperimentatore dovrebbe dare enfasi al risultato complessivo e, in relazione alle analisi post-hoc, esplicitare:

a) il numero di analisi per sottogruppi che sono state condotte (all’aumentare del numero delle analisi aumenta la probabilità di osservare una significatività dei test);
b) la plausibilità biologica e/o medica relativamente ai sottogruppi identificati;
c) se il raggruppamento era stato definito a priori o a posteriori;
d) il numero di osservazioni disponibili per ciascuna categoria dopo il raggruppamento.