D:\Lavori\Rivista Farmeco\Rivis 263Farmeconomia e percorsi terapeutici 2005; 6 (3) © SEEd Tutti i diritti riservati Commento Commenti all’articolo: “Interruzione del trattamento nei pazienti con schizofrenia che ricevono olanzapina o aripiprazolo: metanalisi degli studi clinici controllati” COMMENTO Egregio Direttore, Le scriviamo per svolgere alcune conside- razioni sull’articolo “Interruzione del tratta- mento nei pazienti con schizofrenia che rice- vono olanzapina o aripiprazolo: metanalisi de- gli studi clinici controllati” pubblicato su Far- macoeconomia e Percorsi Terapeutici [1]. Il nostro commento verte esclusivamente su aspetti metodologici e vuole essere un contri- buto alla comprensione dei principi della Evidence Based Medicine e delle “good practices” a cui è auspicabile i membri della comunità scientifica si attengano nel lavoro di ricerca. Per una corretta interpretazione dei nostri commenti riteniamo utile partire da una defini- zione di metanalisi. Una metanalisi è “una sin- tesi statistica dei risultati numerici di vari trials che indirizzano la stessa domanda” [2]. In ge- nere, viene eseguita al fine di avere una numerosità campionaria e una casistica più elevate e quindi migliori stime statistiche di parametri quali il Rischio Relativo o l’Odds R a t i o . I d a t i v e n g o n o r a c c o l t i c o n u n a systematic review, un’analisi sistematica della letteratura, la cui metodologia dovrebbe sem- pre essere descritta chiaramente al fine di per- mettere ad altri ricercatori di ripeterla e di otte- nere gli stessi risultati. È sempre fondamenta- le indicare: a) la popolazione, b) l’intervento, c) l’outcome [3]. Le metanalisi hanno un for- mato standard internazionale, conosciuto col nome di “QUOROM statement”, analogo al CONSORT format per i RCTs, che descrive la metodologia con la quale presentare dati metanalitici [4]. Inoltre, alcuni pacchetti stati- stici sono stati sviluppati ad hoc per facilitare il lavoro dei metanalisti (e.g. Metaview©). Le nostre considerazioni si focalizzeranno su tre punti dell’articolo che riteniamo deboli metodologicamente: la comparazione indiret- ta, l’outcome scelto, il follow-up. L’articolo citato presenta un confronto in- diretto delle frequenze di drop-outs dell’olanzapina e dell’aripiprazolo in pazienti schizofrenici. I numeri impiegati nel confronto sono attinti dagli articoli pubblicati sui RCTs. Tra gli articoli presi in considerazione, 8 per olanzapina e 4 per aripiprazolo, non ci sono confronti diretti tra i due farmaci. La presenza del confronto indiretto, pur costituendo una caratteristica metodologica di questo articolo nonché una ragione della sua oggettiva debo- lezza, non viene esplicitato nel titolo. Ritenia- mo ciò fuorviante per il lettore [5]. Il secondo punto riguarda l’outcome scelto dagli autori, da essi definito come la “frequenza di drop-outs a breve termine (26 settimane) per olanzapina e aripiprazolo nel trattamento della schizofrenia” (cit. pag.70). Si crede che la scelta operata dagli autori significhi che le frequenze di drop-outs a 26 settimane (6 mesi) saranno enucleate da tutti gli studi inclusi nella metanalisi e, quindi, comparate tra loro. Al fine di perseguire questo obiettivo, gli autori affermano di avere eseguito una siste- matica revisione della letteratura, la cui metodologia però non include la flow-chart con il numero di articoli per ogni iterazione e non può dunque essere replicata. Gli autori affer- mano di avere incluso solo RCTs che rispon- Sul primo numero del 2005 della rivista è stato pubblicato l’articolo dal titolo “Interru- zione del trattamento nei pazienti con schizofrenia che ricevono olanzapina o aripiprazolo: metanalisi degli studi clinici controllati”, a firma di Benedetta Santarlasci (Laboratorio SIFO di Farmacoeconomia), Giovanni Biricolti (Eli Lilly Italia) e Cecilia Orsi (Laboratorio SIFO di Farmacoeconomia). A proposito di tale articolo abbiamo ricevuto un commento da parte di due membri del Pharmaceutical Research Institute di Bristol-Myers Squibb, con invito alla pubblicazione. Abbiamo accolto volentieri la proposta, ritenendo che tale contributo possa arricchire l’ap- profondimento del tema in discussione, soprattutto dal punto di vista della metodologia metanalitica, spesso utilizzata nell’ambito della farmacoeconomia e della ricerca medica. Pubblichiamo di seguito anche una nota degli Autori come commento e precisazione ai rilievi mossi al loro articolo. 264 Farmeconomia e percorsi terapeutici 2005; 6 (3)© SEEd Tutti i diritti riservati Commento dono a quattro criteri: 1) studi svolti con pa- zienti schizofrenici; 2) studi randomizzati; 3) studi con una numerosità campionaria non in- feriore a 100. Il quarto criterio di selezione è la “valutazione della frequenza del drop-out ad un tempo compreso tra la 4ª e la 26ª settimana del follow-up” (cit. pag.70). Nell’articolo non c’è menzione di possibili differenze di caratte- ristiche alla baseline delle popolazioni recluta- te negli studi (trattandosi appunto di compa- razione indiretta). Inoltre, gli autori non ese- guono un test di eterogeneità per verificare se è davvero possibile combinare questi dati in- sieme malgrado le frequenze riportate nelle Ta- belle I e II siano molto diverse tra loro (notia- mo en passant che non sono stati calcolati i relativi intervalli di confidenza). Ci sembra poi che la numerosità campionaria non sia di per sé un criterio di esclusione, in quanto uno de- gli scopi delle metanalisi è proprio quello di combinare i risultati di studi clinici, purché ben eseguiti, per avere stime migliori (cioè interval- li di confidenza più stretti). Infine, il quarto cri- terio sembra in contrasto con la definizione dell’outcome precedentemente fissato a 26 set- timane. Dall’articolo non è desumibile una spie- gazione di questa incoerenza. Si fa notare che qualunque punto scelto arbitrariamente tra 4 e 26 settimane dovrebbe comunque essere sem- pre lo stesso per tutti i trials selezionati, al fine di poter permettere la comparazione indiretta come affermato negli obiettivi. Invece, i follow- ups riportati nelle Tabelle I e II dell’articolo ca- dono in diversi punti nel tempo, per esempio: 4, 6, 8, 16, 26 settimane (pag.71-72). In alcuni casi, questi follow-ups non sono quelli dei RCTs originali riportati in bibliografia. Per esempio, nello studio su aripiprazolo ese- guito da Kasper [6] i pazienti reclutati in doppio cieco e randomizzati sono stati seguiti fino a 52 settimane o fino alla discontinuazione e non per 16 come riportato nell’articolo. Lo studio di Conley [7] su olanzapina ha un follow-up di 8 settimane e non 6 come riportato. Anche i follow- ups degli studi di Lieberman [8], Tran [9], Rosenheck [10] su olanzapina sono stati ridotti. In altri, invece, come Potkin [11], Pigott [12] e Kane [13] la lunghezza del follow-up è fedele allo studio originale. È stato osservato che nei RCTs dove l’outcome di interesse è dicotomico (ad es. drop-out/no drop-out), le frequenze degli even- ti nel gruppo sperimentale e in quello di con- trollo variano in accordo con la lunghezza del follow-up [14].Gli autori dell’articolo però non tengono conto di questo principio e non dico- no perché hanno abbreviato la durata di alcuni RTCs proprio alla settimana indicata nelle loro tabelle né con quale metodo hanno poi ricalcolato le frequenze di drop-outs alla setti- mana riportata. Non solo quindi l’articolo prende in consi- derazioni trials con una durata variabile: 6, 6, 8, 6, 6, 8, 24, 16 settimane per olanzapina e 16, 4, 26, 4 per aripiprazolo, ma anche la durata media dei trials, ricalcolati e ridotti dagli autori, è di- versa: 12,5 settimane nel caso di aripiprazolo e 10 settimane del caso di olanzapina. D a t o c h e g l i s t u d i c o n s i d e r a t i p e r aripiprazolo sono, in media, più lunghi, è legit- timo aspettarsi una frequenza di drop-outs più elevata. È infatti sufficiente un’occhiata alle Tabelle I e II per constatare che gli studi di breve durata tendono ad avere una proporzio- ne più bassa di drop-outs, mentre quelli con una durata più lunga hanno una proporzione maggiore. Riteniamo che non tenere in conto la diversa durata dei follow-ups introduca un bias che invalida i risultati dell’articolo. Inol- tre, non esplicitare il metodo adottato per enucleare la frequenza di drop-out nonché il razionale di questa scelta può fuorviare il let- tore non permettendogli di replicare l’analisi. In conclusione, riteniamo che le nostre con- siderazioni indirizzino tre elementi dell’articolo che non consideriamo soddisfacenti: a) la na- tura indiretta della comparazione e il bias da ciò implicato non sono stati dovutamente evidenziati nel titolo e discussi nell’articolo; b) la definizione dell’outcome prescelto non è scevro di imprecisioni metodologiche; c) la lun- ghezza dei follow-ups è differente nei vari stu- di e il peso che ciò ha sull’end-point non è stato opportunamente corretto. Firmato: Giovanni Battista Leproux, MD - Michele Intorcia, MSc Pharmaceutical Research Institute, Bristol-Myers Squibb BIBLIOGRAFIA 1. Santarlasci B, Biricolti G, Orsi C. Interruzione del trattamento nei pazienti con schizofrenia che ricevono olanzapi- na o aripiprazolo: metanalisi degli studi clinici controllati. Farmeconomia e Percorsi Terapeutici, 2005; 6 (1):69-75 2. Greenhalgh T. How to Read a Paper. The Basics of Evidence Based Medicine. BMJ Books 2001, p.129 265Farmeconomia e percorsi terapeutici 2005; 6 (3) © SEEd Tutti i diritti riservati Commento 3. Guyat G, Rennie D. Users’ Guides to the Medical Literature. JAMA&Archives Journals, 2002, p.27 4. Moher D. Improving the quality of reports of meta-analyses of randomised controlled trials: The QUOROM statement. The Lancet, Vol.354, Nov 27, 1999 5. Per un’ampia trattazione sul bias prodotto da comparazioni indirette (e suggerimenti su come evitarlo) vedi Glenny AM, Altman DG, Song F, Sakarovitch C, Deeks JJ, D’Amico R, et al. Indirect comparisons of competing interventions. Health Technol Assess 2005;9(26) 6. Kasper S et al. Efficacy and safety of aripiprazole vs. haloperidol for long-term maintenance treatment following acute relapse of schizophrenia. Int J Neuropsychopharmacol. 2003 Dec;6(4):325-37 7. Conley RR et al. A randomised double-blind study of risperidone and olanzapine in the treatment of schizophrenia or schizoaffective disorder. Am J Psychiatry. 2001 May; 158(5):765-74 8. Liebermannm JA et al. Comparative efficacy and safety of atypical and conventional antipsychotic drugs in first- episode psychosis: a randomised, double-blind trial of olanzapine versus haloperidol. Am J Psychiatry 2003 Aug; 160(8):1396-404 9. Tran PV et al. Double blind comparison of olanzapine versus risperidone in the treatment of schizophrenia and other psychotic disorders. J Clin Psychopharmacol. 1997 Oct;17(5):407-18 10. Rosenheck R et al. Effectiveness and cost of olanzapine and haloperidol in the treatment of schizophrenia: a randomised controlled trial. JAMA, 2003 Nov 26;290(20):2693-702 11. Potkin SG et al. Aripiprazole, an antipsychotic with a novel mechanism of action, and risperidone vs placebo in patients with schizophrenia and schizoaffective disorder. Arch Gen Psychiatry. 2003 Jul; 60(7):681-90 12. Pigott TA et al. Aripiprazole for the prevention of relapse in stabilised patients with chronic schizophrenia: a placebo-controlled 26-week study. J Clin Psychiatry. 2003 Sep;64(9):1048-56 13. Kane JM et al. Efficacy and safety of aripiprazole and haloperidol versus placebo in patients with schizophrenia and schizoaffective disorder. J Clin Psychiatry 2002 Sep;63(9):763-71 14. D’Amico R and Deeks J, Douglas Altman. Effect of the length of follow-up on meta-analysis. Abstract pubblicato su http://www.cochrane.org/colloquia/abstracts/baltimore/Maryland25.htm (ultima consultazione 23/08/2005 ore 15:53) Di seguito riportiamo le contro-argomentazioni degli Autori in risposta ai commenti formu- lati da Leproux e Intorcia. Leproux e Intorcia propongono due prin- cipali osservazioni a commento della nostra analisi: a) il disegno di confronto indiretto tra i due farmaci; b) la scelta di un indicatore di esito (drop-out entro la 26a settimana) che non tiene conto del timing dell’evento. Per quanto riguarda il primo punto, questo tipo di disegno (comparazione indiretta) è sta- ta - di fatto - una scelta obbligata poiché non esistono in letteratura trials di confronto diret- to aripiprazolo vs antipsicotici atipici. Peraltro, il nostro articolo ha evidenziato con chiarezza che questo punto è il principale limite della nostra analisi (nostre testuali parole “... il prin- cipale punto debole del nostro studio consi- ste nel disegno indiretto del confronto tra i due farmaci il quale è stato tuttavia una scelta obbligata, in quanto mancano RCT che abbia- no valutato questi due trattamenti con un con- fronto testa a testa...”). La necessità che le metanalisi tengano conto, quando i dati di partenza lo consenta- no, della differente durata del follow-up tra i diversi studi clinici presi in esame è un pro- blema che il nostro stesso gruppo ha identifi- cato da molti anni [1], sottolineando che la costruzione di una curva di Kaplan-Meier metanalitica (a partire dalle curve riportate separatamente nei singoli studi) è la modalità che raggiunge il massimo rigore metodologico [2,3]. Questo approccio basato sulle costru- zione delle curve metanalitiche tipo Kaplan- Meier comporta tuttavia uno sforzo sperimen- tale assai oneroso poiché spesso si rende necessario recuperare i dati grezzi censorizzati dei pazienti contattando gli autori degli studi clinici originali [4]. Q u e l l a d a n o i s v o l t a v o l e v a e s s e r e un’analisi semplice basata sulla frequenza di drop-out osservato tra la 5° e la 26° setti- mana. A parere nostro, le osservazioni di Leproux e Intorcia sollevano i seguenti que- 266 Farmeconomia e percorsi terapeutici 2005; 6 (3)© SEEd Tutti i diritti riservati Commento siti: da un punto di vista clinico-terapeutico, quanto è rilevante “droppare” alla 5° piutto- sto che alla 26° settimana? Ovvero: in una terapia cronica da protrarsi per anni il falli- mento è droppare in acuto e il non-fallimen- to è il non droppare in acuto, indipendente- mente dal timing a cui l’evento eventualmen- te accade? Oppure la differenza tra droppare alla 5° o alla 26° settimana può essere clini- camente rilevante? Di qualunque opinione sia il lettore, resta vero il fatto che tanto più lunga è la durata di uno studio tanto maggiore è il tempo che po- tenzialmente si concede affinché l’evento pos- sa verificarsi. D’accordo quindi sul fatto che, idealmen- te, un’analisi che tiene conto delle diverse du- rate di follow-up sarebbe stata migliore. Pur tuttavia, considerato che non tutti gli studi ri- portavano le curve di indice del drop-out ver- so tempo, la metanalisi tipo Kaplan-Meier era impossibile salvo recuperare i dati grezzi da t u t t i g l i s t u d i c o n u n g r a n d e s f o r z o organizzativo. Né, d’altra parte era possibile, sul versante delle analisi semplici, eseguire una valutazione con una definizione ristretta del drop-out in acuto (ad es. tra la 4° e la 6° setti- mana) poiché alcuni studi non riportano que- sto dato e neppure presentano le informazioni grafiche da cui ricavarlo indirettamente. Firmato: Benedetta Santarlasci, Cecilia Orsi Laboratorio SIFO di Farmacoeconomia, Ferrara BIBLIOGRAFIA 1. Messori A. Current controversies in the application of meta-analysis (with special reference to oncological treatments) Pharm World Sci. 1997 Jun;19(3):152-8. 2. Messori A, Rampazzo R. Meta-analysis of clinical trials based on censored end-points: simplified theory and implementation of the statistical algorithms on a microcomputer. Comput Methods Programs Biomed. 1993 Aug;40(4):261-7. 3. Messori A, Trippoli S, Vaiani M, Cattel F. Survival meta-analysis of individual patient data and survival meta- analysis of published (aggregate) data. Clin Drug Invest 2000;20(5):309-316). 4 Messori A, Vaiani M, Trippoli S, Rigacci L, Jerkeman M, Longo G. Survival in patients with intermediate or high grade non-Hodgkin’s lymphoma: meta-analysis of randomized studies comparing third generation regimens with CHOP. Br J Cancer. 2001 Feb 2;84(3):303-7.