Validità discriminante della Health of the Nation Outcome Scales nelle strutture residenziali psichiatriche italiane

A. Gigantesco, A. Picardi, G. de Girolamo*, P. Morosini

per il gruppo nazionale PROGRES** Istituto Superiore di Sanità, Centro di Epidemiologia, Sorveglianza e Promozione della Salute, Reparto Salute Mentale; * Dipartimento di Salute Mentale, Azienda USL di Bologna

Key words: Health of the Nation Outcome Scales (HoNOS) • Validity • Outcome assessment
Correspondence: Dr. Antonella Gigantesco, Istituto Superiore di Sanità, viale Regina Elena 299, 00161 Roma, Italy – Tel. +39 06 49904199 Fax +39 06 49904182, E-mail: gigantesco@iss.it

** Il Gruppo PROGRES include:

Coordinatori: G. de Girolamo, A. Picardi, P. Morosini (Unità Operativa Progetto Nazionale Salute Mentale, Laboratorio di Epidemiologia e Biostatistica, Istituto Superiore di Sanità, Roma); Consulente statistico: R. Micciolo (Università di Trento); Responsabili Operativi Regionali: P. Argentino (Sicilia), G. Borsetti (Marche), M. Casacchia (Abruzzo), P. Ciliberti (Liguria), G. Civenti (Lombardia), A. Colotto (Valle d’Aosta), G. Dell’Acqua (Friuli), P. Di Iorio (Abruzzo), W. Di Munzio (Campania), G. Fagnano (Basilicata), A. Fioritti (Emilia-Romagna), N. Longhin (Veneto), M. Miceli (Toscana), M. Nicotera (Calabria), M. Pisetta (P.A. Trento), R. Putzolu (Sardegna), E. Rossi (Umbria), M.E. Rotunno (Molise), D. Semisa (Puglia), R. Tomasi (P.A. Bolzano), P. Tulli (Lazio), E. Zanalda (Piemonte); Ricercatori: C. Barbini, F. Basile, G. Bazzacco, R. Bracco, A. Calvarese, G. Canuso, E. Caroppo, L. Caserta, M. Cellini, M. Colangione, S. Damiani, T. De Donatis, F. Di Donato, V. Di Michele, R. Esposito, M. Facchini, S. Ferraro, P. Fracchiolla, P. Gabriele, A. Galli, D. Gallicchio, G. Giardina, A. Greco, F. Grilletti, S. Guzzo, A.M. Lerario, M.R. Marinelli, C. Marino, E. Monzani, K. Pesaresi, F. Picoco, L. Pinciaroli, G. Pitzalis, C.A. Rossetti, P. Rubatta, G. Santone, F. Scorpiniti, V. Scrofani, G. Soluri, M. Stefani, A. Svettini, L. Tarantino, A. Vannini, A. Zaffarano; Consulenti: F. Amaddeo, I. Falloon.

Introduzione

Nella seconda metà degli anni ’90 il governo inglese incaricò un gruppo di lavoro della Research Unit del Royal College of Psychiatrists, coordinato da J. Wing, di sviluppare uno strumento, di agevole somministrazione, per la valutazione multidimensionale degli esiti nei servizi di salute mentale.

Questo strumento avrebbe dovuto essere breve, semplice, facile da usare nella pratica clinica, accettabile da tutte le figure professionali, sensibile al cambiamento e applicabile in tutti i tipi di servizi psichiatrici, sia a scopo clinico che gestionale. Nel 1996 fu prodotta la prima versione della Health of the Nation Outcome Scales (HoNOS) (1), che nella versione definitiva di due anni dopo, era composta da 12 items per la valutazione della psicopatologia e del funzionamento sociale in persone con disturbi mentali in trattamento presso servizi specialistici. Gli item in questione erano: 1. Comportamenti iperattivi, aggressivi, distruttivi o agitati; 2. Comportamenti deliberatamente autolesivi; 3. Abuso di alcool e sostanze; 4. Problemi cognitivi; 5. Disabilità fisiche; 6. Allucinazioni e deliri; 7. Depressione; 8. Altri problemi psichici e comportamentali; 9. Relazioni sociali; 10. Attività della vita quotidiana; 11. Condizioni di vita; 12. Disponibilità di risorse per attività lavorative e ricreative.

Successivamente, un’analisi fattoriale dello strumento (2), suggerì la suddivisione dei punteggi in quattro sottoscale relative a: 1. Problemi comportamentali; 2. Disabilità; 3. Sintomi psicopatologici; 4. Problemi sociali.

Facendo seguito alla pubblicazione e diffusione dello strumento, sono stati condotti numerosi studi volti ad indagare le caratteristiche psicometriche dello strumento. Gli studi di riproducibilità e di validità condotti sulla HoNOS hanno fornito risultati spesso contrastanti: inizialmente Wing et al. (2) e Goldney et al. (3) hanno mostrato che la HoNOS risultava essere uno strumento accettabile e riproducibile (fatta eccezione per l’item 12). Tuttavia, studi successivi hanno fornito risultati meno favorevoli: ad esempio Trauer et al. (4) hanno messo in rilievo la scarsa riproducibilità degli item 4, 11 e 12. Bebbington et al. (5) hanno messo in luce una generale scarsa riproducibilità dello strumento quando non veniva compilato da operatori molto ben addestrati e con ampia esperienza clinica che disponessero di informazioni dettagliate sul paziente; in particolare questi autori hanno indicato come problematici gli item 4, 7, 8 e 12. Alle stesse conclusioni di scarsa riproducibilità tra operatori sono giunti gli studi di Amin (6) e di Orrell (7). Per Amin gli item scarsamente riproducibili sono quelli relativi alla dimensione sociale (9-12), per Orrell l’8, il 9, l’11 e il 12.

Più di recente, Brooks (8) ha affermato che la HoNOS è uno strumento con una riproducibilità complessivamente insoddisfacente, in particolare per quanto riguarda gli item 8, 9, 10, 11 e 12.

Gli stessi studi sull’accuratezza dello strumento ne hanno messo in rilievo la scarsa validità concomitante con altri strumenti di valutazione più sofisticati come la Schedules for Clinical Assessment in Neuropsychiatry (SCAN), Social Behaviour Schedule (SBS), e Social Role Performance Schedules (SRPS) (5), SCL 90-R e SF-36 (8), nonché le scarse validità predittiva (3) e sensibilità al cambiamento (4) (5).

Dal punto di vista clinico, la HoNOS è stata messa a punto per consentire una rilevazione periodica degli esiti nella routine assistenziale e facilitare così un monitoraggio del decorso del disturbo e della risposta ai trattamenti ed agli interventi assistenziali. A scopo gestionale, la HoNOS avrebbe dovuto avere capacità di discriminare pazienti con diversi livelli di gravità sia clinica che psicosociale. Tuttavia, i pochi studi condotti finora ne hanno messo in evidenza la scarsa (9) o al massimo moderata (10) validità discriminante. Se i risultati di questi studi fossero confermati si dovrebbe concludere che la HoNOS non è uno strumento utile per valutare il carico di lavoro, né tanto meno per la pianificazione dei trattamenti e dei servizi.

Una versione italiana della HoNOS è stata recentemente sviluppata da Lora et al. (11). Questa versione è stata utilizzata nell’ambito del progetto PROGRES (12) sulle strutture residenziali (SR) promosso e coordinato dall’Istituto Superiore di Sanità; esso aveva come obiettivi principali il censimento e la classificazione di tutte le SR presenti sul territorio nazionale, e la successiva valutazione approfondita di un ampio campione di strutture e di pazienti. Nell’ambito di questo progetto è apparso quindi utile, ad integrazione dei soli due studi condotti su questo tema, approfondire la validità discriminante della HoNOS. Inoltre è stata esaminata la validità convergente di numerosi item della HoNOS rispetto ad altri strumenti di valutazione somministrati contemporaneamente.

Metodi

Caratteristiche del campione e raccolta dati

I dati qui presentati provengono dalle valutazioni condotte sui pazienti residenti in un ampio campione di 265 SR, corrispondenti al 20% delle SR presenti sul territorio nazionale. Per questo studio sono stati presi in esame solo i pazienti con diagnosi di schizofrenia o di altro disturbo psicotico.

Per ciascun ospite è stata compilata una scheda per la rilevazione dei dati sociodemografici, anamnestici e clinici, ivi inclusa la presenza e il decorso recente dei sintomi psicopatologici (positivi, negativi, dell’umore e d’ansia). Inoltre per la valutazione delle condizioni psicopatologiche, del funzionamento psicosociale e delle condizioni di salute fisica sono stati utilizzati oltre alla HoNOS, la Scala per la Valutazione del Funzionamento Sociale e Occupazionale (SOFAS) (13), costituita da una versione riveduta della GAF (scala del DSM-IV) (14) con dettagliate istruzioni per la somministrazione e il Physical Health Index (PHI) (15). In numerose regioni, è stato usato anche il Life Skill Profile (LSP) (16), proposto come strumento facoltativo.

Valutatori

Le valutazioni sono state condotte in équipe da ricercatori partecipanti al progetto e dagli operatori di ogni SR appartenenti a varie qualifiche professionali (psichiatri, psicologi, infermieri psichiatrici, assistenti sociali, OSA/OTA ed educatori). Tutti gli assistenti di ricerca avevano partecipato ad una sessione di addestramento al corretto uso dei vari strumenti di valutazione, tenutosi presso l’Istituto Superiore di Sanità. Per quanto riguarda specificamente la HoNOS, i ricercatori sono stati addestrati da un clinico particolarmente esperto nell’uso dello strumento (dott. Antonio Lora), autore della versione italiana dello strumento stesso.

Validità convergente

Come misura-criterio dell’item della HoNOS Attività della vita quotidiana è stata utilizzata la scala dell’LSP Cura di sé; come misura-criterio degli item della HoNOS Comportamenti iperattivi, aggressivi, distruttivi, agitati e Comportamenti deliberatamente autolesivi è stata impiegata la scala dell’LSP Non turbolenza, per l’item Problemi cognitivi è stata utilizzata la scala dell’LSP Comunicatività, mentre per l’item Disabilità fisica è stato impiegato un punteggio complessivo ottenuto sommando i punteggi parziali nelle 5 aree critiche del PHI. Infine come misure-criterio della scala della HoNOS Problemi sociali sono state utilizzate la scala dell’LSP Contatto sociale e la SOFAS. Le correlazioni sono state esaminate mediante il calcolo del coefficiente r di Pearson. Per quanto riguarda l’item Allucinazioni e deliri il punteggio medio dei pazienti con sintomi positivi attualmente presenti sono stati confrontati tramite il t test con il punteggio medio dei pazienti senza sintomi positivi in atto. Per l’item Depressione il punteggio medio dei pazienti con sintomatologia attualmente presente riferibile a disturbo dell’umore sono stati confrontati tramite il t test con il punteggio medio dei pazienti senza sintomi in atto, escludendo i pazienti con disturbo bipolare.

Validità discriminante

Inizialmente i pazienti sono stati classificati in 8 gruppi in base alla presenza di sintomi positivi, di rilevante disabilità sociale (SOFAS < 40) e di disabilità fisica (almeno una disabilità lieve in una delle 5 aree critiche del PHI).

Per analizzare in che misura il punteggio HoNOS classificasse correttamente i pazienti è stata utilizzata l’analisi della funzione discriminante, delimitando l’analisi a quattro gruppi: 1) pazienti con assenza di sintomi positivi, disabilità sociale e fisica; 2) pazienti con sintomi positivi e assenza di disabilità; 3) pazienti con assenza di sintomi positivi e di disabilità fisica e presenza di disabilità sociale; (4) pazienti con assenza di sintomi positivi e di disabilità sociale, ma presenza di disabilità fisica; questi gruppi sono stati scelti in quanto più omogenei e facilmente differenziabili tra loro, escludendo quindi gruppi più eterogenei per problematiche presenti.

Risultati

La validità convergente della HoNOS

I pazienti con diagnosi di schizofrenia e altri disturbi psicotici erano 2.001. Di questi, la SOFAS era disponibile per 1.851 pazienti, il PHI per 1.698 pazienti, la scala LSP per 1.151 pazienti, mentre gli item della HoNOS erano stati compilati per un numero di pazienti compreso tra 1.862 e 1.959. I punteggi della HoNOS sono risultati tutti significativamente correlati con i corrispondenti punteggi delle altre scale, sebbene le correlazioni abbiano valori piuttosto modesti (Tab. I).

Differenze significative si sono osservate sia, per quanto riguarda l’item Allucinazioni e deliri, tra pazienti con sintomi positivi presenti (punteggio medio: 2,2 � 1,5) e pazienti con sintomi positivi assenti (punteggio medio: 0,9 � 1,6), che, per quanto riguarda l’item Depressione, tra pazienti con sintomi riferibili a disturbo dell’umore presenti (punteggio medio: 1,6 � 1,5) e pazienti senza questi sintomi (punteggio medio: 0,7 � 1,2).

Validità discriminante

L’analisi discriminante è stata effettuata su un totale di 707 pazienti con dati completi su tutte le variabili esaminate, ovvero i singoli item della HoNOS, il punteggio SOFAS, il PHI, e la presenza di sintomi positivi. Questi pazienti erano di sesso maschile nel 63,6% dei casi, avevano un’età media di 49,6 � 14,2 anni, ed erano caratterizzati da un punteggio totale medio di 11,2 � 6,2 alla HoNOS e 52,0 � 15,0 alla SOFAS. Di questi, 205 non presentavano sintomi positivi in atto né rilevante disabilità psicosociale o fisica, 65 presentavano disabilità fisica senza sintomi positivi in atto o rilevante disabilità psicosociale, 305 erano caratterizzati dalla presenza di sintomi positivi ma non di rilevante disabilità psicosociale o fisica e 132 presentavano rilevante disabilità psicosociale senza però sintomi positivi in atto o rilevante disabilità fisica.

In questa analisi, le variabili indipendenti sono i 12 item della HoNOS, mentre la variabile dipendente è costituita dal gruppo di appartenenza in base alla presenza o meno di problemi specifici. Tutte e tre le funzioni discriminanti sono risultate statisticamente significative al test Lambda di Wilks (p < 0,001). La prima funzione discriminante ha presentato coefficienti di correlazione superiori a 0,40 con numerosi item della HoNOS quali Relazioni sociali (0,74), Attività della vita quotidiana (0,57), Altri problemi psichici e comportamentali (0,44), Disponibilità di risorse per attività lavorative o ricreative (0,44), Problemi cognitivi (0,43), Allucinazioni e deliri (0,64), Condizioni di vita (0,45), ed appare interpretabile essenzialmente come “Disabilità psicosociale”. La seconda funzione discriminante ha correlazione superiore a 0,40 solo con l’item Allucinazioni e deliri (0,72) ed appare interpretabile come “Sintomatologia psicotica positiva”. La terza funzione discriminante presenta coefficienti di correlazione superiori a 0,40 con gli item problemi Disabilità fisica (0,50) e Condizioni di vita (0,45) ed appare interpretabile come “Disabilità fisica”.

L’interpretazione delle funzioni discriminanti è risultata corroborata dall’esame delle funzioni ai baricentri di gruppo, che ha mostrato come i gruppi caratterizzati da marcate disabilità sul piano sociale, da sintomi positivi e da grave disabilità fisica vengono chiaramente separati dagli altri tre gruppi rispettivamente sulla prima, la seconda e la terza funzione discriminante.

La procedura di classificazione basata sulle funzioni discriminanti ha quindi consentito di classificare correttamente il 55,7% dei pazienti. In particolare una soddisfacente classificazione è stata possibile per il 54,6% dei pazienti senza sintomi positivi e disabilità sociale o fisica, per il 53,8% dei pazienti con disabilità fisica ma senza sintomi positivi o disabilità sociale, per il 54,8% per i pazienti con sintomi positivi senza disabilità sociale o fisica ed infine per il 60,6% dei pazienti con disabilità sociale ma senza sintomi positivi o disabilità fisica. Per testare la robustezza della classificazione così elaborata, è stata effettuata anche una classificazione “autoesclusiva”, nella quale i casi non vengono considerati nel calcolo delle proprie funzioni di classificazione. In questo modo la percentuale di successo della classificazione stessa è cambiata solo di poco, risultando pari complessivamente al 52,6%.

Discussione

In questo studio sono state esaminate la validità convergente e discriminante della HoNOS rispetto ad altre note misure di valutazione del funzionamento sociale e delle disabilità sociale e fisica. Nel complesso, il profilo delle correlazioni tra i punteggi della scala HoNOS ed i corrispondenti punteggi delle altre scale è risultato coerente. Tuttavia, se si eccettua la correlazione della scala ‘Problemi sociali’ della HoNOS con la SOFAS, che è risultata pari a 0,59, tutte le altre correlazioni hanno valori modesti o moderati.

Complessivamente, le modeste correlazioni con i costrutti della LSP non forniscono garanzie circa la possibilità della HoNOS di essere utilizzata come unico o principale strumento per la valutazione della disabilità sociale. In particolare le basse correlazioni osservate tra gli item Comportamenti iperattivi, aggressivi, distruttivi e agitati e Comportamenti deliberatamente autolesivi con la scala Non turbolenza dello strumento LSP fanno pensare che la HoNOS abbia solo moderate capacità di misurare quest’ultimo costrutto, che si riferisce a problemi di comportamento osservabili sia in pazienti con disturbi psicotici che con determinati disturbi di personalità. La scadente correlazione osservata tra l’item Disabilità fisica e l’indice derivato dal PHI fa altresì ipotizzare che un solo item sia insufficiente per valutare in maniera accurata le condizioni di salute fisica dei pazienti.

In accordo con quanto già osservato in studi precedenti (5) (7), la correlazione più elevata in questo studio è stata riscontrata tra la HoNOS e la SOFAS relativamente ai problemi di funzionamento sociale. Per quanto riguarda invece gli item riferiti a specifici sintomi psicopatologici (Allucinazioni e deliri e Depressione), va sottolineato che, al di là della significatività statistica, le differenze assolute tra i punteggi dei pazienti con sintomi in atto e quelli dei pazienti con assenza di sintomi sono state di minore entità rispetto a quanto ci si poteva attendere, in particolare per quanto riguarda l’item Depressione, dove è risultata essere inferiore a 1 punto, un risultato davvero poco soddisfacente in termini di validità discriminante.

I risultati dell’analisi discriminante indicano che la HoNOS ha capacità classificatorie moderate e sollevano alcune perplessità sulla sua capacità di fornire informazioni utili sia a scopo clinico che gestionale per la valutazione del carico di lavoro finalizzato alla pianificazione dei servizi e alla distribuzione delle risorse. Sulla base dei risultati di questo studio condotto su un campione molto ampio di pazienti in trattamento, l’uso della HoNOS come esclusivo strumento di valutazione per orientare decisioni in tema di politica sanitaria locale non appare consigliabile poiché è possibile che la HoNOS non consenta di classificare accuratamente pazienti che presentano diversi livelli di gravità e diversi bisogni assistenziali.

I risultati di questo studio sembrano confermare quanto è stato osservato negli unici due studi precedentemente condotti sulla validità discriminante della HoNOS. Nel primo dei due studi (9), la HoNOS è stata paragonata alla Social Behaviour Schedule (SBS) per confrontare la capacità dei due strumenti di discriminare tra pazienti psichiatrici lungodegenti classificati in tre gruppi in base alla stima della probabilità di essere dimessi. È stato messo in luce che la SBS, ma non la HoNOS, discriminava il gruppo dei pazienti con la minore probabilità di essere dimessi rispetto ai due gruppi di pazienti con maggiore probabilità di essere dimessi perché con problemi meno gravi. Nel secondo studio (10), l’analisi discriminante è stata condotta per analizzare la capacità della HoNOS di discriminare fra gruppi con diverse diagnosi; analogamente ai risultati del presente studio, è stato riscontrato che la HoNOS classificava correttamente solo il 57% dei casi.

È probabile che le modeste capacità classificatorie della HoNOS siano da ascrivere alla scarsa specificità dei singoli item. È indubbio che nell’intento di sviluppare uno strumento di valutazione breve e agevole, gli autori della HoNOS abbiano costruito i singoli item in modo che comprendessero il massimo numero di condizioni possibili rispetto ai diversi aspetti indagati, generando così ambiguità su cosa effettivamente essi vogliano misurare. A ciò si aggiunge la scarsa definizione dei livelli di gravità, verosimilmente correlata alla bassa riproducibilità dei punteggi. Infine, per alcuni item, in particolare l’item 7 sulla depressione, la definizione del costrutto da misurare appare poco soddisfacente.

Conclusioni

Il limite della scala HoNOS è quello comune a molti degli strumenti di valutazione degli esiti caratterizzati da brevità e uniformità di applicazione a tutti i pazienti, i quali sono spesso inaccurati e riduttivi e richiedono di essere integrati da descrizioni cliniche approfondite dei singoli casi o dal contemporaneo impiego di altri strumenti di valutazione.

Si è accennato nell’introduzione, al fatto che la HoNOS sia stata oggetto di molte critiche e in effetti anche il nostro studio non ha mostrato forti evidenze a sostegno dell’uso esclusivo di questo strumento.

Appare auspicabile, anche in accordo con le proposte di autori come Bebbington et al. (5), Brooks et al. (8), McClelland et al. (10) e Trauer (17), che siano introdotte delle opportune modifiche del glossario e dei punti di ancoraggio al fine di migliorare la riproducibilità e l’accuratezza dello strumento.

Tab. I. Validità convergente della HoNOS. Correlazioni con le altre misure criterio. Convergent validity of the HoNOS. Correlation with other criterion-measure.

1 Wing JK, Curtis RH, Beevor AS. HoNOS. Health of the Nation Outcome Scales. Report on research and development. London: College Research Unit 1996.

2 Wing JK, Beevor AS, Curtis RH, Park BG, Hadden S, Burns A. Health of the Nation Outcome Scales (HoNOS): research and development. Br J Psychiatry 1998;172:11-8.

3 Goldney RD, Fisher LJ, Walmsley SH. The Health of the Nation Outcome Scales in psychiatric hospitalisation: a multicentre study examining outcome and prediction of length of stay. Aust N Z J Psychiatry 1998,32:199-205.

4 Trauer T, Callaly T, Hantz P, Little J, Shields R, Smith J. Health of Nation Outcome Scales. Results of the Victorian field trial. Br J Psychiatry 1999;174:380-8.

5 Bebbington P, Brugha T, Hill T, Marsden L, Window S. Validation of the Health of the Nation Outcome Scales. Br J Psychiatry 1999;174:389-94.

6 Amin S, Singh SP, Croudace T, Jones P, Medley I, Harrison G. Evaluating The Health of the Nation Outcome Scales. Reliability and validity in a three year follow up of first onset psychosis. Br J Psychiatry 1999;174:400-3.

7 Orrell M, Yard P, Handysides J, Shapira R. Validity and reliability of the Health of the Nation Outcome Scales in psychiatric patients in the community. Br J Psychiatry 1999;174:409-12.

8 Brooks R. The reliability and validity of the Health of the nation Outcome Scales: validation in relation to patient derived measures. Aust N Z J Psychiatry 2000;34:504-11.

9 Allan S, McGonagle I. A comparison of HoNOS with the Social Behaviour Schedule in three settings. J Mental Health 1997;6:117-24.

10 McClelland R, Trimble P, Fox ML, Stevenson MR, Bell B. Validation of an outcome scale for use in adult psychiatric practice. Qual Health Care 2000;9:98-105.

11 Lora A, Bai G, Bianchi S, Bolongaro G, Civenti G, Erlicher A, et al. The Italian version of HoNOS (Health of the Nation Outcome Scales), a scale for evaluating the outcome and the severity in mental health services. Epidemiol Psichiatr Soc 2001;10:198-212.

12 de Girolamo G, Picardi A, Micciolo R, Falloon I, Fioritti A, Morosini P, PROGRES Group. Residential care in Italy. National survey of non-hospital facilities. Br J Psychiatry 2002;181:220-5.

13 Morosini PL, Magliano L, Brambilla L, Ugolini S, Pioli R. Development, reliability and acceptability of a new version of the DSM-IV Social and Occupational Functioning Assessment Scale (SOFAS) to assess routine social functioning. Acta Psychiatr Scand 2000;101:323-9.

14 Jones SH, Thornicroft G, Coffey M, Dunn G. A brief mental health outcome scale-reliability and validity of the Global Assessment of Functioning (GAF). Br J Psychiatry 1995;166:654-9.

15 O�Driscoll C, Leff J. The TAPS Project. 8: Design of the research study on the long-stay patients. Br J Psychiatry 1993;19(Suppl):18-24.

16 Rosen A, Hadzi-Pavlovic D, Parker G. The life skills profile: a measure assessing function and disability in schizophrenia. Schizophr Bull 1989;15:325-37.

17 Trauer T. Update from down under. In HoNOS update. Br J Psychiatry 2000;176:392-5.