Validazione di uno strumento di valutazione dell’opinione dei pazienti e dei familiari dei servizi di salute mentale

A. GIGANTESCO, E. CHIAIA*, P. MOROSINI, A. BALBI*

Istituto Superiore di Sanità, Reparto Valutazione dei Servizi; * ASL Roma D, Dipartimento di Salute Mentale

Key words: Patient and relative opinion � Patient and relative satisfaction � Mental Health Services � Outcome assessment � Reliability

Correspondence: Dr. Antonella Gigantesco, Istituto Superiore di Sanità, Laboratorio di Epidemiologia e Biostatistica, Reparto Valutazione dei Servizi, viale Regina Elena 299, 00161 Roma, Italy, Tel. +39 6 49902895 – Fax +39 6 49387069, E-mail: gigantesco@iss.it

Introduzione

Tra gli esiti valutabili di un servizio sanitario rivestono oggi un ruolo centrale la soddisfazione dei pazienti e quella dei familiari. La misura di questi esiti è riconosciuta come fondamentale per l�effettuazione di studi di Miglioramento Continuo di Qualità delle prestazioni sanitarie (1)-(7), in particolare nei servizi di riabilitazione (9) e nei servizi di salute mentale (9)-(12), studi che sono raccomandati dal Piano Sanitario Nazionale e obbligatori in tutti i programmi di accreditamento. Si comincia anche ad avvertire l�esigenza di introdurre in maniera sistematica la valutazione della soddisfazione degli utenti negli studi di efficacia teorica (efficacy) degli interventi sanitari, ed in particolare negli studi controllati.

Studi recenti sulla soddisfazione dei pazienti e dei familiari sulla qualità dell�assistenza ricevuta nei servizi di salute mentale mostrano una disomogeneità nella definizione del concetto di soddisfazione e nell�utilizzazione degli strumenti per misurarla. Non è chiaro, anche per la multidimensionalità e complessità del concetto di soddisfazione, quali tra gli strumenti disponibili siano attualmente i più adeguati, anche fra quelli più completi ed articolati come la Verona Satisfaction Scale (13) che però è abbastanza lungo e difficile da utilizzare nella condizioni di routine di un “normale” servizio pubblico.

È sembrato quindi che valesse la pena sviluppare uno strumento autocompilato, semplice e chiaro in modo che richiedesse tempi ridotti di compilazione, per una maggiore accettabilità nella pratica quotidiana e inoltre sensibile al cambiamento.

In questo articolo viene illustrata la procedura di costruzione di questo nuovo questionario sull�opinione dei pazienti e dei familiari sulla qualità dell�assistenza ricevuta nei servizi di salute mentale e vengono riportati dati a sostegno dell�attendibilità dello stesso.

Metodi

Versione preliminare dello strumento

Una prima bozza del questionario è stata messa a punto dal Dipartimento di Salute Mentale (DSM) Azienda USL Roma D in quattro versioni: due principali (rispettivamente per pazienti e per familiari) e per ciascuna versione principale, una per i servizi territoriali e una per i servizi ospedalieri. In particolare il lavoro si è articolato nelle seguenti fasi:

1. analisi della letteratura sui principali strumenti di valutazione della soddisfazione degli utenti esistenti, per ottenere spunti e suggerimenti;

2. analisi dei reclami degli utenti del dipartimento;

3. analisi dei dati derivati da un�indagine preliminare sulle aspettative dei pazienti del dipartimento nei confronti delle cure ricevute e del comportamento degli operatori. L�indagine si è basata sulla somministrazione di un questionario a risposte aperte in un campione di 72 pazienti scelti in modo casuale;

4. incontri con operatori dei servizi (ospedali, ambulatori e servizi di riabilitazione) per l�individuazione degli ambiti di indagine del questionario sulla base dell�esperienza professionale e dei dati raccolti nelle fasi 1, 2 e 3;

5. incontro con metodologi dell�Istituto Superiore di Sanità per supervisionare il questionario e organizzare lo studio di validazione.

Il questionario è stato realizzato in modo da avere le seguenti caratteristiche:

� essere unico e pertinente per tutte le realtà dei servizi, seppure con piccole modifiche a secondo appunto del tipo di servizio;

� avere le domande formulate con linguaggio semplice, comprensibile anche a persone di livello di istruzione non elevato;

� prevedere per ciascuna domanda una scala di risposta a 6 livelli, tendenzialmente diversa da item a item e specifica per ciascuna domanda. In altri termini la scala non è stata formulata con la domanda è soddisfatto di e con le risposte da molto soddisfatto a per niente soddisfatto, ma si è chiesta un�impressione o giudizio su aspetti particolari del servizio e si sono formulate scale ad hoc, ad esempio da pessimo a buono su tutto e da non mi è stata data nessuna informazione a ho avuto informazioni complete. Si è optato per questa scelta perché scale di questo tipo, cioè sull�opinione, paragonate a quelle del tipo è soddisfatto di, suscitano risposte più “critiche” e accurate (14).

Inoltre nell�impossibilità di scegliere, per carenza di informazioni nella letteratura, tra scale di intensità (pessimo � buono su tutto) e scale di frequenza (sempre � mai), si sono talora adottate scale di intensità e talora di frequenza. Si è scelto di adoperare scale di 6 livelli anche sulla base dei consigli della letteratura psicometrica che suggerisce che il numero di livelli dovrebbe andare da 5 a 10 (15) per ottenere una maggiore sensibilità dello strumento. Accanto alle domande standardizzate, utili per confrontare due o più servizi tra di loro e soprattutto lo stesso servizio nel tempo, si è data molta importanza alle critiche e suggerimenti del compilatore. Questa decisione ha comportato la scelta di aggiungere uno spazio preceduto dalla domanda “che consigli darebbe per migliorare questi aspetti del servizio” a ciascuna delle 4 sezioni in cui è stato suddiviso il questionario (vedi dopo, sezione “versione finale dello strumento”).

Le bozze del questionario sono state sottoposte a focus group.

Focus group

Si è indetto un focus group con operatori e pazienti in trattamento nel Centro di Salute Mentale (CSM) di Ostia (Roma) per discutere dello strumento nella versione per pazienti. Erano presenti 2 operatori (uno psicologo e un tirocinante psichiatra) e 6 pazienti (3 maschi e 3 femmine di età compresa tra i 20 e i 62 anni; due pazienti avevano concluso la scuola dell�obbligo, 3 la scuola media superiore e uno l�università), di cui tre con disturbi di personalità e tre con psicosi. È stata analizzata la proposta preliminare dello strumento: sono state lette una ad una le domande e per ciascuna è stato chiesto di discutere su pertinenza, importanza, chiarezza, necessità di maggiori dettagli e specificazioni.

Un altro focus group con familiari si è svolto nei locali del Servizio di Diagnosi e Cura (SPDC) dell�ospedale Forlanini di Roma, per discutere dello strumento nella versione per familiari. Erano presenti 9 familiari di pazienti psicotici e con disturbi di personalità. Quattro dei familiari avevano un diploma di scuola media superiore, 2 di media inferiore e 3 avevano la licenza elementare. Come per il focus group dei pazienti, sono state discusse le domande del questionario una ad una.

Versione finale dello strumento

Il questionario preliminare è stato modificato sulla base dei commenti e suggerimenti dei focus group, riformulando gli item risultati ambigui e eliminando quelli considerati meno importanti dai pazienti e dai familiari. Ad esempio, nella versione per i pazienti, per una maggiore chiarezza e comprensibilità della domanda sulla tutela della privacy è stato suggerito di specificare che per privacy si intendeva la possibilità di parlare da soli con gli operatori e di avere spazi personali (non condivisi con altri pazienti). Nella versione per familiari si è concordato, ad esempio, di sostituire l�espressione “mantenere un rapporto diretto con il servizio” con l�espressione “avere un rapporto diretto con il servizio”.

Il questionario finale, ottenibile dagli autori gratuitamente su richiesta scritta, è composto da 15 item nella versione per pazienti e 14 item nella versione per familiari, raggruppati in 4 sezioni.

Nella versione per pazienti, nella prima sezione (item 1-3) le domande riguardano aspetti ambientali, informazioni ricevute sul servizio (orari di apertura, come telefonare, mezzi pubblici da usare per raggiungere il servizio, orari di visita dei familiari per gli SPDC, attività del reparto), tutela della privacy.

La successiva sezione (item 4-6) riguarda le informazioni ricevute sulle condizioni di salute, la terapia farmacologica (motivi per cui è necessaria, dosaggi, effetti indesiderati), e possibilità di partecipare alla definizione del programma terapeutico.

Gli item 7, 8 e 9 riguardano le risposte date dagli operatori ai problemi e ai bisogni dei pazienti, la loro riservatezza e le loro modalità di interazione. L�item 8 (sulla capacità di comprendere i problemi del paziente e rispondere ai suoi bisogni) è suddiviso in 4 sottoitem per consentire di rispondere separatamente per ognuna delle seguenti figure professionali: assistente sociale, infermiere, psichiatra e psicologo.

Gli ultimi tre item riguardano la valutazione sull�aiuto ricevuto dal servizio per il miglioramento/mantenimento della rete sociale del paziente, sull�utilità dell�ultimo/attuale ricovero (ovviamente se pertinente) ed infine un giudizio complessivo sull�appropriatezza delle cure ricevute.

Nella versione per familiari, le domande riguardano le opinioni dei familiari su come è stato trattato il paziente e su come sono stati trattati loro, per la maggioranza delle domande sugli stessi aspetti valutati nella versione per pazienti (informazioni ricevute sul servizio e sul familiare, cortesia nei loro confronti, capacità di rispondere ai loro problemi e bisogni). C�è una domanda nuova rispetto a quelle della versione per pazienti che riguarda l�impressione di utilità del rapporto del familiare con il servizio per consigli e sostegno. Mancano l�item sulla possibilità ambientale di privacy e quello sull�appropriatezza delle cure ricevute.

Per entrambe le versioni, per ogni item, come già detto, sono previste 6 possibili risposte su una scala da 1 a 6 in cui il primo livello corrisponde a un giudizio totalmente negativo e l�ultimo a un giudizio totalmente positivo.

Un piccolo riquadro alla fine del questionario è predisposto per la rilevazione delle seguenti informazioni di base: data di compilazione, classe di età, sesso, livello di scolarità, stato civile e durata della presa in carico da parte del servizio e del dipartimento, codice diagnosi (a cura dell�operatore, al momento della consegna del questionario).

Coerenza interna

La coerenza interna è stata determinata mediante il calcolo dell�alpha di Cronbach nelle diverse versioni del questionario.

Studio di riproducibilità

Il questionario è stato sottoposto a studio di riproducibilità mediante procedura test-retest con seconda somministrazione in media dopo 10 giorni nei servizi territoriali e dopo 4-6 giorni nei servizi ospedalieri, condotto su:

� 50 pazienti di cui 33 seguiti da servizi territoriali da almeno 2 mesi e 17 dai servizi ospedalieri;

� 50 familiari di 34 pazienti seguiti da servizi territoriali da almeno 2 mesi e di 16 pazienti dei servizi ospedalieri.

Per la stima della riproducibilità, per ogni item si sono calcolati il coefficiente di correlazione rho di Spearman e il coefficiente di correlazione intraclasse. Da queste analisi sono stati esclusi i dati relativi agli item in cui le differenze erano dovute a fatti realmente avvenuti tra le due compilazioni che avevano fatto cambiare idea al compilatore e quindi non erano da imputare a difetti del questionario.

Risultati

Coerenza interna

La coerenza interna è variata da 0,86 nelle versioni del questionario per paziente a 0,89 nelle versioni per familiare.

Riproducibilità del questionario nella versione per pazienti

Le caratteristiche cliniche e sociodemografiche dei pazienti sono riportati nella Tabella IA.

Come risulta dai valori e dalla forma della distribuzione, i tempi di contatto dei pazienti dei CSM avevano una distribuzione fortemente asimmetrica positiva con alcuni pazienti in contatto con il dipartimento da tempi particolarmente lunghi. Le stesse conclusioni valgono per la distribuzione dei tempi di contatto dei pazienti dei SPDC.

Le diagnosi psichiatriche più importanti erano rappresentate in modo abbastanza equilibrato.

Nove pazienti hanno riferito di qualche difficoltà nell�effettuazione della compilazione, difficoltà che in gran parte hanno riguardato però la formulazione di suggerimenti e consigli.

Il tempo medio di compilazione è stato di 17,8 � 9,5 minuti nella prima rilevazione (range 5-40; mediana 15; moda 10) e di 14,5 � 7,0 nella seconda (range 5-40; mediana 15; moda 10).

I coefficienti di correlazione tra le due compilazioni sono stati elevati e per alcuni item superiori a 0,9 (Tab. IIA).

Riproducibilità del questionario nella versione per familiari

Le caratteristiche dei familiari sono riportate nella Tabella IB.

Come nel campione dei pazienti, le distribuzioni dei tempi di durata del contatto con il dipartimento, sia per i familiari del CSM che per i familiari degli SPDC, avevano una distribuzione fortemente asimmetrica positiva con alcuni familiari in contatto da tempi piuttosto lunghi.

Anche in questo campione erano rappresentate le diagnosi psichiatriche più importanti.

Solo 3 familiari hanno riferito di qualche difficoltà nell�effettuazione delle compilazioni, in due casi dovute al fatto di non essere di nazionalità italiana.

Il tempo medio di compilazione è stato di 16,0 � 5,4 minuti nella prima rilevazione (range 5-30; mediana e moda 15) e di 14,2 � 4,3 nella seconda (range 7-25; mediana e moda 15).

I coefficienti di correlazione tra le due compilazioni sono stati elevati e spesso superiori a 0,8 (Tab. IIB).

Discussione

Lo strumento descritto si presenta come un mezzo di valutazione dell�opinione degli utenti dei servizi di salute mentale ambulatoriali e ospedalieri la cui compilazione richiede tempi contenuti e non necessita di spiegazioni.

Le sue caratteristiche più importanti sono infatti la brevità, la semplicità e la possibilità di essere autocompilato, caratteristica quest�ultima che presenta il vantaggio di ridurre il tempo dedicato dagli operatori. Si propone quindi come uno strumento di valutazione che può rivelarsi molto utile, sia a scopo di autovalutazione che di ricerca.

Il questionario è risultato caratterizzato da una soddisfacente riproducibilità, in considerazione della buona stabilità dei punteggi nel tempo a livello di tutti gli item nelle diverse versioni.

Le valutazioni delle opinioni espresse dai pazienti e dai familiari benché non facciano strettamente parte del presente studio di validazione, hanno d�altra parte fornito indicazioni sulla sensibilità dello strumento. In effetti i punteggi medi di soddisfazione nei diversi item mostrano che i pazienti e ancor più i familiari sono stati nel complesso solo moderatamente soddisfatti dell�assistenza ricevuta dai servizi coinvolti nello studio, nonostante questi ultimi siano considerati tra i migliori in Italia, e questo potrebbe effettivamente suggerire che lo strumento in questione sia più sensibile di altri che hanno ottenuto risultati opposti. In effetti, in passato sono state sollevate non poche obiezioni rispetto ai risultati di studi sulla soddisfazione di pazienti psichiatrici che mostravano livelli di soddisfazione considerati troppo elevati e si è concluso che erano da attribuire all�uso di strumenti poco sensibili (9). Lebow ha dimostrato che negli studi che utilizzano scale ordinali (o analogiche con punti di ancoraggio) piuttosto che dicotomiche, le percentuali di pazienti soddisfatti si abbassano sensibilmente e comunque non superano il 49% di tutti i pazienti (16) (17).

Il questionario descritto nel presente lavoro, in linea con queste considerazioni utilizza scale di risposta a più livelli e in più richiede di esprimere un�opinione sui diversi aspetti dell�assistenza e non la soddisfazione, generalmente più “acritica” e benevola rispetto all�espressione del giudizio.

Recentemente è stato dimostrato che la soddisfazione dei pazienti è associata non solo con alcune cosiddette misure amministrative di qualità (18), ma soprattutto con esiti finali dell�assistenza e anche con esiti intermedi visto che una scarsa soddisfazione determina una scarsa adesione al trattamento e impedisce il raggiungimento di esiti positivi (19)-(22).

È per questo che gli operatori dei servizi di salute mentale potrebbero considerare con molto favore l�uso di strumenti che, come quello proposto in questo studio, permettano facilmente l�effettuazione di studi sulla qualità percepita e in generale di studi di Miglioramento Continuo di Qualità (MCQ) per la definizione e pianificazione di interventi migliorativi della qualità delle cure e degli esiti di salute.

Ricerca realizzata con il finanziamento del Progetto Salute Mentale, Istituto Superiore di Sanità, Convenzione n� 96/Q/T/15, Roma

Tab. I. Caratteristiche descrittive del campione (A = pazienti; B = familiari; s.d. = deviazione standard; tra parentesi le percentuali). Sample characteristics (A = patients; B = relatives; s.d. = standard deviation; in brackets, percentages).

Tab. IIA e B. Punteggi al test-retest degli items del questionario (media, deviazione standard, coefficiente di correlazione rho di Spearman (rs) e coefficiente di correlazione intraclasse ri). A: gruppo dei pazienti (N = 43; sette soggetti sono stati esclusi perché si erano verificati numerosi cambiamenti reali) e B: gruppo dei familiari (N = 47; tre soggetti sono stati esclusi perché si erano verificati numerosi cambiamenti reali). Test-retest of the questionnaire items (mean, standard deviation, Spearman correlation coefficient (rs) and intra-class correlation coefficient (ri), by individual questions). A: patients group (N = 43; seven patients were not considered because of several changes of opinions due to occurrence of several actual facts) and B: relatives group (N = 47; three relatives were not considered because of several changes of opinions due to occurrence of several actual facts).

1 Donabedian A. Exploration in quality assessment and monitoring/I. Ann Arbor, MI, USA: Health Administration Press 1980.

2 Wilson CRM. Strategies in health care quality. Toronto, Canada: W.B. Saunders 1992.

3 Linder-Pelz S. Toward a theory of patient satisfaction. Soc Sci Med 1982;16:577-82.

4 Williams B. Patient satisfaction: a valid concept? Soc Sci Med 1994;38:509-16.

5 Cleary PD, McNeil BJ. Patient satisfaction as an indicator of quality care. Inquiry 1988;25:25-36.

6 Fitzpatrick R. Surveys of patient satisfaction. Important general considerations. Br Med J 1991;302:887-9.

7 Carr-Hill RA. The measurement of patient satisfaction. J Public Health Med 1992;14:236-40.

8 Ware JE Jr, Phillips J, Yodi BB, Adamczyk J. Assessment tools: functional health status and patient satisfaction. Am J Med Quality 1996;11:50-3.

9 Ruggeri M. Patients� and relatives� satisfaction with psychiatric services: the state of the art of its measurement. Soc Psychiatry Psychiatr Epidemiol 1994;9:212-27.

10 Williams B, Wilkinson G. Patient satisfaction in mental health care. Evaluating an evaluative method [editorial]. Br J Psychiatry 1995;166:559-62.

11 Tehrani ES, Ewald HL, Munk Jorgensen P. Quality of psychiatric treatment determined by patient satisfaction. Ugeskr Laeger 1996;58:158-62.

12 Perreault M, Rogers WL, Leichner P, Sabourm S. Patients� request and satisfaction with services in an outpatient psychiatric setting. Psychiatr Serv 1996;47:287-92.

13 Ruggeri M, Dall�Agnola R, Agostini C, Bisoffi G. Acceptability, sensitivity and content validity of the VECS and VSSS in measuring expectations and satisfaction in psychiatric patient and their relatives. Soc Psychiatry Psychiatr Epidemiol 1994;29:265-76.

14 Ware JE, Hays RD. Methods for measuring patient satisfaction with specific medical encounters. Medical Care 1988;26:393-402.

15 Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. Oxford University Press 1994.

16 Lebow JL. Consumer satisfaction with mental health treatment. Psychol Bull 1982;91:244-59.

17 Lebow JL. Client satisfaction with mental health treatment: methodological consideration in assessment. Evaluation Rev 1983;7:729-52.

18 Druss BG, Rosenheck RA, Stolar M. Patient satisfaction and administrative measures as indicators of the quality of mental health care. Psychiatr Serv 1999;50:1053-8.

19 Harris LE, Luft FC, Rudy DW, Tierney WM. Correlates of health care satisfaction in inner-city patients with hypertension and chronic renal insufficiency. Soc Sci Med 1995;41:1639-45.

20 Keith RA. Patient satisfaction and rehabilitation services. Arch Phys Med Rehab 1998;79:1122-8.

21 Albrecht G, Hoogstraten J. Satisfaction as a determinant of compliance. Comm Dentistry Oral Epidemiol 1998;26:139-46.

22 Ries RK, Jaffe C, Comtois KA, Kitchell M. Treatment satisfaction compared with outcome in severe dual disorders. Comm Mental Health J 1999;35:213-21.