Modellizzazione del sistema di intervento e valutazione della sua trasferibilità

Home / Notizie / Approfondimenti / Modellizzazione del sistema di intervento e valutazione della sua trasferibilità

Modellizzazione del sistema di intervento e valutazione della sua trasferibilità

Questo testo presenta brevemente il modo in cui verranno condotti il monitoraggio e la valutazione dell’efficacia del progetto “L-inc” da parte del gruppo di ricercatori del Dipartimento di Sociologia e Ricerca Sociale. Con l’aiuto di strumenti classici della ricerca sociologica, come il questionario, il focus group e l’osservazione partecipante, si cercherà di determinare l’impatto che l’attivazione del progetto avrà sulla vita delle persone con disabilità, delle loro famiglie, degli operatori che se ne occupano, e del territorio coinvolto.

La produzione di buone pratiche, che possano essere tradotte in un processo di cambiamento dei modelli di gestione e finanziamento del sostegno socio-sanitario, necessita di un monitoraggio e di una valutazione scientifica che cammini parallelamente con la sperimentazione e sia in grado di definire le linee guida per l’implementazione di tali modelli. Tuttavia, il compito di monitorare un progetto sociale in fieri rappresenta certamente una sfida metodologica per le scienze sociali, poiché, come messo in evidenza da alcuni autori, non sempre le variabili obiettivo sono facilmente misurabili e le azioni comprendono un numero di soggetti limitato che non costituisce un solido campione statistico (Cecchi, Gianesin, Poy, 2016).

Pur consapevoli di queste difficoltà, il gruppo di ricerca del Dipartimento di Sociologia e Ricerca Sociale dell’Università degli Studi di Milano-Bicocca, composto dalla professoressa Mara Tognetti (direzione scientifica), dal dottor Marco Terraneo, dal dottor Marco Mauri e dalla dottoressa Concetta Russo, ha intrapreso un percorso di valutazione ongoing con l’obiettivo di misurare la performance del progetto, che fosse in grado di valutare la consistenza, la coerenza e l’efficacia (Lockwood, 1999) della sperimentazione avviata.

L’obiettivo duplice consiste dunque nel creare degli indicatori di performance che permettano di misurare l’efficacia del progetto in termini di realizzazioni pratiche delle attività programmate, ma anche nel valutare l’impatto di tali realizzazioni sulla qualità della vita e del lavoro degli attori sociali coinvolti.

Nella definizione degli indicatori utili al fine della valutazione dei progetti individuali, è necessario distinguere quattro ambiti specifici seppure fortemente integrati tra loro. In particolare, crediamo sia importante differenziare il monitoraggio a) degli input; b) del processo; c) degli output; d) degli outcome.
Vediamoli nello specifico.

a. Monitoraggio degli input. È necessario valutare se e in che misura gli elementi iniziali indispensabili alla realizzazione del progetto (personale, conoscenze, tecnologie) siano adeguati. In questo senso indicatori oggettivi quali il numero, la distribuzione e la qualifica degli operatori professionali, nonché i metodi sia formali che informali attraverso cui si attuano il finanziamento e l’erogazione del servizio sono aspetti fondamentali per il raggiungimento degli obiettivi.
A ciò si aggiunge un’indispensabile valutazione dei costi della realizzazione di ogni singolo percorso di budget di salute, non solo per quanto riguarda l’aspetto centrale delle risorse economiche impiegate, ma anche rispetto ad altre dimensioni pur importanti che coinvolgono gli operatori (ad esempio le ore dedicate al progetto).

b. Monitoraggio del processo. Un importante aspetto su cui focalizzare lo sforzo valutativo è quello del processo grazie al quale l’idea del budget di salute si realizza. In questo senso, ogni progetto individuale richiede un monitoraggio che consenta di mettere in luce punti di forza e di debolezza che sono propri di quello specifico progetto. Ne discende la necessità di valutare (ancora una volta) come gli attori coinvolti (individui, famiglie, operatori, ecc.) abbiano soggettivamente vissuto il progetto, quali difficoltà abbiano incontrato, quali cambiamenti ritengano avrebbero potuto migliorare l’esito finale.

Sul piano più strettamente quantitativo, sarà necessario valutare, attraverso l’uso di indicatori (il più possibile) oggettivi, la portata di ogni singolo progetto, in termini di organizzazione del lavoro, di rispetto dei tempi, dei metodi e delle procedure per una sua efficiente realizzazione.

c. Monitoraggio dell’output. L’output rappresenta il primo risultato del processo (il volume di attività svolta), pertanto in termini quantitativi siamo interessati a capire come il progetto si sia sostanziato in attività concrete, quali ad esempio il numero di ore passate in attività lavorative o ludiche al di fuori dei centri diurni di assistenza, il numero di contatti con i membri della comunità, ecc. Si tratta chiaramente di una valutazione a breve termine, che, difficilmente, potrà restituire l’impatto complessivo della sperimentazione, considerato che alcuni effetti si potranno vedere solo in un arco temporale più lungo. D’altra parte, il monitoraggio delle attività a breve termine può dare indicazioni importanti sui cambiamenti significativi che hanno interessato la vita del soggetto disabile e dunque sulle possibili (positive) conseguenze che il progetto ha determinato.

Si ricorda che il volume di attività (output) correlato con le risorse impiegate (input) per la produzione esprime il livello di efficienza del progetto e rappresenta uno degli aspetti essenziali per giudicare il buon esito dell’azione progettuale. Naturalmente, l’efficienza è una dimensione importante da tenere sotto controllo in fase di monitoraggio, ma l’interesse primario è indirizzato alla valutazione dell’efficacia degli interventi, ossia la capacità dell’azione di raggiungere gli scopi prefissati in termini di miglioramento delle qualità della vita degli individui con disabilità, anche a fronte, come potrebbe accadere in alcuni casi, di livelli di efficienza non ottimali.

d. Monitoraggio dell’outcome. Costituisce il focus del processo valutativo, in quanto pone al centro dell’attenzione il monitoraggio dei cambiamenti della qualità della vita della persona con disabilità a seguito dell’azione progettuale. L’esito positivo o negativo dei progetti messi in atto si dovrà basare da una parte sull’uso di indicatori soggettivi, tesi a descrivere per ogni soggetto il suo grado di soddisfazione, il suo livello di partecipazione emotiva e di coinvolgimento nel progetto. Dall’altra, si possono utilizzare indicatori oggettivi che misurano quanto la realizzazione concreta del progetto, ad esempio in termini di inserimento lavorativi, indipendenza abitativa, riduzione della dipendenza dai servizi assistenziali e così via abbia in modo significativo contribuito a determinare un miglioramento delle condizioni di vita in termini di autonomia, indipendenza economica, costruzione di reti sociali. Il giudizio sugli esiti di qualità della vita non sono facilmente misurabili quanto quelli di efficienza. Sarà, dunque, compito del gruppo di ricerca mettere in campo la massima attenzione e adottare tutti gli strumenti, procedure e metodi che consentono di ottenere stime attendibili su questa fondamentale dimensione.

L’identificazione degli indicatori specifici per ogni ambito è da considerarsi il risultato di un processo continuo di confronto e discussione con tutti gli attori coinvolti nella fase di progettazione, al fine di far emergere, in modo partecipato e condiviso, gli indicatori che si ritengono più validi e che misurino in modo attendibile i differenti ambiti oggetto di analisi.

Per poter valutare l’impatto della sperimentazione su tutti i gruppi di attori sociali coinvolti nella progettazione, è stato necessario predisporre diversi strumenti di rilevazione, sia di tipo strutturato (questionari), destinati alle famiglie delle persone con disabilità e agli operatori, sia di tipo semi-strutturato (focus group, interviste, osservazione partecipante, giochi sociali, tecniche di visualizzazione per immagine) per la comunità e le persone con disabilità.

La somministrazione di questi strumenti di monitoraggio avverrà, per ogni gruppo di soggetti, in tre fasi: una fase preliminare (che fotografi la situazione iniziale, pre-sperimentazione), una fase di avviamento e consolidamento (che fotografi l’andamento dei progetti avviati dalla sperimentazione), e infine una fase di chiusura, al termine dei tre anni (che possa fotografare i cambiamenti messi in atto dalla sperimentazione e il loro impatto sulla vita dei partecipanti).

L’analisi comparata di queste successive somministrazioni permetterà dunque di realizzare l’obiettivo di questa parte della ricerca. Infatti, la possibilità di esplorare contemporaneamente la qualità della partecipazione dei principali soggetti coinvolti (individui con disabilità, famiglia, operatori e comunità), restituirà un quadro multidimensionale tanto dell’impatto della realizzazione del progetto sui partecipanti, quanto dei possibili cambiamenti delle modalità relazionali del soggetto disabile nel suo contesto sociale. Questo quadro multidimensionale permetterà alla ricerca di inserirsi non solo nel dibattito scientifico riguardante i progetti personalizzati, ma anche in quello più ampio che discute le sfide che la disabilità pone alla società contemporanea.