Oltre la retorica della valutazione dell’impatto sociale

Prima parte di un mini-ciclo di approfondimenti per ridare senso alla “valutazione dell’impatto sociale” e calarla nella pratica. In quest’articolo, sfatiamo alcuni miti della valutazione, definendo univocamente cosa significare “valutare” e quali sono le ragioni essenziali per farlo per chi lavora nel e per il “sociale”

 

Nelle scorse settimane mi è capitato di leggere un interessante articolo, apparso sul Pioneers Post, che riflette appieno il mio attuale stato d’animo per quanto riguarda il tema della valutazione. L’autrice muove da una domanda chiave: il concetto di “impatto” è stato svuotato del proprio significato? Non potrei trovare un modo più immediato e sintetico per descrivere ciò che sta accadendo in questi mesi. Vorrei sottolineare che non ritengo la valutazione dell’impatto un tema di scarso rilievo (au contraire!) ma, personalmente, credo sia in corso un dibattito – che tiene banco in articoli, eventi, post, ecc. – tanto fastidiosamente ridondante quanto profondamente ozioso.
Stiamo assistendo, infatti, a un proliferare gigantesco della narrativa sul tema – e uso questo termine non a caso ma in virtù di due principali ragioni: in primis, perché sotto il cappello del termine “valutazione” viene fatto ricadere qualunque approccio che conduca, alla fine di un processo più o meno analitico, ad annunciare magno cum gaudio la validazione di risultati (sempre e rigorosamente positivi) prodotti per la comunità – senza soffermarsi troppo a ragionare su cosa sia stato misurato e come. Non sono certamente il primo a sostenere la natura di fiction che tende a caratterizzare la valutazione nel nostro Paese: “[…] In Italia la valutazione, in particolare quella degli effetti, resta sovente allo stato di pura invocazione. In molti casi (forse nella maggior parte), essa si manifesta sotto forma di slogan, di accattivante formula retorica, di nobile e volenterosa aspirazione che sembra destinata (verrebbe da dire condannata) a rimanere tale.”[1]

In secondo luogo, se si presta attenzione, ci si renderà conto di come la stragrande maggioranza di questa produzione contenutistica verta su dibattiti talmente teorici e distaccati dalla realtà da annebbiare qualsiasi reale comprensione pratica della tematica. Lungi da me contestare il fascino di una sana disanima sull’ontologia e gnoseologia della valutazione, specialmente se impreziosita da evergreen irrinunciabili come “innovatività”, “co-creazione di valore”, “confronto dialogico con gli stakeholder” “interdisciplinarietà”, e così via; comprendo altresì (questa volta sul serio) l’importanza di un’ampia riflessione sul tema “impatto” per sensibilizzare non solo gli addetti ai lavori ma anche il grande pubblico su una tematica ancora di nicchia. Credo, però, che sia imprescindibile ragionare criticamente su cosa significhi effettivamente valutare, quali siano le metodologie appropriate e i limiti della valutazione per arginare una babele semantica che rischia di tradursi in disinformazione minacciando, invece di favorire, l’affermazione di una pratica nascente e immensamente necessaria.
Per questo motivo, con Tuttowelfare.info abbiamo deciso di inaugurare un breve ciclo di approfondimenti per provare a ridare significato al concetto di valutazione e in quest’articolo introduttivo vorrei soffermarmi su due punti: (1) cosa significare valutare; e (2) quali sono le due principali motivazioni della valutazione.

 

Cosa significa valutare

 

Il termine valutazione può prestarsi a molte interpretazioni ma, per sgomberare il campo da possibili equivoci, suggerisco di rifarsi alla seguente definizione, sintetica e stringente: “Valutare significa analizzare se un’azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri” [2]. Per contribuire a chiarire lo scenario, sarebbe quindi opportuno adottare la locuzione “valutazione degli effetti” al posto di “valutazione dell’impatto”: se, da un lato, questa terminologia risulterà più fresca e meno condizionata dallo scenario attuale (una sorta di tabula rasa da cui ripartire), dall’altro, intuitivamente, parlare di valutazione degli effetti ci porta immediatamente a porci una domanda,  apparentemente banale ma spesso tralasciata a favore di un più generico e olistico concetto di “impatto”: gli effetti “di cosa su cosa”?
Per valutazione s’intende, infatti, la verifica di un nesso di dipendenza causale che si suppone esistere tra uno specifico intervento e un risultato osservabile. In altre parole, la valutazione consiste nel verificare se una determinata azione (una variabile x), isolata da altre influenze, si è dimostrata efficace nel produrre un cambiamento (ad esempio una diminuzione o un aumento) nello status quo su cui agisce (la nostra variabile y): per chiarire immediatamente, potremmo chiederci se l’implementazione di un progetto di accompagnamento al lavoro (x) si sia effettivamente tradotto in un aumento del livello di occupazione dei partecipanti (y) al netto dell’influenza di altri fattori che agiscono sulla variabile y (ad esempio, i diversi livelli di partenza nelle competenze dei partecipanti o la presenza simultanea di altri interventi esterni al progetto).

Questo comporta tre implicazioni collegate:

• Qualunque enumerazione di output non è una valutazione degli effetti di un progetto. Affermare che l’impatto di un progetto consiste nell’aver realizzato 10 corsi di formazione professionale che hanno coinvolto 100 partecipanti può essere un’utile informazione di monitoraggio per tenere sotto controllo l’andamento del progetto o un dato quantitativo per reportistica in ottica di accountability. Può, in sostanza, avere diverse utilità per l’organizzazione e i suoi stakeholder ma, in un’ottica di valutazione degli effetti, rappresenta un nonsenso.
• Un outcome rappresenta un “effetto” solo se è stato verificato rigorosamente il nesso di causalità. Se si sostiene che l’impatto del progetto è di aver aumentato l’occupazione, perché l’intervento ha permesso a “100 persone di essere inserite lavorativamente” (il nostro indicatore), è necessario dimostrare che quelle 100 persone hanno trovato lavoro esclusivamente grazie al progetto. Vedremo più in dettaglio nei prossimi articoli quali metodi di valutazione siano sufficientemente robusti a tale fine (spoiler: i metodi controfattuali); al momento, è sufficiente comprendere come un’affermazione comune nel settore sociale, quale quella dell’esempio, dovrebbe essere suffragata da analisi rigorose e non dalla semplice descrizione di ciò che si osserva. La sola documentazione dell’evolversi degli indicatori prescelti per il progetto non dice nulla sull’impatto perché non possiamo sapere se, nel caso di specie, la variazione nel numero di persone occupate riscontrata al termine del progetto dipenda dal progetto stesso: “correlazione” non equivale a “causazione”, come vedremo prossimamente.
• La cosiddetta pratica di “mappatura degli impatti di un progetto” risulta poco significativa in una logica di valutazione e altamente improbabile. Caliamo subito nella pratica il concetto con un esempio: “Il progetto ha portato a un risparmio per la spesa pubblica; ha creato posti di lavoro; ha aumentato le competenze dei partecipanti; ha ridotto il tasso di dispersione scolastica; ecc.”; siamo nell’ambito di quelle analisi multi-target e multi-stakeholder che si stanno moltiplicando e che presentano, a mio avviso, almeno due criticità. La prima di concetto: tale approccio si basa su un controsenso logico. Invece di verificare il raggiungimento dell’obiettivo prefissato ex-ante dal progetto, vale a dire creare conoscenza su se e quanto una specifica soluzione sia stata efficace per risolvere uno specifico problema, tendono a valorizzare tutte le esternalità osservabili nell’ambiente circostante, una sorta di “giustificazione” del progetto a fronte di una miriade di outcome positivi per la comunità. La seconda criticità è di stampo pratico: l’approccio di mappatura potrebbe anche essere accettabile se basato su analisi sufficientemente robuste per dimostrare l’attribuzione causale di ogni outcome osservato nei diversi stakeholder all’intervento oggetto della valutazione; purtroppo, una valutazione rigorosa degli effetti di un progetto multi-target e multi-stakeholder è estremamente complessa, se non impossibile (e, quindi, improbabile).

 

Perché valutare?

 

Le motivazioni a supporto della valutazione sono innumerevoli e di diversa tipologia e possiamo fare riferimento a diverse grandi classi di bisogni cui la valutazione risponde: come strumento per allocare le risorse agli usi più meritevoli; come strumento di controllo della performance nell’ambito di organizzazioni; come stima degli effetti prodotti da una politica; ecc.[3]

La valutazione trova ragion d’essere in queste e altre validissime finalità; a mio avviso, però, è imprescindibile enfatizzare due grandi motivazioni di base – la prima valida per tutte le realtà che intendono produrre un cambiamento positivo per la collettività, la seconda più specifica per fondazioni ed enti erogatori.

 

Primum: Non Nocere

 

La prima e fondamentale motivazione alla valutazione degli effetti di un progetto trova origine in un (falso) mito, vale a dire dalla convinzione che un progetto sociale abbia sempre e comunque un impatto positivo sugli stakeholder. In altre parole, anche senza una reale valutazione, si tende ad assumere che sia avvenuto un cambiamento nei beneficiari dell’intervento e che, chiaramente, quel cambiamento sia di segno positivo. Sfatiamo al più presto questa pericolosa certezza: spesso, interventi apparentemente ben progettati e guidati dalle migliori intenzioni si rivelano totalmente inefficaci, se non dannosi (sic).[4] Si veda il caso scuola di Scared Straight negli Stati Uniti, intervento mirante a ridurre il tasso di incarcerazione giovanile attraverso interventi deterrenti su giovani a rischio, quali visite a prigioni e incontri con detenuti. Il programma è stato portato avanti in diversi Stati per anni, supportato da finanziamenti pubblici e celebrato da pubblico e media: peccato che, a seguito di diverse valutazioni rigorose e indipendenti condotte per determinarne gli effetti, sia emerso che non solo il programma non era efficace ma che, al contrario, finiva per aumentare il tasso di delinquenza dei giovani, risultando più dannoso del non fare nulla.[5] Non dobbiamo pensare che si tratti di un caso isolato, basti considerare le testimonianze di due fondazioni altamente riconosciute a livello internazionale in ambito di valutazione:

• “Quando vengono effettuati studi rigorosi, l’evidenza principale che emerge è che la maggior parte dei programmi sono inefficaci” (Andy Ratcliffe, Impetus-PEF).[6]
• “Trovare programmi con effetti significativi è sfidante, più di quanto si pensi” (Jon Baron, Laura and John Arnold Foundation).[7]

Mi è capitato di leggere che il lavoro del settore sociale è “fare, non valutare”. Non sono d’accordo, il lavoro dev’essere “fare bene” e per far ciò la valutazione rappresenta una componente imprescindibile: il primo e principale scopo da cui trae origine la necessità di valutare è proprio per essere certi che gli interventi messi in atto non stiano danneggiando le persone che si intende aiutare.

 

Sperimentare innovazione e produrre conoscenza

 

La seconda motivazione pertiene in modo specifico al lato dei finanziatori di progetti sociali, fondazioni in primis: se prendiamo in considerazione l’ambito della filantropia, dobbiamo accettare il fatto che le masse economiche movimentate da soggetti erogativi, come le fondazioni, rappresentano una componente importante ma di limitata entità a fronte della complessità e magnitudine dei problemi sociali che si vuole risolvere. A questo, si potrebbe aggiungere un tema di legittimazione, vale a dire se soggetti privati debbano e possano assurgere al ruolo di risolutori di criticità che riguardano l’intera collettività. In questo senso, la valutazione rappresenta l’unico reale strumento con cui le fondazioni possono svolgere un ruolo più consono di sperimentatore e innovatore sociale, per proporre e testare nuove modalità per risolvere bisogni social insoddisfatti. Come sostiene Gian Paolo Barbetta “Se sviluppare conoscenza su ciò che funziona e ciò che non funziona è la missione fondamentale delle fondazioni, non si può limitarsi a gestire gli interventi, bisogna necessariamente comprendere se questi interventi hanno avuto successo producendo i risultati attesi o se, al contrario, si sono dimostrati privi di efficacia. Per fare questo è indispensabile valutarne l’impatto (o “effetto”), tenendo presente che tale valutazione andrebbe condotta rispetto a un obiettivo specifico che la fondazione si è prefissata […] La misurazione e l’analisi dell’impatto devono essere connaturate alla visione dell’organizzazione: si tratta di una questione di pianificazione strategica”.[8]  Se si entra in questa prospettiva, la valutazione degli effetti rappresenta non tanto uno strumento di rendicontazione di quanto svolto verso gli stakeholder interni ed esterni di un’organizzazione ma bensì la modalità con cui una fondazione può segnalare alla collettività quali approcci siano efficaci – e quali no – per la risoluzione di uno specifico problema sociale. Anche mettendo da parte considerazioni di onestà intellettuale, per cui i risultati di una valutazione andrebbero sempre condivisi, in una prospettiva molto pratica questa visione alleggerirebbe l’onere su chi commissiona una valutazione di voler a tutti i costi dimostrare risultati positivi: segnalare ad altri che un intervento non va replicato, perché inutile o dannoso, costituisce un’indicazione di grande valore perché consente di non ripetere interventi che non portano agli obiettivi prefissati e che rappresentano uno spreco di risorse. In sintesi, “[…] Dobbiamo diventare molto più bravi a parlare del fallimento e di ciò che non funziona” (cit.).[9]

 

Conclusioni: il primo passo

 

Valutare significa, come già esaminato, comprendere se un determinato intervento ha prodotto realmente il cambiamento desiderato: in altre parole, significa comprovare o smentire la validità delle ipotesi descritte nella teoria del cambiamento progettuale.
Va rifiutata l’ipotesi di considerare la teoria del cambiamento (ToC) come uno strumento di valutazione: una ToC è un metodo di progettazione, di pianificazione strategica e di impostazione di un sistema di monitoraggio. In altre parole, è uno strumento propedeutico alla valutazione: senza una teoria del cambiamento sarà impossibile comprendere l’obiettivo dell’analisi e avere un modello di riferimento per identificare (a) quale cambiamento deve essere realizzato, (b) quale sia la relazione causale ipotizzata da verificare e (c) quale sia il livello di risultato da osservare affinché il progetto possa dirsi efficace.
Alla teoria del cambiamento, primo passo per la valutazione, sarà dedicato il prossimo articolo.

 

______________________________________________________________________________________________

[1] Sisti M., “Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano”, p.11,  2006

[2] Stame N., “L’esperienza della valutazione”, 1998

 

[3] Martini, A., “Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano”, p.24,  2006

[4] Corso Executive “Theory of Change e Valutazione Impatto Sociale”, Lang Italia, 2018

[5] Petrosino et al., “Scared Straight and Other Juvenile Awareness Programs for Preventing Juvenile Delinquency: A Systematic Review”, 2012

[6] “Il vero volto della filantropia: cos’è necessario per generare un cambiamento sociale significativo”, Intervista a Andy Ratcliffe, CEO Impetus-PEF, 2017 – disponibile sul sito di Lang Italia al seguente indirizzo

[7] “What Works Philanthropy: la valutazione d’impatto per produrre cambiamenti trasformativi”, Intervista a Job Baron Vice President of Evidence-Based Policy della Laura and John Arnold Foundation, 2018 – disponibile sul sito di Lang Italia al seguente indirizzo

[8] “Le fondazioni erogative come laboratori di innovazione: perché valutare l’impatto sociale?”, Intervista a Gian Paolo Barbetta, Responsabile Osservatorio e Valutazione di Fondazione Cariplo, Direttore CRC dell’Università Cattolica, 2016 – disponibile sul sito di Lang Italia al seguente indirizzo

[9] “Promuovere la filantropia strategica per generare impatto sociale”, Intervista a Fay Twersky, Director Effective Philanthropy Group della William and Flora Hewlett Foundation, 2016 – disponibile sul sito di Lang Italia al seguente indirizzo