La valutazione delle politiche pubbliche: domande e strategie di risposta. L’esempio della formazione professionale in Regione Piemonte

Questo contributo intende offrire una breve panoramica degli obiettivi e contenuti della valutazione delle politiche pubbliche. Utilizzando il tema della formazione professionale, che negli ultimi anni ha suscitato forte attenzione da parte di tutti i livelli di governo, vengono quindi proposti due esempi di analisi condotte sul territorio piemontese. Obiettivo è dare una suggestione di come, a fronte dello stesso tema, si possano declinare domande valutative che rispondono a logiche e a realizzazioni di analisi profondamente diverse.

1. Le diverse logiche che muovono la valutazione delle politiche pubbliche.

Il tema della valutazione delle politiche pubbliche ha occupato negli ultimi anni un ruolo di rilievo nell’agenda nazionale ed europea. Parlando di valutazione si fa riferimento a quell’attività tesa alla produzione sistematica di informazioni finalizzate a dare un giudizio sull’azione pubblica, al fine di migliorarla. A fronte di una definizione generica è possibile declinare la valutazione in specifiche attività che rispondono a logiche diverse. Comune è il risultato finale: acquisire conoscenza utile a perfezionare la programmazione delle politiche e delle azioni future.

Una prima logica consiste nel tradurre l’attività in un processo di conoscenza sul se e sul come le risorse pubbliche siano state effettivamente spese. Questo approccio di tipo rendicontativo, molto diffuso soprattutto nell’ambito degli interventi finanziati dall’Unione Europea, risponde all’obiettivo di capire se le risorse stanziate per intervenire su un determinato problema siano state spese come ipotizzato in fase di programmazione. La risposta a questo tipo di quesiti passa il più delle volte attraverso l’utilizzo di informazioni amministrative: il numero di corsi attivati, il numero di beneficiari di un determinato intervento, l’entità dei contributi erogati, sono esempi di grandezze che rispondono a questo tipo di approccio. Nulla si indaga in questo caso circa l’efficacia o le modalità attuative degli interventi.

Una seconda logica risponde all’obiettivo di indagare i modelli di attuazione adottati: obiettivo in questo caso è capire in che modo la reale implementazione degli interventi segua il disegno originario che il decisore pubblico aveva in mente, in che punti se ne discosti, e quali siano i nodi critici affrontati dai soggetti attuatori. Si tratta di una attività dai contorni meno definiti, che può essere svolta in momenti diversi dell’attuazione di un intervento: può accompagnarne l’implementazione con l’obiettivo di individuare in tempo reale possibili correttivi, o essere svolta a conclusione dell’intervento per esprimere un giudizio in vista di una riprogrammazione. Le possibili domande sono diverse, in funzione dei diversi aspetti che compongono l’intervento pubblico, e le informazioni utilizzate sono per lo più di tipo qualitativo: da una parte materiale documentale (delibere, progetti operativi, programmi, disegni di legge) all’interno dei quali si delineano i tratti essenziali degli interventi e gli strumenti attuativi che il decisore pubblico ipotizza di utilizzare in fase di programmazione; dall’altra informazioni raccolte attraverso il coinvolgimento attivo dei soggetti attuatori e dei beneficiari degli interventi (attraverso interviste, questionari, focus group) che consentono di ricostruire l’eventuale scollamento tra quanto ipotizzato e quanto realizzato.

Una terza logica risponde invece all’obiettivo di misurare gli effetti che un certo intervento produce sui comportamenti o sulle condizioni della popolazione di destinatari. È un’attività di tipo strettamente quantitativo che, considerate alcune “variabili risultato” rappresentative dei fenomeni su cui la politica dovrebbe incidere, stima la misura in cui queste subiscano cambiamenti a causa della politica stessa. I possibili disegni per questo tipo di analisi sono diversi, in funzione del tipo di informazioni di cui si dispone e delle caratteristiche della politica. Un punto cruciale per la loro realizzabilità è predisporre strumenti adeguati per la raccolta delle informazioni già in fase di programmazione. A prescindere dalle tecniche di analisi utilizzate l’obiettivo finale è individuare un rapporto di dipendenza causale tra quanto è stato fatto e quello che si osserva accadere dopo.

2. L’investimento delle istituzioni sul tema della valutazione delle politiche pubbliche.

I diversi livelli di governo si sono attrezzati negli ultimi anni per far fronte alla crescente esigenza informativa che muove l’attività di valutazione.

A livello nazionale l’attenzione nei confronti del tema della valutazione degli investimenti e delle politiche pubbliche ha stimolato la creazione di strutture stabili di supporto delle amministrazioni centrali e locali. Ne sono un esempio l’UVER – Unità di Verifica degli Investimenti Pubblici -, alle dirette dipendenze del Ministero dello Sviluppo Economico, che assieme all’Unità tecnica di Valutazione (UVAL) compone il Nucleo Tecnico di Valutazione e Verifica degli Investimenti Pubblici. Le stesse amministrazioni regionali si sono dotate di Nuclei di valutazione, collegati attraverso una Rete dei Nuclei di valutazione e verifica degli investimenti pubblici per favorire il raccordo organizzativo e metodologico con il Nucleo di valutazione e verifica dei Ministero dell’Economia e delle Finanze. La promozione e realizzazione di attività valutativa non è tuttavia appannaggio esclusivo degli organi esecutivi. Alcune Assemblee legislative regionali si sono organizzate per istituire organismi dedicati all’esercizio della funzione di controllo, intesa come verifica sull’attuazione delle leggi e valutazione degli effetti delle politiche; la Conferenza dei Presidenti delle Assemblee Legislative delle Regioni e delle Province Autonome promuove e finanzia l’esperienza del progetto CAPIRe ², che poggia sull’ipotesi che “per svolgere un ruolo più incisivo in seno ai sistemi di governo locale le Assemblee elettive debbano attrezzarsi per ricevere ed elaborare informazioni complesse al fine di capire cosa è accaduto in seguito all’approvazione di una legge regionale”.

Anche in ambito europeo la Commissione enuncia in maniera puntuale come sia divenuto prioritario analizzare “l’impatto delle politiche e dei programmi dell’UE per accertarsi che contribuiscano a creare occupazione, a rispondere ai problemi sociali e a promuovere le pari opportunità”. A questo fine la Commissione predispone un piano di valutazione pluriennale nell’ambito del quale vengono pubblicati ogni anno oltre 50 studi, per la maggior parte finanziati dal programma PROGRESS , il cui obiettivo è “raccogliere dati utili e di valutare se gli obiettivi sono stati raggiunti”.

3. La valutazione applicata alle politiche del lavoro: il caso della formazione professionale.

Se l’attività valutativa risponde ad una costante esigenza di conoscenza da parte del decisore pubblico, la ridotta disponibilità di risorse e il contestuale aumento, in particolare in alcuni ambiti di policy, del numero di interventi da mettere in campo ha reso sempre più pressante l’esigenza di disporre di informazioni utili al fine di meglio allocare le risorse disponibili.

Il susseguirsi di periodiche crisi economiche – le cui conseguenze dirette sono disoccupazione ed emarginazione sociale – ha acceso negli ultimi anni un forte dibattito sul tema dell’efficacia delle politiche del lavoro. In risposta all’emergenza occupazionale si sono adottati modelli di intervento diversi, che comprendono misure di politica passiva (le quali puntano a contrastare la disoccupazione e i disagi ad essa connessi con misure di sostegno al reddito) e di politica attiva (tutte quelle iniziative messe in campo dalle istituzioni per promuovere l’occupazione e l’inserimento lavorativo). A fronte di interventi che sempre più si discostano dal modello universalistico (tipico delle politiche passive) e vanno nella direzione delle misure ad personam, si accompagna il legittimo dubbio su quanto, e per chi, queste producano degli effetti. Il dubbio è tanto più forte quanto maggiore è l’entità della spesa ad esse destinata.

La formazione professionale rappresenta circa il 9,6% della spesa per misure di politica attiva del nostro paese. Nel 2012 la spesa per formazione professionale risultava pari a 538 miliardi di euro, di cui oltre il 90% cofinanziato da fondi strutturali comunitari. Più del 64% della spesa complessiva del Fondo Sociale Europeo è destinata d’altra parte ad interventi di tipo formativo, sia riferibili a misure di Labour Market Policy (formazione professionale) che a misure non LMP (formazione nel settore dell’istruzione). Tale percentuale si è mantenuta sostanzialmente costante negli anni, anche se le singole componenti dell’aggregato sono notevolmente variate: negli ultimi anni è infatti cresciuta l’incidenza della spesa in formazione a scapito della spesa nel settore dell’istruzione. Profonda è quindi l’influenza dei cicli della programmazione del Fondo Sociale Europeo e delle transizioni tra un periodo di programmazione e l’altro (il periodo 2007-2013 corrisponde al terzo ciclo di programmazione e quello 2014-2020 al quarto), oltre che quella derivante dalle disponibilità e dalle scelte di bilancio delle Regioni che partecipano per la quota restante.

Nel 2012 i corsi di formazione professionale regionale finanziati con fondi pubblici erano circa 40 mila, per una utenza complessiva di circa 670 mila allievi.

A fronte di un investimento così importante cresce l’attenzione da parte dei diversi livelli di governo circa l’efficacia di questo strumento.

L’attenzione si traduce, da un lato, in raccomandazioni³ e in vincoli⁴ imposti dall’Unione Europea, dall’altro in esperienze di analisi inerenti la formazione professionale che non rispondono ad oneri rendicontativi specifici, bensì ad esigenze conoscitive diverse maturate sia in ambito nazionale che regionale.

In Piemonte, che conta per il 2012 più di 133 mila iscritti ai corsi afferenti alle diverse direttive della formazione professionale ⁵, ossia il 20% del totale di formati nel nostro paese, sono stati realizzati negli ultimi anni numerosi studi che rispondono a questa seconda logica.

4. Due esperienze di analisi condotte in regione Piemonte.

Di seguito vengono sintetizzati due studi, condotti dall’Associazione per lo Sviluppo della Valutazione e l’Analisi delle Politiche Pubbliche (ASVAPP). Questi non hanno la pretesa di essere esaustivi rispetto a quanto realizzato sul territorio negli ultimi anni, ma rappresentano una esemplificazione di come, a fronte dello stesso tema, si possano declinare domande diverse e produrre risultati utilizzabili ai fini programmatori.

4.1 L’analisi degli effetti della formazione post diploma in Piemonte.

La prima esperienza è uno studio ⁶ finanziato dalla DG Employment della Commissione Europea al Ministero del Lavoro e delle Politiche Sociali nel 2014. L’indagine ha coinvolto cinque regioni italiane, tra cui il Piemonte. Obiettivo dell’analisi è stimare l’effetto della partecipazione ad un particolare tipo di corsi, quelli post diploma, sulla carriera lavorativa dei formati: si tratta quindi di individuare quella relazione di causa-effetto tra il “trattamento”, cioè la partecipazione a un corso, e la probabilità di occupazione dopo il corso. Per le sue caratteristiche, questo tipo di formazione rappresenta un forte investimento in capitale umano, e per i giovani in particolare può rappresentare l’ultimo passo prima del definitivo transito nel mondo del lavoro. Si tratta infatti di corsi di durata medio-lunga (raramente meno di 600 ore), che forniscono un diploma di qualifica o specializzazione e che prevedono spesso lo svolgimento di uno stage.

L’analisi si concentra su un gruppo di persone disoccupate (e iscritte ai Centri per l’Impiego), circa 2.200, di età compresa tra i 18 e i 29 anni, che hanno concluso un corso post diploma tra il 2008 e 2011. I contenuti dei corsi sono molto variegati: nella metà dei casi si tratta di corsi di gestione aziendale o informatica, ma numerosi sono anche i corsi del settore manifatturiero e dei servizi alla persona.

Per stimare gli effetti della partecipazione al corso il gruppo dei formati è stato messo a confronto con un gruppo di giovani disoccupati iscritti ai Centri per l’Impiego, di circa 108.000 persone, che nello stesso periodo non ha partecipato alla formazione. Gli esiti lavorativi dei due gruppi sono stati confrontati per verificare quali fossero migliori (con o senza formazione); considerato che i gruppi potevano però essere differenti a priori, i confronti sono stati condotti dopo avere “bilanciato” formati e non formati rispetto alle condizioni iniziali osservabili: età, sesso, titolo di studio, nazionalità, tipo di lavoro cercato, storia lavorativa precedente all’iscrizione al corso. Se i due gruppi sono uguali per tutte le caratteristiche iniziali, restano diversi solo per l’aver o meno partecipato ad un corso, e quindi si può affermare che le eventuali differenze nelle storie lavorative post formazione sono imputabili al corso stesso ⁷.

L’analisi è stata dapprima orientata a individuare la presenza di un generico effetto sulla probabilità di occupazione per il gruppo dei formati. Ne risulta che la partecipazione ai corsi migliora la probabilità di trovare un lavoro di circa 4 punti percentuali, e aumenta il tempo mediamente lavorato negli anni successivi al corso.  Questi effetti positivi durano nel tempo, almeno fino al quarto anno successivo alla conclusione dei corsi⁸. Aver frequentato un corso post diploma non sembra invece produrre effetti sui contratti di lavoro: non si osserva alcun beneficio sulla probabilità di lavorare con contratti stabili.

In seconda battuta si è cercato di indagare se esistessero effetti differenziali in relazione a specifiche caratteristiche dei frequentanti o dei corsi. Quello che emerge è che i maggiori benefici legati alla frequentazione ai corsi si osservano per gli studenti più giovani, quelli con 20 anni o meno, per i quali la probabilità di occupazione cresce di quasi 7 punti percentuali, e per gli stranieri, per cui la probabilità di occupazione sale di quasi 13 punti ⁹. Per quanto riguarda le caratteristiche dei corsi, l’effetto sulla probabilità aumenta al crescere delle durate: frequentare corsi della durata massima di 600 ore aumenta di 4 punti percentuali la probabilità di occupazione, contro i quasi 6 punti per i corsi di durata superiore alle 800 ore.

4.2 La formazione professionale in Piemonte: esiti lavorativi ed evoluzione delle carriere.

Una seconda esperienza di analisi ¹⁰, condotta in Piemonte tra il 2012 e il 2013, si concentra su un più ampio insieme di corsi, vale a dire quelli per disoccupati e per l’assolvimento dell’obbligo di istruzione, con l’obiettivo di ricostruire le carriere lavorative dei frequentanti. I corsi indagati sono quelli per cui è previsto il rilascio di una qualifica o di una specializzazione.

L’obiettivo è in questo caso ben diverso rispetto al precedente: non si vuole fare inferenza sull’efficacia della formazione, ma rivolgere l’attenzione a come le carriere lavorative dei formati evolvono nel tempo. Si tratta di una analisi di tipo longitudinale: la situazione lavorativa dei formati non viene fotografata in un dato istante, ma osservata nell’arco di tre anni successivi all’uscita dai corsi. Lo studio, riferito ai corsi del biennio 2008-2010, è stato condotto in due fasi.

In prima battuta sono stati utilizzati dati amministrativi (le comunicazioni obbligatorie di avviamento) per verificare lo stato occupazionale dei formati nel tempo. Questa prima parte di indagine ha coinvolto quasi 18.000 studenti, disoccupati all’inizio dei corsi, che hanno terminato con successo la formazione. Il primo risultato emerso è che ad una anno dalla fine dei corsi circa la metà dei formati è occupato. I risultati sembrano essere stabili nel tempo: a distanza di due/tre anni la percentuale di occupati è quasi identica, e nell’80% dei casi le persone lavorano ininterrottamente presso la stessa impresa. Nel tempo si osserva inoltre un processo di graduale stabilizzazione: i contratti a tempo indeterminato passano dal 37% al 50% nei due anni di analisi. Osservando le caratteristiche dei formati sembra emergere che ad aver maggiore probabilità di occupazione post formazione siano gli studenti più giovani, e quelli con una storia lavorativa pregressa più forte. Meno marcata sembra invece essere la differenza negli esiti in funzione delle caratteristiche dei corsi frequentati, all’infuori dei corsi di formazione nel settore sociosanitario e nel settore industriale, i cui studenti sono più frequentemente occupati.

La seconda fase dell’indagine ha coinvolto invece un sottogruppo di formati che attraverso l’analisi dei dati amministrativi risultavano essere occupati ad un anno dalla fine dei corsi. Tra questi è stato individuato un campione rappresentativo che è stato intervistato per due annualità ¹¹. Gli obiettivi dell’analisi in questo caso erano da una parte approfondire aspetti delle storie lavorative non rilevabili attraverso i dati amministrativi (i contenuti e le professionalità dei lavori svolti, la coerenza tra la lavoro e il formazione), dall’altra raccogliere opinioni circa l’utilità dei corsi. La rilevazione ha evidenziato che per un quarto degli intervistati la formazione rappresenta il primo canale di ingresso nel mercato del lavoro, mentre per gli altri anticipa una nuova professione che spesso (in circa la metà dei casi) ha contenuti professionali più elevati rispetto alle precedenti. Con il passare del tempo i contenuti professionali sembrano variare poco, così come scarse sembrano essere le evoluzioni retributive. Riguardo la coerenza tra lavoro il svolto e la formazione ricevuta, questa sembra essere più forte tra coloro che hanno un impiego stabile. Comune è invece il giudizio positivo circa l’esperienza formativa: l’80% degli intervistati si dichiara interessato a svolgere ulteriore formazione, e molto spesso si osservano esperienze formative successive a quella osservata a inizio indagine.

5. L’utilizzo delle evidenze della valutazione.

Le analisi proposte forniscono diversi spunti di riflessione e si prestano a due tipi di utilizzo. In prima battuta forniscono indicazioni proprio rispetto alle modalità di realizzazione e alla conseguente lettura dei risultati. Una delle evidenze emerse, in linea con i risultati di indagini simili, è che negli interventi in cui sia previsto un coinvolgimento del beneficiario per un certo arco temporale (la formazione è un esempio, ma lo stesso vale per molte politiche attive) sia necessario lasciar trascorrere un tempo sufficientemente lungo (in questo caso si tratta di circa 9 mesi) affinché gli eventuali effetti dell’intervento siano visibili ¹². Questo suggerisce l’opportunità di condurre una eventuale valutazione degli effetti non a ridosso della fine dei percorsi di formazione, per evitare il rischio di concludere erroneamente che questi siano inefficaci. In seconda battuta l’esistenza di effetti diversi legati alla partecipazione ai corsi di formazione, sia per specifici segmenti di popolazione sia in funzione delle diverse tipologie di corsi analizzati, suggerisce l’opportunità di svolgere studi più mirati, ad esempio focalizzando l’attenzione su particolari segmenti della formazione.

Un secondo ordine di indicazioni ricavabili dagli esiti delle valutazioni proposte è inerente la programmazione degli interventi. Identificare specifici target o particolari modelli di servizio per cui l’intervento sembra essere stato più efficace serve a mirare meglio le risorse disponibili. Ad esempio, alla luce dei risultati emersi si potrebbe suggerire di investire maggiormente nella formazione per i più giovani, per gli stranieri, o prediligere investimenti in percorsi formativi più lunghi. Gli stessi risultati possono inoltre essere utilizzati per impostare modelli di erogazione di servizi integrati. L’analisi longitudinale degli esiti dei formati mostra che coloro che entrano (o rientrano) nel mondo del lavoro in un tempo ravvicinato rispetto alla fine della formazione sembrano restare occupati nel tempo; al contrario, chi non riesce ad occuparsi in tempi brevi ha poche possibilità che questo accada successivamente. Questo può suggerire, nella programmazione di percorsi integrati, di intensificare/ravvicinare l’offerta di servizi affinché si crei un effetto leva che consenta ai beneficiari di non restare in una situazione di stallo che sembra essere più difficilmente riassorbibile.

Le analisi presentate e lo stesso tema proposto (la formazione professionale) non vogliono essere in alcun modo esaustive rispetto a quanto sia possibile (o sensato) indagare in ambito di politiche pubbliche. L’obiettivo è fornire una suggestione su come, a fronte dello stesso tema, sia possibile declinare domande diverse a cui far fronte con specifici strumenti analitici. Resta forte l’esigenza di investire maggiormente nel creare le condizioni affinché la pratica valutativa accompagni in maniera più strutturata l’attività di programmazione degli interventi.

Bibliografia.

Angotti R., Del Cimmuto A. (2013), L’offerta di formazione professionale regionale in Italia , “Osservatorio Isfol”, III 2013 n. 1/2.

Battiloro V., Mo Costabella L. (2013), La formazione professionale in Piemonte. Cosa succede dopo un corso di formazione professionale? Risultati di un’indagine longitudinale sui formati, ASVAPP – Progetto Valutazione, Torino.

Battiloro V., Mo Costabella L. (2011), Valutare gli effetti della formazione professionale per disoccupati: il caso del Piemonte, ASVAPP – Progetto Valutazione, Torino.

IRES Piemonte, Provincia di Torino (2014), Rapporto istruzione e formazione professionale nella Provincia di Torino 2013, Torino.

D’Alonzo F., Stroscio A. (2014), Gli organismi istituzionali dedicati alla verifica sull’attuazione delle leggi e valutazione degli effetti delle politiche nelle assemblee legislative regionali , Il Piemonte delle Autonomie, numero 3 2014.

Isfol (2012) Attuazione e primi risultati del programma di contrasto alla crisi occupazionale Triennio 2009-2011, (I libri del Fondo sociale europeo), Roma.

Isfol (2012), L’Indagine campionaria sull’Offerta di Formazione Professionale (OFP), Roma.

Martini A., Sisti M. (2009), Valutare il successo delle politiche pubbliche, Il Mulino, Bologna.

Mo Costabella L, (2014), Post-secondary vocational training course: are they effective for Italian unemployed youth with a high school diploma? – Evidence from Piemonte, ASVAPP – Progetto Valutazione.

OECD, Études économiques de l’OCDE Italie, OECD, Paris, 2013 (maggio), www.oecd.org/Italie, Francia.

OECD, Employment Outlook 2012, OECD, Paris, 2012, www.oecd.org/employment/outlook, Francia.

Ministero del lavoro e delle politiche sociali, Ufficio di statistica, (2014) Quaderni di studi e statistiche sul mercato del lavoro Spesa per le politiche occupazionali e del lavoro – Anno 2012 , numero 6, Roma.