Partycypacyjny model ewaluacji w perspektywie finansowej Andrzej Regulski Toruń, 22 czerwca 2016 r.

Wprowadzenie Co wynika z około 100 projektów ewaluacyjnych/doradczych wspierających programowanie programów na lata ? Które rozwiązania się sprawdziły, a nad którymi warto jeszcze raz się zastanowić? Co warto kontynuować w tej i w kolejnych perspektywach finansowych?

Które projekty? ewaluacje ex-ante programów operacyjnych oceny ex-ante instrumentów finansowych wsparcie wyboru i szacowania wskaźników ewaluacja systemu wyboru projektów

Jaka rola w procesie programowania? typ badania wymóg formalny zewnętrzna wiedza ekspercka animowanie dyskusji „oursourcing” zadań ewaluacje ex-ante programów operacyjnych ++ + oceny ex-ante instrumentów finansowych wsparcie wyboru i szacowania wskaźników ++ ewaluacja systemu wyboru projektów +++++

ewaluacje ex-ante programów operacyjnych +? wyjście poza perspektywę definiowania celów interwencji przez działania – definiowanie oczekiwanych rezultatów animowanie dyskusji o logice interwencji i oczekiwanych rezultatach zewnętrzne spojrzenie na powstający dokument – perspektywa spoza administracji „mózgi do wynajęcia”, niekoniecznie zewnętrzny ewaluator czy ewaluator może wpływać na cele interwencji (wybór publiczny)? czy określenie cele interwencji (oczekiwane rezultaty) to rzeczywisty wybór publiczny, czy tylko ćwiczenie literackie (linia demarkacyjna jako główne narzędzie programistyczne)? problemy z praktycznym zastosowaniem podejścia evidence- based problem relacji pomiędzy instytucjami zaangażowanymi w programowanie raport jest jednym z mniej istotnych elementów całego procesu

wsparcie wyboru i szacowania wskaźników +? dobry przykład outsourcingu zadania, w którym zewnętrzni eksperci faktycznie mogą pomóc administracji współpraca z jednostkami odpowiedzialnymi za monitoring (uzupełnianie kompetencji) problem „polowania na wskaźniki” – dostępność danych a faktyczne dostosowanie do logiki interwencji częściowe oderwanie od procesu programowania czym powinna być wartość docelowa: różne bodźce poszczególnych instytucji? niewielkie zainteresowanie decydentów, tymczasem określenie wartości docelowych wskaźników to de facto definiowanie interwencji w danym obszarze

jak miało być? Czy planowane do realizacji interwencje publiczne znajdują uzasadnienie społeczno-ekonomiczne? Czy ich realizacja przyczyni się do osiągniecia pożądanych celów rozwojowych oraz zaspokojenia potrzeb i zdiagnozowanych problemów społeczno-ekonomicznych? kluczowe pytania (wytyczne MRR) 1) Ocena trafności i spójności wewnętrznej PO 2) Ocena spójności zewnętrznej PO 3) Ocena systemu realizacji PO

doświadczenia NSRO na podstawie: Jacek Szalchta et al., Ewaluacja ex-ante – podsumowanie doświadczeń administracji polskiej, Ministerstwo Rozwoju Regionalnego, Warszawa 2007 jakość podaży usług zaangażowanie środowiska akademickiego kompatybilność programowania i ewaluacji ex-ante centralizacja ewaluacji RPO sposób definiowania celów „polowanie na wskaźniki”

oceny ex-ante instrumentów finansowych +? wybór optymalnych form finansowania dla poszczególnych działań i typów projektów dużo głębsze przemyślenie logiki działań, w których ostatecznie przewidziano instrumenty finansowe (dodatkowe uzasadnienie wymagane dla IF, a nie dla dotacji!) nie wszystkie rozstrzygnięcia wymagają oddzielnej analizy w każdym województwie (problem spójności wniosków) z góry określone preferencje decydentów, co ma miało przełożenie na przebieg i wyniki badań duża niepewność rozstrzygnięć na poziomie krajowym (np. IF w programach krajowych) i europejskim (np. konstrukcja instrumentów OTS)

ewaluacja systemu wyboru projektów +? problemy z mgliście zarysowaną logiką interwencji pojawiają się często dopiero na tym etapie szczególny przypadek partycypacyjnego modelu współpracy – tutaj ma największe uzasadnienie, ponieważ kryteria faktycznie decydują o ukierunkowaniu interwencji faktyczne wsparcie wtedy, kiedy udaje się nawiązać rzeczywistą współpracę, co obejmuje także włączenie ewaluatora w obieg informacji (ex-ante i ex-post) nie ma sensu nadmierna koncentracja na raporcie, który nie jest kluczowym produktem badania – przede wszystkim chodzi o efekty bieżącej współpracy problem zdefiniowania roli ewaluatora w całym procesie (formalnie zaangażowany przez jedną z zainteresowanych instytucji)

co dalej? Niektóre sprawy lepiej rozwiązać raz i porządnie na poziomie krajowym: wskaźniki, instrumenty finansowe. Ustalenie roli zewnętrznych ekspertów (ewaluatorów) w konkretnym projekcie: recenzent nie zawsze będzie dobrym doradcą. Optymalnie: szczegółowe zdefiniowanie zadania i zaangażowanie decydentów (to pomaga!) Nie każde zlecenie musi polegać na opracowaniu długiego raportu którego (prawie) nikt nie przeczyta. Po co „wybijać zęby” rekomendacjom, tylko dlatego, żeby pokazać je na zewnątrz?