VIII Konferencja Ewaluacyjna

Prezentacja na temat: "VIII Konferencja Ewaluacyjna"— Zapis prezentacji:

1 VIII Konferencja Ewaluacyjna
Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion

2 Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych
Bartosz Ledzion: EGO:

3 Jaki jest związek procesu wyboru wykonawców z wykorzystaniem wyników badań
Jakość polityk publicznych (trafność podejmowanych decyzji) Poziom wykorzystania badań (w sensie poznawczym, użytkowym) Jakość badań (wiarygodność, dowód empiryczny) Sprawność procedury selekcji i wyłaniania wykonawców Procedura zapewnia wybór zespołu badawczego posiadającego kompetencje w zakresie danego badania

4 Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych
Przegląd orzecznictwa (KIO, TS) pozwala stwierdzić, że w judykaturze dopuszcza się stosowanie niemierzalnych (niewymiernych) kryteriów pod warunkiem ich zobiektywizowania Argumentu prawne: W orzeczeniach Krajowej Izby Odwoławczej Orzeczenie KIO 1280/09 „prawem zamawiającego jest ustalanie takich kryteriów wyboru oferty najkorzystniejszej, które jego zdaniem , w najlepszy sposób pozwolą wybrać urządzenie najlepiej odpowiadające jego wymaganiom ...” Orzeczenie KIO 1804/09 „kryterium jakość realizowanej usługi jest dopuszczalne w świetle art. 91 ust. 2 ustawy PZP Orzeczenie KIO 1168/10 odnosząca się do kryterium „Koncepcja wykonania usługi” Izba wyraziła pogląd iż „Wskazane w przepisie art. 91 ust. 2 Pzp kryteria oceny ofert są kryteriami przykładowymi, ... , zaś poza zakazem stosowania kryteriów , które mogą dotyczyć właściwości wykonawcy, brak jest innych zakazów”. W wyroku Trybunału Sprawiedliwości UE( C-448/01) według którego zamawiający dysponuje swobodą określania kryteriów pod warunkiem, że nie przyznają zamawiającemu prawa arbitralnego wyboru oferty

5 Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych
Polska praktyka oceny ofert opiera się na 1) niedopasowaniu prawa, jak i jego 2) wypaczonej interpretacji, co przejawia się w szczególności w: 1) zakazie porównywania ofert wbrew logice faktycznego postępowania, zmuszając oceniających do przyjęcia nieformalnego punktu odniesienia , co prowadzi do oceny swobodnej, nieobiektywnej opartej na niewyartykułowanych nieformalnych miarach ... (zależnych od różnych kompetencji oceniających) 2) sposobie formułowania kryteriów merytorycznych, często w sposób bardzo ustrukturyzowany, pozbawiając je mocy rzeczywistego rozstrzygania o wartości proponowanej koncepcji badawczej oraz metodologii. Takie podejście doprowadza do automatyzacji i uniwersalizacji tworzenia koncepcji badawczych ...

6 Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych
Jak wygląda proces logicznej oceny ... porównanie w czasie - pozwala ocenić postęp lub regres (zmianę) - brak zastosowania w PZP porównanie do wzorca - nasz przedmiot oceny przyrównujemy do ideału i mierzymy na ile odbiega lub jest bliski ideału – w przypadku PZP wymagałoby ustalenia i bardzo szczegółowego zdefiniowania jednego, modelowego podejścia do danego problemu badawczego porównanie do innych przedmiotów z ocenianej grupy – jest to ocena relatywna, gdyż zakłada, że nie ma jednego słusznego wzorca, jednej poprawnej odpowiedzi, ocena danego przedmiotu jest dokonywana w ramach grupy, porównujemy rzeczy między sobą, wynik zależy więc od składu grupy poddawanej ocenie, od tego jakie przedmioty porównujemy ze sobą - wydaje się, że jest to adekwatny sposób oceny ofert

7 Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy
W przypadku badań ewaluacyjnych mamy do czynienia z pozornie wysokim udziałem kryteriów merytorycznych, jednak ze względu na błędne stosowanie ich faktyczny udział w wyborze jest niższy i dominuje cena ... Żyjemy w błędnym przekonaniu, że w sposób merytoryczny wybieramy wykonawców .... Średnia wartość badań to ok tys zł (pow. 20%) Źródło: Analiza zamówień publicznych w kontekście badań dla sektora publicznego, PTE, czerwiec 2011

8 Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy
Kluczowe czynniki wpływające na rzeczywiste zmniejszenie udziału kryteriów merytorycznych w stosunku do kryterium cenowego: wysoki udział (od 6 do 20 na ok. 50 pkt jakościowych) kryteriów odnoszących się do organizacji procesu badawczego, za które w praktyce oferenci otrzymują podobną liczbę punktów (bo wszyscy przedstawiają w miarę poprawne: harmonogramy, sposób rozdysponowania pracy pomiędzy członków zespołu badawczego oraz sposób prezentacji wyników badania); powtarzające się i ustrukturyzowane kryteria jakościowe - sporo doświadczonych firm specjalizujących się badaniach ewaluacyjnych, posiadających wypracowane rozwiązania metodologiczne i organizacyjne) powoduje, że ostateczne różnice w punktacji za część merytoryczną pomiędzy oferentami nie są wysokie;

9 Jak zlecamy badania w Polsce – jaka jest jakość kryteriów merytorycznych
Ocena jakości kryteriów merytorycznych nie wypada pozytywnie, w ponad 80 % przeglądanych SIWZ pojawiały się następujące błędy: Brak wskazania czynnika oceniającego w kryteriach (np. zasadność, trafność, etc.), co w praktyce może oznaczać, że wystarczy, aby dany element (np. dobór próby czy model badania) znalazł się w ofercie, a nie musi już być sensowny z punktu widzenia realizacji celów badania; Jedno kryterium/podkryterium zawiera więcej niż jeden czynnik oceniający (np. trafność i spójność logiczna), co sprawia, że nie jest jasne, jak będzie rozkładała się punktacja - nie wiadomo ile punktów za trafność, a ile za spójność; Brak definicji jak rozumiemy jakość / trafność ... Brak rozdysponowania punktów pomiędzy poszczególne podkryteria (np. „do 45 pkt za metodykę i do 15 za organizację badania”), Powtarzają się kryteria, które dotyczą tej samej kwestii; Ocenianie elementów zawartych w SOPZ (np. strukturalizacji badania); W przypadku punktowania dodatkowych elementów (np. metody, pytania) brak wskazania liczby ocenianych elementów, co powoduje niepotrzebny rozrost ofert ... Ocenianie sposobu doboru próby bez zapewnienia danych odnośnie populacji badania.

10 Jak zlecane są badania zagranicą ?
Dominujące kryterium - cena Czechy Hiszpania Rumunia Słowacja Słowenia Węgry Kryterium jakości przeważa nad kryterium ceny Austria Bułgaria Dania Estonia Irlandia Litwa Niemcy Dominujące kryterium - jakość Cypr Finlandia Grecja Holandia Portugalia Szwecja Wielka Brytania Kraje które zdecydowały się na kryterium ceny jako dominujące przy wyborze ofert, mają problemy z jakością dostarczanych im ewaluacji, a co za tym idzie z użytecznością ekspertyz. Poczynione oszczędności odbijają się negatywnie na poziomie kultury ewaluacyjnej danego kraju, Państwa o najdłuższej tradycji kultury ewaluacyjnej i największym doświadczeniu w prowadzeniu polityk publicznych opartych na dowodach wykorzystują kryteria jakościowe do oceny i wyboru wykonawców badań. W praktyce doświadczonych administracji kryteria jakościowe są sformułowane syntetycznie i nie są rozbijane na konkretne skale punktowe. Terminy takie jak np. „adekwatność metodyki badawczej”, „spójność koncepcji”, „jakość operacjonalizacji badania” są pozostawiane do interpretacji i oceny członkom komisji przetargowych.

11 Jak zlecane są badania ewaluacyjne zagranicą ?
W instytucjach europejskich (np: KE) dominuje podejście do oceny ofert oparte na zdefiniowanych kryteriach jakościowych (zrozumienie przedmiotu badania, metodyka badania i organizacja badania), Cena ma marginalny wpływ na wybór, W kryteriach jakościowych zawsze stosowana jest forma „stopniowalna” (jakość, stopień zrozumienia „do ... pkt. „, takie podejście powoduje, że ocenia nie jest zautomatyzowana, W przypadku rozbieżności punktowych powoływani są dodatkowi eksperci, Częstą praktyką jest powoływanie do oceny grup zewnętrznych ekspertów,

12 Jak możemy ulepszyć stosowane kryteria ?
Uwzględniając uwarunkowania prawne stosowania niemierzalnych kryteriów jakościowych należy zalecić, aby : Kryteria były dopasowane do konkretnego badania, nie można powtarzać jedno zestawu kryteriów do badań różnych typów i o różnym stopniu uszczegółowienia, Kryteria były dokładnie opisane przy pomocy szczegółowych podkryteriów, Poszczególnym kryteriom /podkryteriom przypisane były odpowiednie wagi, W opisie sposobu oceny ofert należy określić zasady przyznawania punktów poszczególnym ofertom w ramach kryteriów i podkryteriów, przy czym zalecana jest ich kwantyfikacja – filozofie kwantyfikowania kryteriów ... Powstaje mechanizm, w którym Wykonawcy otrzymują sygnał, że inwestowanie w wiedzę i meritum zwyczajnie zaczyna się nie opłacać, gdyż na etapie oceny nie mają te kwestie większego znaczenia ... , dodatkowo uwstecznia to postęp metodyczny i innowacyjność w polu badań,

13 Jak możemy ulepszyć stosowane kryteria ?
Filozofie kwantyfikowania kryteriów tj: zastosowanie widełek w formie „do … pkt” – wtedy kryterium powinno zawierać czynnik oceniający „stopień” (np. przydatności, spójności, etc.); stopniowanie, np. „za 2 dodatkowe trafne pytania – 1 pkt, za 3 – 2 pkt, za 4 – 3 pkt” – w tym przypadku kryterium również powinno mieć czynnik oceniający (np. przydatności, spójności, trafność etc.); punktowanie zerojedynkowe (na zasadzie „spełnia – nie spełnia”) – w tym przypadku kryterium powinno mieć formę „trafność”, „spójność” (np. „3 pkt – zidentyfikowano trafne potencjalne obszary ryzyka, mogące wystąpić w trakcie realizacji badania oraz środki je minimalizujące; 0 pkt – nie zidentyfikowano potencjalnych obszarów ryzyka i/lub środków je minimalizujących lub któreś ze zidentyfikowanych są nietrafne”). Powstaje mechanizm, w którym Wykonawcy otrzymują sygnał, że inwestowanie w wiedzę i meritum zwyczajnie zaczyna się nie opłacać, gdyż na etapie oceny nie mają te kwestie większego znaczenia ... , dodatkowo uwstecznia to postęp metodyczny i innowacyjność w polu badań,