Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: EGO:

Podobne prezentacje


Prezentacja na temat: "Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: EGO:"— Zapis prezentacji:

1

2 Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: EGO:

3 3 Jaki jest związek procesu wyboru wykonawców z wykorzystaniem wyników badań Jakość polityk publicznych (trafność podejmowanych decyzji) Poziom wykorzystania badań (w sensie poznawczym, użytkowym) Jakość badań (wiarygodność, dowód empiryczny) Sprawność procedury selekcji i wyłaniania wykonawców Procedura zapewnia wybór zespołu badawczego posiadającego kompetencje w zakresie danego badania

4 4 >Przegląd orzecznictwa (KIO, TS) pozwala stwierdzić, że w judykaturze dopuszcza się stosowanie niemierzalnych (niewymiernych) kryteriów pod warunkiem ich zobiektywizowania >Argumentu prawne: > W orzeczeniach Krajowej Izby Odwoławczej » Orzeczenie KIO 1280/09 prawem zamawiającego jest ustalanie takich kryteriów wyboru oferty najkorzystniejszej, które jego zdaniem, w najlepszy sposób pozwolą wybrać urządzenie najlepiej odpowiadające jego wymaganiom... » Orzeczenie KIO 1804/09 kryterium jakość realizowanej usługi jest dopuszczalne w świetle art. 91 ust. 2 ustawy PZP » Orzeczenie KIO 1168/10 odnosząca się do kryterium Koncepcja wykonania usługi Izba wyraziła pogląd iż Wskazane w przepisie art. 91 ust. 2 Pzp kryteria oceny ofert są kryteriami przykładowymi,..., zaś poza zakazem stosowania kryteriów, które mogą dotyczyć właściwości wykonawcy, brak jest innych zakazów. > W wyroku Trybunału Sprawiedliwości UE( C-448/01) według którego zamawiający dysponuje swobodą określania kryteriów pod warunkiem, że nie przyznają zamawiającemu prawa arbitralnego wyboru oferty Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

5 5 >Polska praktyka oceny ofert opiera się na 1) niedopasowaniu prawa, jak i jego 2) wypaczonej interpretacji, co przejawia się w szczególności w: > 1) zakazie porównywania ofert wbrew logice faktycznego postępowania, zmuszając oceniających do przyjęcia nieformalnego punktu odniesienia, co prowadzi do oceny swobodnej, nieobiektywnej opartej na niewyartykułowanych nieformalnych miarach... (zależnych od różnych kompetencji oceniających) > 2) sposobie formułowania kryteriów merytorycznych, często w sposób bardzo ustrukturyzowany, pozbawiając je mocy rzeczywistego rozstrzygania o wartości proponowanej koncepcji badawczej oraz metodologii. Takie podejście doprowadza do automatyzacji i uniwersalizacji tworzenia koncepcji badawczych... Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

6 6 >Jak wygląda proces logicznej oceny... > porównanie w czasie - pozwala ocenić postęp lub regres (zmianę) - brak zastosowania w PZP > porównanie do wzorca - nasz przedmiot oceny przyrównujemy do ideału i mierzymy na ile odbiega lub jest bliski ideału – w przypadku PZP wymagałoby ustalenia i bardzo szczegółowego zdefiniowania jednego, modelowego podejścia do danego problemu badawczego > porównanie do innych przedmiotów z ocenianej grupy – jest to ocena relatywna, gdyż zakłada, że nie ma jednego słusznego wzorca, jednej poprawnej odpowiedzi, ocena danego przedmiotu jest dokonywana w ramach grupy, porównujemy rzeczy między sobą, wynik zależy więc od składu grupy poddawanej ocenie, od tego jakie przedmioty porównujemy ze sobą - wydaje się, że jest to adekwatny sposób oceny ofert Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych

7 7 >W przypadku badań ewaluacyjnych mamy do czynienia z pozornie wysokim udziałem kryteriów merytorycznych, jednak ze względu na błędne stosowanie ich faktyczny udział w wyborze jest niższy i dominuje cena... Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy Źródło: Analiza zamówień publicznych w kontekście badań dla sektora publicznego, PTE, czerwiec 2011

8 8 >Kluczowe czynniki wpływające na rzeczywiste zmniejszenie udziału kryteriów merytorycznych w stosunku do kryterium cenowego: > wysoki udział (od 6 do 20 na ok. 50 pkt jakościowych) kryteriów odnoszących się do organizacji procesu badawczego, za które w praktyce oferenci otrzymują podobną liczbę punktów (bo wszyscy przedstawiają w miarę poprawne: harmonogramy, sposób rozdysponowania pracy pomiędzy członków zespołu badawczego oraz sposób prezentacji wyników badania); > powtarzające się i ustrukturyzowane kryteria jakościowe - sporo doświadczonych firm specjalizujących się badaniach ewaluacyjnych, posiadających wypracowane rozwiązania metodologiczne i organizacyjne) powoduje, że ostateczne różnice w punktacji za część merytoryczną pomiędzy oferentami nie są wysokie; Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy

9 9 >Ocena jakości kryteriów merytorycznych nie wypada pozytywnie, w ponad 80 % przeglądanych SIWZ pojawiały się następujące błędy: > Brak wskazania czynnika oceniającego w kryteriach (np. zasadność, trafność, etc.), co w praktyce może oznaczać, że wystarczy, aby dany element (np. dobór próby czy model badania) znalazł się w ofercie, a nie musi już być sensowny z punktu widzenia realizacji celów badania; > Jedno kryterium/podkryterium zawiera więcej niż jeden czynnik oceniający (np. trafność i spójność logiczna), co sprawia, że nie jest jasne, jak będzie rozkładała się punktacja - nie wiadomo ile punktów za trafność, a ile za spójność; > Brak definicji jak rozumiemy jakość / trafność... > Brak rozdysponowania punktów pomiędzy poszczególne podkryteria (np. do 45 pkt za metodykę i do 15 za organizację badania), > Powtarzają się kryteria, które dotyczą tej samej kwestii; > Ocenianie elementów zawartych w SOPZ (np. strukturalizacji badania); > W przypadku punktowania dodatkowych elementów (np. metody, pytania) brak wskazania liczby ocenianych elementów, co powoduje niepotrzebny rozrost ofert... > Ocenianie sposobu doboru próby bez zapewnienia danych odnośnie populacji badania. Jak zlecamy badania w Polsce – jaka jest jakość kryteriów merytorycznych

10 10 Jak zlecane są badania zagranicą ? Dominujące kryterium - cena Czechy Hiszpania Rumunia Słowacja Słowenia Węgry Kryterium jakości przeważa nad kryterium ceny Austria Bułgaria Dania Estonia Irlandia Litwa Niemcy Dominujące kryterium - jakość Cypr Finlandia Grecja Holandia Portugalia Szwecja Wielka Brytania >Kraje które zdecydowały się na kryterium ceny jako dominujące przy wyborze ofert, mają problemy z jakością dostarczanych im ewaluacji, a co za tym idzie z użytecznością ekspertyz. Poczynione oszczędności odbijają się negatywnie na poziomie kultury ewaluacyjnej danego kraju, >Państwa o najdłuższej tradycji kultury ewaluacyjnej i największym doświadczeniu w prowadzeniu polityk publicznych opartych na dowodach wykorzystują kryteria jakościowe do oceny i wyboru wykonawców badań. >W praktyce doświadczonych administracji kryteria jakościowe są sformułowane syntetycznie i nie są rozbijane na konkretne skale punktowe. Terminy takie jak np. adekwatność metodyki badawczej, spójność koncepcji, jakość operacjonalizacji badania są pozostawiane do interpretacji i oceny członkom komisji przetargowych. >

11 11 >W instytucjach europejskich (np: KE) dominuje podejście do oceny ofert oparte na zdefiniowanych kryteriach jakościowych (zrozumienie przedmiotu badania, metodyka badania i organizacja badania), >Cena ma marginalny wpływ na wybór, >W kryteriach jakościowych zawsze stosowana jest forma stopniowalna (jakość, stopień zrozumienia do... pkt., takie podejście powoduje, że ocenia nie jest zautomatyzowana, >W przypadku rozbieżności punktowych powoływani są dodatkowi eksperci, >Częstą praktyką jest powoływanie do oceny grup zewnętrznych ekspertów, Jak zlecane są badania ewaluacyjne zagranicą ?

12 12 Jak możemy ulepszyć stosowane kryteria ? >Uwzględniając uwarunkowania prawne stosowania niemierzalnych kryteriów jakościowych należy zalecić, aby : > Kryteria były dopasowane do konkretnego badania, nie można powtarzać jedno zestawu kryteriów do badań różnych typów i o różnym stopniu uszczegółowienia, > Kryteria były dokładnie opisane przy pomocy szczegółowych podkryteriów, > Poszczególnym kryteriom /podkryteriom przypisane były odpowiednie wagi, > W opisie sposobu oceny ofert należy określić zasady przyznawania punktów poszczególnym ofertom w ramach kryteriów i podkryteriów, przy czym zalecana jest ich kwantyfikacja – filozofie kwantyfikowania kryteriów...

13 13 >Filozofie kwantyfikowania kryteriów tj: > zastosowanie widełek w formie do … pkt – wtedy kryterium powinno zawierać czynnik oceniający stopień (np. przydatności, spójności, etc.); > stopniowanie, np. za 2 dodatkowe trafne pytania – 1 pkt, za 3 – 2 pkt, za 4 – 3 pkt – w tym przypadku kryterium również powinno mieć czynnik oceniający (np. przydatności, spójności, trafność etc.); > punktowanie zerojedynkowe (na zasadzie spełnia – nie spełnia) – w tym przypadku kryterium powinno mieć formę trafność, spójność (np. 3 pkt – zidentyfikowano trafne potencjalne obszary ryzyka, mogące wystąpić w trakcie realizacji badania oraz środki je minimalizujące; 0 pkt – nie zidentyfikowano potencjalnych obszarów ryzyka i/lub środków je minimalizujących lub któreś ze zidentyfikowanych są nietrafne). Jak możemy ulepszyć stosowane kryteria ?


Pobierz ppt "Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: EGO:"

Podobne prezentacje


Reklamy Google