Kryteria wyboru wykonawcy jako jeden z kroków ku jakości w ewaluacji - doświadczenia Jednostki Ewaluacyjnej Województwa Zachodniopomorskiego Monika Lemke Urząd Marszałkowski Województwa Zachodniopomorskiego

Ewaluacja – wyzwania użyteczność, dostarczanie wiarygodnych informacji na temat rzeczywistych efektów, pomoc w podejmowaniu decyzji, jakość.

Jakość w ewaluacji wpływa na użyteczność badania, decyduje o rzetelności i wiarygodności wyników, pomaga w podejmowaniu decyzji na podstawie wiarygodnych informacji, wymaga stosowania zaawansowanych metod badawczych, inspiruje do stosowania niestandardowych rozwiązań.

Jakość w ewaluacji – co można zrobić? zastosować inny wzór na obliczanie punktów za cenę od standardowego – najczęściej stosowanego: C= Cmin/Cof x Lmax, wprowadzić zapisy w SIWZ promujące jakość, np. o konieczności otrzymania w każdym podkryteriów merytorycznych określonej minimalnej liczby punktów, zastosować kryteria typu: trafność, spójność.

Nasze doświadczenia odeszliśmy od standardowego(popularnego) wzoru: C= Cmin/Cof x Lmax, w dwóch badaniach zastosowaliśmy wzór logarytmiczny na obliczanie ceny, a w jednym wzór proporcjonalny, wprowadziliśmy zapisy w SIWZ promujące jakość, wykonawcy muszą otrzymać w każdym z podkryteriów merytorycznych minimum 50 % z maksymalnej liczby punktów, przy ocenie merytorycznej zastosowaliśmy kryteria oceniające trafność, spójność.

Nasze doświadczenia - kryterium ceny Wzór logarytmiczny jest następujący: ln(1+(B-Cof)) Lp= x Lmax ln (1+(B-Cmin)) gdzie: Lp – liczba punktów oferty ocenianej ln – funkcja logarytmu naturalnego B – budżet przeznaczony na badanie Cof – cena oferty ocenianej C min – 70% wartości zamówienia lub cena najtańszej oferty spośród tych, które zostaną wykazane przez wykonawców jako realne Lmax – maksymalna liczba punktów, jakie można uzyskać w ramach kryterium

Nasze doświadczenia - kryterium ceny Wzór proporcjonalny jest następujący: B-Cof Lp= x Lmax B-Cmin gdzie: Lp – liczba punktów oferty ocenianej B – budżet przeznaczony na badanie Cof – cena oferty ocenianej C min – 70% wartości zamówienia lub cena najtańszej oferty spośród tych, które zostaną wykazane przez wykonawców jako realne Lmax – maksymalna liczba punktów, jakie można uzyskać w ramach kryterium

Nasze doświadczenia - kryterium ceny C maxC minC2C4C5C6C8C9C , , Liczba punktów 39,2635,4636,7939,9735,7838,5938,86

Nasze doświadczenia - kryterium ceny C maxC minC1C2C3C4C5C6C7C8C , Liczba punktów 40,0029,6236,4938,1435,9336,7739,3939,2638,57

Nasze doświadczenia - kryterium ceny CmaxCminC1C2C3C6C7C8C9C10C11C , , , , , wzór logarytmiczny 32,45 37,54 40,00 33,44 37,49 35,69 35,86 36,73 34,75 wzór proporcjonalny 4,07 19,00 39,95 40,00 5,50 18,73 10,86 11,41 14,89 8,17

Nasze doświadczenia - zapisy SIWZ W SIWZ wprowadziliśmy następujący zapis: Zamawiający – chcąc zagwarantować wysoką jakość i profesjonalizm realizacji zadania – wymaga, by w każdym z ww. podkryteriów oferta Wykonawcy uzyskała minimum 50% punktów możliwych do otrzymania. (…) Jeżeli oferta uzyska mniej niż 50% możliwych do otrzymania punktów w danym podkryterium, zostanie odrzucona jako niespełniająca wymagań Zamawiającego na podstawie art. 89 ust. 1 pkt 2 ustawy PZP („jej treść nie odpowiada treści specyfikacji istotnych warunków zamówienia”).

Nasze doświadczenia - kryteria merytoryczne Jako kryterium merytoryczne stosujemy „metodykę badania”, w którym stosujemy następujące podkryteria:  spójność koncepcji badania,  trafność oparcia koncepcji badawczej na teorii badawczej lub koncepcji naukowej,  trafność zaproponowanych w ramach planu badawczego metod i technik badawczych,  trafność zaproponowanych w ramach planu badawczego metod i technik analizy danych,  trafność dodatkowych pytań badawczych uwzględniających specyfikę badania oraz specyfikę grupy badawczej;  trafność zidentyfikowania potencjalnych obszarów ryzyka mogących wystąpić w trakcie realizacji badania i środka/- ów go minimalizującego/-ych.

Nasze doświadczenia – co dalej? Zamierzamy kontynuować stosowanie: niestandardowych wzorów na obliczanie ceny, szczególnie wzoru logarytmicznego, przy którym nie występują duże rozbieżności w punktach za cenę i decydującą rolę zaczyna odgrywać jakość, planu badawczego przez wykonawców w ofercie, ale musimy go bardziej precyzyjnie zdefiniować, dotychczasowych zapisów SIWZ promujących jakość, dotychczasowych kryteriów akcentujących trafność i spójność określonych elementów oferty, dostosowywać kryteria merytoryczne do specyfiki i tematyki badania.

Dziękuję za uwagę