Ewaluacja „mid-term” projektu strategicznego pt. „Zintegrowany system

Prezentacja na temat: "Ewaluacja „mid-term” projektu strategicznego pt. „Zintegrowany system"— Zapis prezentacji:

1 Ewaluacja „mid-term” projektu strategicznego pt. „Zintegrowany system
zmniejszenia eksploatacyjnej energochłonności budynków””. Warszawa, kwiecień 2012 r.

2 Plan prezentacji 1. Wprowadzenie do badania 2. Wyniki badania (wybór)
3. Rekomendacje Osiągniecie celów Projektu Postęp w realizacji Projektu Analiza ryzyka System wskaźników Zgodność z kierunkami polityki naukowej Wkład w rozwój nauki ECORYS Copyright ®

3 Wprowadzenie do badania (1)
Cel badania: Sporządzenie oceny eksperckiej, na podstawie aktualnego stanu wiedzy, czy kontynuacja Projektu prowadzi do osiągnięcia celów Projektu, określonych w dokumentach przyjętych przez Interdyscyplinarny Zespół ds. Strategicznych Programów Badań Naukowych i Prac Rozwojowych oraz przez Komitet Sterujący, a także wskazanie ewentualnych zmian koniecznych do wprowadzenia w Projekcie. Dalszym celem było ocenienie czy kontynuacja Projektu jest zgodna z celami polityki naukowej państwa i polityki wspierania innowacyjności. ECORYS Copyright ®

4 Wprowadzenie do badania (2)
Wykorzystane metody i techniki badawcze: analizy danych zastanych (dokumenty dotyczące Projektu, polityki naukowej oraz literatura przedmiotu), wywiady IDI z kierownikami zadań badawczych oraz koordynatorem projektu, wywiady ITI z potencjalnymi odbiorcami efektów zadań badawczych, analiza SWOT dla systemu wdrażania projektu, analiza ryzyka dla realizacji zadań badawczych, panel ekspertów ze specjalistami z zakresu energetyki. ECORYS Copyright ®

5 Osiągniecie celu Projektu (1)
Cel Projektu : Uzyskanie odczuwalnego zmniejszenia energochłonności budynków w Polsce poprzez opracowanie i wdrożenie zintegrowanego systemu zarządzania popytem energii w projektowanych i istniejących budynkach, obejmującego zagadnienia termoizolacyjności, zwiększenie odzysku ciepła, głównie w instalacjach wentylacyjnych i klimatyzacyjnych, alternatywne wykorzystanie energii odnawialnej, w tym energii słonecznej, oraz poprzez szerokie zastosowanie innych technologii energooszczędnych, np. w zakresie oświetlenia ECORYS Copyright ®

6 Osiągniecie celu Projektu (2)
Niepoprawny sposób sformułowania celu Projektu Strategicznego uniemożliwia ocenę stopnia jego realizacji. Cel nie spełnia wymogów metodyki SMART Zadania badawcze mają charakter odrębnych całości. Nie stanowią one zintegrowanego i spójnego systemu a raczej „wybór zagadnień” z zakresu energochłonności budynków - pełne osiągniecie zakładanych celów Projektu Strategicznego prawdopodobnie nie będzie możliwe. ECORYS Copyright ®

7 Postęp w realizacji Projektu (1)
Nr zada nia Data podpisania umowy Dofinansowanie przekazane w r. Dofinansowanie przekazane w r. Dofinansowanie planowane do przekazania w r. Wykorzystanie dofinasowania w latach 1 PLN 1  PLN 100% 2 PLN 1  PLN 1  PLN 86,2% 3 1  PLN 2  PLN 1  PLN 94% 4 1  PLN 1  PLN 86,7% 5 PLN PLN PLN 92,4% 6 PLN 2  PLN 1  PLN 8 PLN PLN Razem 5  PLN 10  PLN PLN 94,2% ECORYS Copyright ®

8 Postęp w realizacji Projektu (2)
Zaawansowanie pod względem finansowym: Około 94% (uwzględniono zaliczki, które wypłacone zostaną w kwietniu 2012) Zaawansowanie pod względem merytorycznym: około 50% (uwzględnione zostały jedynie zakończone etapy realizacji zadań badawczych, do końca 2011 roku) ECORYS Copyright ®

9 Analiza ryzyka czynniki ryzyka nr 1, 3, 5 czynnik ryzyka nr 2
Numer czynnika Czynnik ryzyka Prawdopodobieństwo wystąpienia Wpływ na realizację zadania Ocena końcowa Kluczowy czynnik ryzyka? 1 Zatrzymanie finansowania zadania badawczego 3 NIE 2 Opóźnienie w przekazaniu środków na finansowanie realizacji zadania badawczego 4 TAK Wycofanie się partnera w realizacji zadania badawczego Zmiany osobowe u lidera zadania badawczego 5 Konieczność powtórzenia procedury zamówień publicznych ECORYS Copyright ®

10 System wskaźników Wskaźniki produktu
Proste i zrozumiałe, mierzalne ale niespecyficzne - są one dostosowane do celów Projektu Strategicznego i zadań badawczych ale nie pozwalają na mierzenie postępu w ich realizacji. Wskaźniki rezultatu Zrozumiałe i mierzalne ale nie odnoszą się do rezultatów Projektu Strategicznego i rezultatów zadań badawczych. Wskaźniki oddziaływania Charakteryzują się największą specyficznością. Sposób ich sformułowania i brak instrukcji może powodować problemy z pomiarem ich wartości . ECORYS Copyright ®

11 Zgodność z kierunkami polityki naukowej
Realizowane zadania badawcze i cały Projekt są zgodne m.in. z : Krajowym Programem Badań (2011) Krajowym Programem Badań Naukowych i Prac Rozwojowych (2008) - przede wszystkim z priorytetem 3.1 tj. Zmniejszenie energochłonności gospodarki przez rozwój i wdrażanie rozwiązań energooszczędnych w przemyśle, usługach oraz gospodarstwach domowych. Strategią innowacyjności i efektywności gospodarki Ustawą o efektywności energetycznej (Dz. U. z 2011r., Nr 94, poz.551), Ustawą o wspieraniu termomodernizacji i remontów (Dz.U. z 2008r., Nr 223, poz.1459) Rozporządzeniem Ministra Infrastruktury w sprawie warunków technicznych, jakim powinny odpowiadać budynki i ich usytuowanie (Dz. U. z 2010r., Nr 239, poz.1597) ECORYS Copyright ®

12 Wkład w rozwój nauki Dotychczas :
60 prac w czasopismach naukowych oraz branżowych wyniki podstawą do uzyskania stopni naukowych przez 11 osób 5 projektów inżynierskich 2 schematy technologiczne Dotychczasowy wkład Projektu w rozwój nauki i gospodarki ulegnie dalszemu powiększeniu po zakończeniu realizacji wszystkich zadań badawczych. ECORYS Copyright ®

13 Proponowana rekomendacja
Rekomendacje (1) Ze względu na znaczne zaawansowanie analizowanego Projektu Strategicznego większość rekomendacji odnosi do kolejnych przygotowywanych przez NCBiR projektów Wniosek z badania Proponowana rekomendacja Ważność rekomenda cji Przyjęcie formuły jednej płatności w danym roku powoduje utrudniania w realizacji projektów, szczególnie tych o krótkim okresie realizacji Przyjęcie systemu częstszych płatności (np. 2 miesięcznych) dla projektów o krótkim (12 miesięcznym) okresie realizacji 1 Ze względu na szybki postęp wiedzy następuje stosunkowo szybka dezaktualizacja wyników uzyskanych w trakcie realizacji zadań badawczych Wyodrębnienie (w przyszłych realizowanych projektach) z puli środków przeznaczonych na realizację zadań badawczych, części dofinansowania przewidzianej na aktualizację wyników zadań po upływnie określonego czasu od zakończenia realizacji zadań badawczych ECORYS Copyright ®

14 Proponowana rekomendacja
Rekomendacje (2) Wniosek z badania Proponowana rekomendacja Ważność rekomenda cji Obecny sposób sformułowania celu i wskaźników projektu nie spełnia kryteriów metodyki SMART, co skutkuje brakiem możliwości pomiaru stopnia osiągniecia celów W przyszłych projektach realizowanych przez NCBiR) formułowanie celów i wskaźników projektu zgodnie z metodyką SMART, w tym m.in.: Uproszczenie celu Projektu, poprzez wydzielenie celu głównego i celów szczególnych Dostosowanie wskaźników produktu i rezultatu do pomiaru celów Projektu i celów zadań badawczych Ujednolicenie wartości bazowych wskaźników, weryfikacja wartości docelowych Zastosowanie jednej jednostki pomiaru dla danego, zaproponowanego wskaźnika Zastosowanie precyzyjnych definicji wskaźników, ściśle określających, co ma być przedmiotem pomiaru Zbieranie wartości wskaźników rezultatu również po zakończeniu realizacji zadań badawczych 1 Sporządzenie szczegółowych instrukcji pomiaru dla wybranych wskaźników (dotyczy przede wszystkim wskaźników oddziaływania, np. dotyczących ilości zaoszczędzonej energii lub unikniętych emisji CO2) ECORYS Copyright ®

15 Proponowana rekomendacja
Rekomendacje (3) Wniosek z badania Proponowana rekomendacja Ważność rekomenda cji Niewystarczający stopień koordynacji merytorycznej zakresów tematycznych zadań może prowadzić do częściowego nakładania się wykonywanych prac Ustanowienie przy realizacji przyszłych projektów strategicznych osoby odpowiedzialnej za wymianę informacji między poszczególnymi wykonawcami (o zakresie prowadzonych badań) lub też przekazanie tej funkcji wykonawcy jednego z zadań badawczych 1 Niedostosowanie terminów składania raportów półrocznych do etapów realizacji zadań badawczych jest czasochłonne Zmniejszenie częstotliwości raportowania (jeden raport roczny) lub dostosowanie terminów raportów cząstkowych (półrocznych) do dat zakończenia etapów zadania badawczego, określonych w umowie 2 ECORYS Copyright ®

16 Proponowana rekomendacja
Rekomendacje (4) Wniosek z badania Proponowana rekomendacja Ważność rekomenda cji Nadmierne wydłużenie procesu oceny raportów ze względu na konieczność poprawy przez Wykonawców prostych błędów, będących oczywistymi omyłkami i nie mających związku z postępem w realizacji projektu Stworzenie listy „oczywistych omyłek pisarskich i rachunkowych”, które mogą być korygowane przez NCBiR na etapie oceny formalnej raportów okresowych, bez konieczności odsyłania raportu do Wykonawcy 2 Istnieje zapotrzebowanie ze strony wykonawców na uzyskanie dokładniejszych informacji o wynikach oceny merytorycznej raportów z realizacji zadania Organizowanie spotkań, które dałyby możliwość dyskusji wykonawcy i NCBIR na temat postępów w realizacji zadania badawczego (w ramach oceny merytorycznej raportów okresowych) ECORYS Copyright ®

17 Proponowana rekomendacja
Rekomendacje (5) Wniosek z badania Proponowana rekomendacja Ważność rekomenda cji Ze względu na nowatorski charakter realizowanych badań, wyniki cząstkowe uzyskiwane w realizacji zadań badawczych mogą wpływać na potrzebę modyfikacji zaplanowanych badań Uproszczenie obowiązujących procedur w zakresie wprowadzania przez wykonawców zmian w sposobie realizacji zadania / zakresie badań. 3 Brak wystarczającej informacji, co do kryteriów oceny ofert oraz raportów z realizacji zadań badawczych Stworzenie szczegółowej instrukcji oceny oferty i publikacja tego dokumentu łącznie z ogłoszeniami konkursowymi; Stworzenie szczegółowej instrukcji / kryteriów oceny raportów i ich publikacja wraz ze wzorami raportów, W ofercie na realizację zadania badawczego wymagany był bardzo szeroki zakres informacji osobowej. Wypełnienie części formalnej wymagało od potencjalnych wykonawców nieproporcjonowanie dużo pracy w stosunku do czasu poświęconego na opis zagadnień merytorycznych Uproszczenie wzoru oferty/wniosku w aplikacyjnego. Zmniejszenie wagi formalnej części wniosku w stosunku do zagadnień merytorycznych ECORYS Copyright ®