Do czego służy EWALUACJA ? Jerzy Radziwiłł Wydział Fizyki UW, 21 marca 2011 Projekt „Fizyka wobec wyzwań XXI wieku” współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Spis treści Definicja Projekty i programy Planowanie projektu lub programu Struktura logiczna projektu lub programu Do czego służy ewaluacja ? Do czego nie służy ewaluacja ? Rodzaje ewaluacji Kryteria ewaluacyjne Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku”

1. Definicja Ewaluacja to systematyczne badanie wartości albo cech konkretnego programu, planu, działania bądź obiektu z punktu widzenia przyjętych kryteriów, w celu jego usprawnienia, rozwoju lub lepszego zrozumienia. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie informacji o nim w odniesieniu do znanych celów, kryteriów i wartości.

Definicja – c.d. W odniesieniu do funduszy unijnych: Ewaluacja - to ocena wartości interwencji z zastosowaniem określonych kryteriów tej oceny podejmowana w celu określenia efektywności interwencji, oszacowania w odniesieniu do celów, a także analizy wpływu na specyficzne problemy strukturalne. * * Rozporządzenie Rady Unii Europejskiej z dn. 21.06.1999 r. wprowadzające ogólne przepisy dotyczące funduszy strukturalnych

2. Projekty i programy PPOJEKT: przedsięwzięcie, które ma określony cel, początek i koniec PROGRAM: przedsięwzięcie na większą skalę, które ma określony cel Rozróżnienie między projektem a programem nie jest jednoznaczne (m.in. dlatego, że program też może mieć początek i koniec). Program zwykle składa się z wielu projektów, które mogą być realizowane przez różnych wykonawców.

3. Planowanie projektu lub programu Metoda matrycy logicznej (LFA) ANALIZA INTERESARIUSZY: identyfikacja potencjalnych głównych interesariuszy; ocena ich możliwości. ANALIZA PROBLEMU: identyfikacja głównych problemów, ograniczeń i szans; ustalenie związków przyczynowo-skutkowych.

Planowanie projektu lub programu - c.d. ANALIZA CELÓW: budowanie rozwiązań zidentyfikowanych problemów; identyfikacja powiązań między stosowanymi środkami a osiąganymi efektami ANALIZA STRATEGII: identyfikacja różnych strategii prowadzących do rozwiązania problemu; wybór najlepszej strategii.

4. Struktura logiczna projektu lub programu Metoda matrycy logicznej (LFA): Zidentyfikowane problemy Zastosowane środki i nakłady Działania i ich produkty Rezultaty Cele szczegółowe Cel główny

5. Do czego służy ewaluacja ? EWALUACJA to proces, który służy optymalizacji całego projektu lub programu (począwszy od planowania) ze względu na określone kryteria. Składa się z badania, analizy oraz sformułowania wniosków i rekomendacji. EWALUACJA służy do tego żeby było lepiej !

6. Do czego nie służy ewaluacja ? MONITROWANIE to systematyczne, szczegółowe śledzenie przebiegu i efektów realizacji projektu lub programu pod kątem ich zgodności z przyjętym planem. KONTROLA to sprawdzenie całości lub wybranych elementów projektu lub programu pod kątem ich zgodności z przyjętymi założeniami i obowiązującymi zasadami.

Do czego nie służy ewaluacja - c.d. AUDYT to systematyczna ocena sposobu realizacji i kondycji projektu lub programu przeprowadzona przede wszystkim na podstawie badania i analizy systemów, procesów, mechanizmów kontrolnych i sprawozdań. ANALIZA KOSZTÓW I KORZYŚCI to porównanie kosztów wykorzystanych zasobów plus wszelkich innych kosztów jakie wynikają z działalności z wartością uzyskanych korzyści finansowych i pozafinansowych.

Do czego nie służy ewaluacja - c.d. OCENA INWESTYCJI to analiza przyszłej dochodowości nakładów kapitałowych jako pomoc w skutecznym zarządzaniu. itd. … Ewaluacja jest pojęciem szerszym. Może wykorzystywać wymienione wyżej i inne podobne metody oraz uzyskane na ich podstawie ustalenia, ale służy innym celom.

7. Rodzaje ewaluacji Ewaluacja POPRZEDZAJĄCA (ex-ante) Ewaluacja PRZEJŚCIOWA (mid term) Ewaluacja BIEŻĄCA (on-going) Ewaluacja KOŃCOWA (ex-post) Ewaluacja TEAMTYCZNA (thematic)

8. Kryteria ewaluacyjne Trafność (relevance, adequacy): Czy to w ogóle należało robić ? Efektywność (efficiency): Czy można było zrobić to samo mniejszym kosztem lub zrobić więcej przy tych samych kosztach? (Stosunek korzyści do kosztów). Skuteczność (effectiveness): Czy wykonanie zaplanowanych działań doprowadziło do osiągnięcia zamierzonego celu?

Kryteria ewaluacyjne – c.d. Użyteczność (utility): Czy efekty projektu są (do czegokolwiek) przydatne? (Inaczej mówiąc: na co to komu?) Oddziaływanie (impact): Czy to ma dalsze konsekwencje (pozytywne lub negatywne)? Czy wartość wszystkich efektów jest większa niż wartość samych bezpośrednich produktów? Trwałość efektów (sustainability): Czy efekty będą miały znaczenie również w przyszłości (po zakończeniu projektu lub programu)?

9. Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku” DZIAŁANIA W RAMACH PROJEKTU: Zarządzanie Projektem Promocja i rekrutacja Kurs „Ochrona radiologiczna i radiometria w medycynie” Otwarcie specjalności „Neuroinformatyka” (NI) i „Fizyka medyczna” (FM) Otwarcie specjalności „Optyka okularowa” (OO) Otwarcie specjalności „Biofizyka molekularna” (BM) i „Projektowanie molekularne i bioinformatyka” (PM)

Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku” - c.d. DZIAŁANIA W RAMACH PROJEKTU - c.d.: Organizacja zajęć w języku angielskim na kierunku Fizyka Wizyty studyjne Staże zagraniczne Ewaluacja Konferencja podsumowująca

Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku” - c.d. BADANIA NA POTRZEBY EWALUACJI DOTYCZĄCE KIERUNKU „ZASTOSOWANIA FIZYKI W BIOLOGII I MEDYCYNIE” Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na początku studiów. Kontakt bieżący (bezpośredni, telefoniczny i pocztą elektroniczną) ze studentami, pracownikami biura i kadrą projektu. Indywidualne wywiady pogłębione (IDI) z pracownikami biura projektu, asystentami Kierownika Projektu, Kierownikiem Projektu i wykładowcami.

Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku” - c.d. BADANIA NA POTRZEBY EWALUACJI (…) - c.d. Wywiady grupowe ze studentami kierunku (co semestr). Analiza wyników ankiet USOS dotyczących satysfakcji z zajęć. Badanie ankietowe wśród maturzystów (w 2011 i w 2014 roku) Badanie CAWI (z użyciem poczty elektronicznej) postaw i motywacji studentów na końcu studiów.

Ewaluacja projektu „Fizyka wobec wyzwań XXI wieku” - c.d. Kontakt w sprawach dotyczących ewaluacji: Jerzy Radziwiłł, Kierownik Badania, tel.: 602-325-505, poczta jerzy.radziwill@millwardbrown.com Luiza Wiślicz-Iwańczyk, Specjalista ds. Promocji, Informacji i Monitoringu, Hoża 69, p. 22, tel.: (22) 55-32-393, poczta luiza.wislicz@fuw.edu.pl Adam Babiński, Kierownik Projektu, Hoża 69, p. 322, tel.: (22) 55-32-374, poczta adam.babinski@fuw.edu.pl Strona www projektu: http://fizykaxxi.fuw.edu.pl oraz http://fizykaxxi.fuw.edu.pl/ewaluacja

DZIĘKUJĘ ZA UWAGĘ Studentów kierunku „Zastosowania Fizyki w Biologii i w Medycynie” zapraszam teraz na wywiad grupowy dotyczący wszelkich kwestii związanych ze studiami na tym kierunku.