Monika Kwiecińska-Zdrenka Instytut Socjologii Uniwersytet Mikołaja Kopernika w Toruniu Toruń, 21 czerwca 2016 r.

Kiedy tradycyjna ewaluacja zawodzi?  Złożoność rzeczywistości  Nieprzewidywalność procesów społecznych i gospodarczych  Niepewność jako główna cecha rzeczywistości  Nielinearność (skrzydła motyla)  Wyłanianie się  Dynamika  Adaptacyjność  Współzmienność

Co zmienia ewaluacja rozwojowa? Ewaluacja tradycyjnaEwaluacja rozwojowa Oceny sukcesów i porażekInformacja zwrotna, nauka, wspieranie zmian Założone cele a sukcesNowe miary, mechanizmy monitorowania towarzyszące powstawaniu i zmianie celów Niezależność i obiektywność ewaluatoraEwaluacja częścią działania Linearny model logicznyUchwycenie dynamiki systemu, wzajemne zależności, modele i wyłaniające się powiązania Wyniki – możliwe do uogólnieniaSensy uwzględniające kontekst – informacja zwrotna dla trwających innowacji Zewnętrzne autorytety, interesariusze, płatnicy Wartości i zaangażowanie innowatorów Kontrola i przypisywanie odpowiedzialnościUczenie się reagowanie na brak kontroli, reakcje strategiczne Ewaluator kontroluje zmianęEwaluator współpracuje z wprowadzającymi zmianę Jej wynikiem jest ustalenie sukcesów i porażek interwencji. Wspiera proces uczenia się. Źródło: J. Gamble, A Developmental Evaluation Primer, s. 62.

Czym jest ewaluacja rozwojowa? Źródło: J. Gamble, A Developmental Evaluation Primer, s. 31.

Czym nie jest ewaluacja rozwojowa? Mit # 1. Ewaluacja rozwojowa zastępuje inne rodzaje ewaluacji. Mit # 2. Opiera się na miękkich metodach pomiarowych. Mit # 3. To zbiór subiektywnych opowieści. Mit # 4. To wyłącznie ewaluacja procesu. Mit # 5. Ewaluacja rozwojowa bagatelizuje problem odpowiedzialności. Mit # 6. To to samo, co ewaluacja uczestnicząca.

Kiedy ewaluacja rozwojowa może się sprawdzić? Problemy o dużej złożoności, wczesne fazy wprowadzania innowacji, np.: Programy edukacyjne (Wars i Sawa – uczniowie zdolni; Jump – uczniowie z dysfunkcjami) Rozwój lokalny Programy rozwiązywania problemów społecznych rewitalizacja społeczna przez aktywizację wybranych grup społecznych program aktywizacji młodzieży (YouthScape) aktywizacja zawodowa izolacja społeczna np. ze względu na chorobę psychiczną, biedę Prawa człowieka, działania na rzecz równości (AI Canada) Ochrona środowiska (Green Street)

Jak w praktyce zrealizować ewaluację rozwojową? Jak? W każdy sposób, który się sprawdzi. Przygotowanie Rozpoznanie: kontekst zmiany, interesariusze zmiany Zbudowanie sieci relacji: dostęp do informacji, możliwość wpływu Ramy ewaluacji = ramy uczenia się: na co organizacja powinna zwracać uwagę, czego muszą się uczyć Proces ewaluacji: Ukierunkowywanie działań: gra w szachy, zasady gry, mapowanie, „coach strategiczny” Obserwacja: kluczowa rola relacji z organizacją i wewnątrz niej, świadomość realizatorów Wnioskowanie Interwencja

Jak w praktyce zrealizować ewaluację rozwojową? Zadawanie pytań Przypominanie Ułatwianie Mapowanie i modelowanie Łączenie grupy z ludźmi, ideami, zasobami, organizacjami Dostarczanie informacji Dzwonek na przerwę Interwencja:

Ewaluacja – tak, ale jak? Zmiana modelu i filozofii: trafność i zasadność metodologiczna użyteczność metodologiczna Mapowanie: złożona dynamika systemów wzajemne zależności wyłaniające się powiązania wyszukiwanie wzorów Metody hybrydowe

Ewaluacja – tak, ale jak? Stare nowe metody Quasi-eksperymenty Etnografia: autoetnografia, etnografia narracyjna Etnografia wizualna: fotoblogi, video- pamiętniki Metody performatywne On-line FGI Metody z wykorzystaniem nowoczesnych technologii Sieć 2.0 – dane generowane przez użytkowników Dane na kliknięcie (hipermedia) Dane on-line Telefon jako czujnik aktywności Listy mailingowe

Przeszkody w realizacji Planowanie w czasie Budżetowanie kontrakt czasowy z ewaluatorem (otwarty zakres działań) finansowanie schodkowe (stopniowe) – odstępy kwartalne lub miesięczne spekulacja i przyzwolenie na nieokreśloność (określone % kosztów, reszta obliczana progresywnie)

Szanse i możliwości zastosowania w polskich instytucjach? Teza z konferencji z 2013 r. (B. Jankowski): „Jedną z przeszkód, na które może natrafić stosowanie ewaluacji rozwojowej jako podejścia użytecznego w ocenie projektów innowacyjnych i obciążonych dużym ryzykiem niepowodzenia, są cechy polskich instytucji publicznych, które uniemożliwiają zmianę w aktywne i uczące się organizacje” (Olejniczak, 2012). Getting to Maybe – Maybe World w polskich instytucjach publicznych?

Szanse i możliwości zastosowania w polskich instytucjach? Kiedy organizacja jest gotowa na ewaluację rozwojową? Poziom akceptacji dla takiej ewaluacji (lub lider akceptujący ten typ zdobywania wiedzy) Chęć uczenia się. Radzenie sobie z porażkami. Gotowość do podejmowania ryzyka. Gotowość do inwestowania w innowację. Sposób podejmowania decyzji. Dynamika władzy w organizacji. Doświadczenie w pracy ze złożonymi problemami. Chęć adaptacji i zastosowania nowego sposobu pracy Przeszkody, potencjalne bariery: konflikty wewnętrzne, niepewność finansowania, niepewny mandat do podejmowania działań