Wyższa Szkoła Edukacja w Sporcie Wrocław, 18 kwietnia 2015r.

Ewaluacja jako proces - istota, cel i podstawowe założenia procesu ewaluacyjnego.

Nowa formuła ewaluacji została zatwierdzona rozporządzeniem Ministra Edukacji Narodowej z 7 października 2009 r. Ma ona na celu umożliwienie gromadzenia kompleksowych informacji na temat jakości pracy szkół i funkcjonowania systemu edukacyjnego. Projekt wdrażany jest dzięki dofinansowaniu z Unii Europejskiej, realizują go: Instytut Spraw Publicznych Uniwersytetu Jagiellońskiego, Ośrodek Rozwoju Edukacji i Era Ewaluacji.

4 EWALUACJA ZEWNĘTRZNA PROBLEMOWA CAŁOŚCIOWA

1. Przeprowadzana cyklicznie; 2. Przeprowadzana przez zespół zewnętrznych ewaluatorów; 3. Przeprowadzana w odniesieniu do wymagań - całościowa lub problemowa; 4. Prowadzona z wykorzystaniem wystandaryzowanych narzędzi

Na platformie internetowej w zakładce “Sprawdź raport z ewaluacji swojej szkoły”, w tej chwili dostępne są raporty z ewaluacji z całej Polski, w tym przedszkoli, szkół podstawowych, gimnazjów, szkół ponadgimnazjalnych, szkół specjalnych, poradni psychologiczno-pedagogicznych, ośrodków doskonalenia nauczycieli.

8 Dostarczenie informacji o placówce Wskazanie mocnych stron i obszarów do rozwoju Umożliwienie efektywnej pracy nad zapewnieniem jakości Lepsze kierowanie placówką i tym samym systemem edukacji Ewaluacja ma służyć rozwojowi placówki oraz rozwojowi własnemu pracowników merytorycznych Cele ewaluacji zewnętrznej

Metodologia ewaluacji uwzględnia różne typy placówek. Określa zakres ewaluacji i dostosowuje narzędzia Prawo do uczestniczenia wszystkich zainteresowanych osób na każdym etapie (ankiety, wywiady) Procedury, narzędzia, pytania badawcze i wyniki ewaluacji są dostępne publicznie 9 CECHY EWALUACJI Demokratyczność Wszystkie podmioty biorą udział w ewaluacji elastyczność zespołowość transparentność

Ewaluacji zewnętrznej danej placówki dokonuje zespół wizytatorów. Całe badanie trwa kilka tygodni i dzieli się na trzy etapy. W pierwszym wizytatorzy ds. ewaluacji ustalają, w porozumieniu z dyrektorem szkoły harmonogram badań. W drugim zapoznają się z dokumentami dostarczonymi przez dyrekcję, ale też np. ze stroną www czy innymi materiałami informacyjnymi dotyczącymi danej placówki. W trzecim dokonują badań, analizują dane i przedstawiają wyniki badań wstępnych.

WYMAGANIA ZADANIA STRATEGICZNE PRIORYTETY KLUCZOWE ASPEKTY DZIAŁALNOŚCI PLACÓWKI STANDARDYWYZWANIA KIERUNKI DZIAŁAŃ

Badanie (w działaniu) = (mój/ nasz) problem do rozwiązania + proces zdobywania informacji + wyjaśnienia, które pozwolą (mnie/nam) lepiej zrozumieć naturę problemu + działanie, które doprowadzi (mnie/nas) do zmiany na lepsze + refleksja (ewaluacja)

Badanie w działaniu Identyfikacja problemu Zbieranie informacji Analiza Decyzje Działanie/ zmiana Ewaluacja Pierwsze drzwi Drugie i trzecie drzwi

Drugie drzwi  Co działa w nowej metodzie?  Co nie działa, albo nie działa tak, jakbym chciał/a?  Jakie korzyści daje mi/moim uczniom to działanie?  Co mogę robić, aby poprawić rezultaty?  Co o tej metodzie sądzą uczniowie?  … Trzecie drzwi  Co zadziałało w nowej metodzie?  Co nie zadziałało, albo zadziało nie tak, jakbym chciał/a?  Jakie rezultaty dało wprowadzenie tej metody?  Co mogę zrobić, aby utrwalać rezultaty?  Co o tej metodzie sądzą uczniowie?  …

Jaka jest nasza szkoła?

Ministerstwo Edukacji Narodowej zdefiniowało 12 wymagań wobec szkół i innych placówek edukacyjnych, dotyczących najróżniejszych dziedzin: od wyników nauczania, realizacji obowiązującej podstawy programowej, przez rozwijanie aktywności i umiejętności społecznych uczniów, współpracę z rodzicami, po organizację pracy placówki, w tym jej warunki lokalowe i wyposażenie.

Każde z wymagań dana szkoła lub placówka może spełnić na poziomie od A do E. Wyniki ewaluacji przedstawione są w raporcie dostępnym na platformie internetowej

Wymagania należy traktować jako wyzwania, których realizacja służy rozwojowi społeczeństwa wiedzy, pomaga promować ideę uczenia się przez całe życie, zachęca do współpracy i naukowego podejścia do rozwiązywania problemów. Wymagania zachęcają do nowoczesnego spojrzenia na edukację jako na proces decydujący o kapitale ludzkim i wskazują prorozwojowe zadania cywilizacyjne. To nie są biurokratyczne zalecenia, to bardzo oszczędnie zdefiniowane, zalecane kierunki działań szkoły. /G. Mazurkiewicz, Ewaluacja w nadzorze pedagogicznym: zasady i wartości/

1. Szkoła lub placówka realizuje koncepcję pracy ukierunkowaną na rozwój uczniów. 2. Procesy edukacyjne są zorganizowane w sposób sprzyjający uczeniu się. 3. Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. 4. Uczniowie są aktywni. 5. Respektowane są normy społeczne. 6. Szkoła lub placówka wspomaga rozwój uczniów, uwzględniając ich indywidualną sytuację. 7. Nauczyciele współpracują w planowaniu i realizowaniu procesów edukacyjnych. 8. Promowana jest wartość edukacji. 9. Rodzice są partnerami szkoły lub placówki. 10. Wykorzystywane są zasoby szkoły lub placówki oraz środowiska na rzecz wzajemnego rozwoju. 11. Szkoła lub placówka organizując procesy edukacyjne, uwzględnia wnioski z analizy wyników sprawdzianu, egzaminu gimnazjalnego, egzaminu maturalnego, egzaminu potwierdzającego kwalifikacje zawodowe i egzaminu potwierdzającego kwalifikacje w zawodzie oraz innych badań zewnętrznych i wewnętrznych. 12. Zarządzanie szkołą lub placówką służy jej rozwojowi.

Szkoła realizując to wymaganie na poziomie podstawowym, powinna:  przyjąć koncepcję i działać zgodnie z nią,  uwzględniać w koncepcji pracy szkoły potrzeby rozwojowe uczniów, specyfikę szkoły i potrzeby środowiska,  zadbać o to, aby koncepcja pracy szkoły była znana uczniom i rodzicom i przez nich akceptowana. Szkoła realizując to wymaganie na poziomie wysokim, powinna:  zadbać, aby koncepcja pracy szkoły była przygotowana, modyfikowana i realizowana we współpracy z uczniami i rodzicami.

3. Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej W szkole lub placówce realizuje się podstawę programową uwzględniając osiągnięcia uczniów z poprzedniego etapu edukacyjnego. Podstawa programowa jest realizowana z wykorzystaniem zalecanych warunków i sposobów jej realizacji. W szkole lub placówce monitoruje się i analizuje osiągnięcia każdego ucznia, uwzględniając jego możliwości rozwojowe, formułuje się i wdraża wnioski z tych analiz. Wdrożone wnioski z monitorowania i analizowania osiągnięć uczniów przyczyniają się do wzrostu efektów uczenia się i osiągania różnorodnych sukcesów edukacyjnych uczniów. Wyniki analizy osiągnięć uczniów, w tym uczniów, którzy ukończyli dany etap edukacyjny, potwierdzają skuteczność podejmowanych działań dydaktyczno - wychowawczych. Uczniowie odnoszą sukces na wyższym etapie kształcenia lub na rynku pracy.

ISTOTA WYMAGANIA Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej.

Uczniowie nabywają wiedzę i umiejętności Jakie działania powinny być w szkole podjęte, aby to wymaganie było zrealizowane?

l.p.Etapy procesu planowania Pytania pomocnicze do planowania ewaluacji 1.Zdefiniowanie celów ewaluacji i sposobu wykorzystania wyników ewaluacji 1.Po co będziemy przeprowadzać ewaluację w szkole/placówce? 2.Jak wyniki ewaluacji mogą być wykorzystane? 3.Identyfikacja odbiorców ewaluacji 4.Dla kogo będziemy prowadzić ewaluację? 5.Kto będzie głównym odbiorcą ewaluacji? 6.Kto będzie głównym odbiorcą ewaluacji? 7.Kto jeszcze może być zainteresowany wynikami? 8.Ile możemy przeznaczyć na ewaluację czasu? 9.Identyfikacja zasobów (czasowych, ludzkich) 10.Jak podzielić się pracą w zespole prowadzącym ewaluację? 11.Jakie informacje mogę pozyskać przed „wyjściem w teren”?

ETAPY PROCESU PROJEKTOWANIA EWALUACJI PYTANIA POMOCNICZE DO PROJEKTOWANIA EWALUACJI Określenie przedmiotu ewaluacji1. Jak sformułowaliśmy temat badania ewaluacyjnego? 2. Jakie obszary w ramach przedmiotu ewaluacji można/trzeba wyróżnić w prowadzonym badaniu ewaluacyjnym? Sformułowanie pytań kluczowych (badawczych) 1. Czego chcemy się dowiedzieć? 2. Na jakie pytania ma odpowiedzieć ewaluacja? Określenie kryteriów ewaluacji 3. Co jest „wartością ” w badanym przedmiocie ewaluacji? 4. Jakimi kryteriami będę się posługiwać ewaluatorzy w formułowaniu wniosków ewaluacyjnych?

Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. Przykład działania: We wrześniu każdego roku uczniowie klas II mają lekcje w ogrodzie zoologicznym. Tytuł wymagania: Respektowane są normy społeczne. Przykład działania: Debata oksfordzka na temat zasad dobrego zachowania w naszej szkole.

Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. Przykład działania: We wrześniu każdego roku uczniowie klas II mają lekcje w ogrodzie zoologicznym. Spójność z zalecanymi warunkami realizacji pp Tytuł wymagania: Respektowane są normy społeczne. Przykład działania: Debata oksfordzka na temat systemu oceniania zachowania w naszej szkole. Równość, powszechność

ISTOTA Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. DZIAŁANIA

ISTOTA DZIAŁANIA Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. WARTOŚĆ

ISTOTA DZIAŁANIA Tytuł wymagania: Uczniowie nabywają wiadomości i umiejętności określone w podstawie programowej. WARTOŚĆ

Jakie działania nauczyciel konkretnego przedmiotu (historyk, matematyk, polonista…) może podjąć wypełniając to wymaganie?

Zdefiniowanie celu badań Konceptualizacja (przygotowanie projektu badania) Wybór metody badawczej i źródeł danych Przygotowanie narzędzi badawczych Zebranie danych empirycznych Poszczególne kroki badawcze w całym cyklu badania

 W zależności od wybranej metody badawczej zgromadzimy zapewne dużo informacji, która prawdopodobnie nie będzie od razu nadawała się do interpretacji.  Nadajemy zgromadzonym danym odpowiednią formę.

Po przetworzeniu danych przystępujemy do ich interpretacji w celu:  odpowiedzi na postawione pytania badawcze,  wyciągnięcia wniosków.

Ostatnim etapem procesu badawczego w badaniu w działaniu jest wykorzystanie przeprowadzonych badań i wniosków z badań do poprawy pracy/podnoszenia jakości

Adekwatne bądź nieadekwatne Typologie, uogólnienia Wnioski 1/ zgodność wypowiedzi: Czy odpowiedzi na pytania dotyczące jednej kwestii są ze sobą zgodne? 2/ wiarygodność wypowiedzi: Czy informator ma wiedzę na dany temat? Czy przedstawiane uzasadnienie i przykłady są wiarygodne?

Jak to wygląda gdzie indziej? Analiza porównawcza, odniesienie do danych z innych klas, z innych lat, z innych szkół (np. odnosząc do badań IBE, analiz danych z ewaluacji zewnętrznej na poziomie ogólnopolskim). Co widać na granicach? Co się kryje na krańcach, co oznaczają minima Co widać w centrum? Jaka jest charakterystyka rozkładu, gdzie jest dominanta, gdzie przypada większość wypowiedzi po przekształceniu częstości Co mówią braki danych? Analiza i interpretacja braków Metoda czterech pytań

częstośćudział udział ważnych zdecydowanie nie 1313,1314,44 raczej nie 2828,2831,11 raczej tak 3131,3134,44 zdecydowanie tak 1818,1820,00 Braki odpowiedzi 98,91 Łącznie 101 Ilu uczniów wypełniło ankietę? Ilu odmówiło odpowiedzi na to pytanie? Jaką odpowiedź badani wybierali najczęściej? Jaka odpowiedź była najrzadsza? Na co wskazują braki danych?

częstośćUdział (%) udział ważnych (%) zdecydowanie nie 1313,1314,44 raczej nie 2828,2831,11 raczej tak 3131,3134,44 zdecydowanie tak 1818,1820,00 Braki odpowiedzi 98,91 =100 Łącznie 101 =100 45,55% 54,45% Przekształcanie rozkładów

Analiza jakościowa

Kody muszą być wyczerpujące Kody nie mogą się pokrywać Kodowanie pytań otwartych

1/losowo przeglądamy materiał (stosując np. technikę doboru systematycznego) 2/notujemy kategorie, nie ignorując żadnych wskazań w materiale 3/odkładamy materiał empiryczny na bok i sprawdzamy czy: -kategorie są zrozumiałe bez odniesienia do materiału -kategorie są rozłączne -kategorie są zgodne z celem naszej analizy 4/sprawdzamy, czy liczba kategorii nie jest zbyt mała ani zbyt duża Tworzenie książki kodowej

profilaktyka współpraca w zespoleprewencjaatmosfera infrastruktu ra Warsztaty dla rodziców i dzieci, spotkania z psychologiem Pracownicy niepedagogiczni i nauczyciele ciągle komunikują się ze sobą, przekazują sobie informacje Ważne jest, żeby w szkole było zaufanie Na zajęcia przychodzą policjanci i strażnicy miejscy, robią pogadanki dal dzieci. Założyliśmy monitoring, przy wejściu do szkoły cały czas dyżuruje ochrona Pytanie badawcze: Jakie metody dotyczące zapewnienia bezpieczeństwa uczniom są stosowane w szkole?

 Przykład typologii: 1. Działania profilaktyczne, spotkania z policją, pedagogiem i psychologiem 2. Współpraca (działanie i komunikacja) w zespole pracowników szkolnych (pedagogicznych i niepedagogicznych) 3. Działania prewencyjne w postaci dyżurów, monitoringu, ograniczania dostępu osób postronnych 4. Atmosfera, dobra atmosfera, klimat, wysoki poziom integracji zbiorowości 5. Dbałość o infrastrukturę szkolną, eliminacja wszelkich potencjalnych zagrożeń

ANALIZA  analizujemy cały materiał  dążymy do uogólnienia, zachowując jakieś ilustracje na potrzeby raportu, jeśli będzie tworzony  Określamy częstości w poszczególnych kolumnach (ile jest wskazań na kolejne kategorie). ◦ Przy jednokrotnym wyborze – możemy procentować ◦ Przy wielokrotnym wyborze - ustalamy hierarchizację  Redukcja kodów (ewentualnie)  Opis ◦ Hierarchia częstości ◦ Porządkowanie logiczne  Obok kategorii podajemy: ◦ Przy N<100 liczbę wystąpień i podstawę wnioskowania (18 z 34 ). Można też posługiwać się językiem ułamków (połowa, jedna czwarta, jedna trzecia) ◦ Przy N≥100 korzystamy z procentów

◦ Należy uwzględnić różnorodne dane (triangulacja źródeł) zebrane za pomocą różnych narzędzi (triangulacja metod) ◦ Pominięcie źródeł należy umieć uzasadnić

Metoda PIP, czyli jak odpowiadać na pytania badawcze Pokazać jakie typy zjawisk lub postaw pojawiły się w odpowiedziach, struktury i zależności w szkole, procesy i zmianę, Informować o częstotliwości występowania jakiegoś zjawiska, o wielkości zjawiska (czyli natężenia, intensywności czy zakresu), Przedstawiać przyczyny zjawisk (korzystając z opinii badanych), konsekwencje (ponieważ to nie miejsce na głębokie interpretacje danych, podobnie jak w przypadku przyczyn, odwołujemy się do źródła danej opinii). Wykorzystać dane z różnych źródeł Każdy argument musi być uzasadniony przez dane. Konieczne jest posługiwanie się dowodami – konkretnymi wynikami, wypowiedziami.