Ewaluacja wewnętrzna – metody narzędzia i ich tworzenie oraz proste metody ewaluacji własnej pracy.

Ewaluacja zewnętrzna Przeprowadzana cyklicznie Przeprowadzana przez zespół zewnętrznych ewaluatorów Przeprowadzana w odniesieniu do wymagań - całościowa lub problemowa Prowadzona z wykorzystaniem wystandaryzowanych narzędzi Ewaluacja wewnętrzna Jest autonomicznym działaniem szkoły Prowadzona w dowolnym momencie Skoncentrowana na bieżących potrzebach placówki Przeprowadzana w odniesieniu do wybranych wymagań, określonych w rozporządzeniu lub do innych zagadnień, uznanych w szkole lub placówce za istotne Jest brana pod uwagę podczas ewaluacji zewnętrznej

Ewaluacja wewnętrzna w szkole Ja nauczyciel My, zespół zadaniowy My, pracownicy szkoły

Dyrektor wraz z radą pedagogiczną ustala zagadnienia ewaluacji wewnętrznej na dany rok szkolny a zakres ten umieszcza w planie nadzoru pedagogicznego.

Zagadnienia zapisane w planie nadzoru pedagogicznego mogą być sumą badań ewaluacyjnych poszczególnych nauczycieli, bądź wynikać z potrzeb całej społeczności.

Jakie mogą być źródła określania obszarów i celów ewaluacji wewnętrznej? Na jakiej podstawie możemy wyznaczać w szkole cele, zagadnienia ewaluacji? ???

Ja nauczyciel Mój system oceniania.Moje metody pracy. Frekwencja na moich lekcjach. Motywacja uczniów do nauki na moich lekcjach. Potrzeby nauczycieli -szkoły

My zespół Praca biblioteki szkolnej.Organizacja wycieczek.Działalność świetlicy.

Badanie (w działaniu) = (mój/ nasz) problem do rozwiązania + proces zdobywania informacji + wyjaśnienia, które pozwolą (mnie/nam) lepiej zrozumieć naturę problemu + działanie, które doprowadzi (mnie/nas) do zmiany na lepsze + refleksja (ewaluacja)

Badanie w działaniu Identyfikacja problemu: Uczniowie nie odrabiają prac domowych Zbieranie informacji: pytam uczniów, analizuję treść prac domowych itp Analiza Typologizuję odpowiedzi uczniów, szukam związków miedzy tym, co mówią uczniowe, a treścią zadań i wynikami. Odkrywam, że prace domowe są trudniejsze od tego co roblliśmy na lekcji. Decyzje: postanawiam zadawać prace domowe o podobnym poziomie trudności, co zadania robione na lekcji Działanie/ zmiana: zadaję do domu zadania o poodobnym poziomie trudności, co zadania realizowane na lekcji Ewaluacja: sprawdzam, jakie jest poziom odrabiania prac przez uczniów i na tej podstawie kontynuuję moje działania lub je modyfikuje

Elementy składowe projektu ewaluacji /skrót/ 1. Przedmiot i cele ewaluacji – czego i po co chcemy się dowiedzieć ? 4. Metody, techniki i narzędzia badawcze. Jakich metod badawczych i narzędzi użyjemy ? 6. Harmonogram badań ewaluacyjnych. Jakie są zadania i terminy? 2. Pytania kluczowe Na jakie pytanie chcielibyśmy uzyskać odpowiedź? 3. Kryteria ewaluacji Które dane pozyskane w ewaluacji będą z punktu widzenia szkoły użyteczne 5. Próba badawcza, dobór populacji Od kogo zasięgniemy opinii ?

Planowanie ewaluacji Zdefiniowanie celów ewaluacji i sposobu wykorzystania wyników ewaluacji Po co będziemy przeprowadzać ewaluację w szkole/placówce? Jak wyniki ewaluacji mogą być wykorzystane? Identyfikacja odbiorców ewaluacjiDla kogo będziemy prowadzić ewaluację? Kto będzie głównym odbiorcą ewaluacji? Kto jeszcze może być zainteresowany wynikami? Identyfikacja zasobów (czasowych, ludzkich) Ile możemy przeznaczyć na ewaluację czasu? Jak go wykorzystać efektywnie? Jak podzielić się pracą w zespole prowadzącym ewaluację? Jakie informacje mogę pozyskać przed „wyjściem w teren”?

Projektowanie ewaluacji (1) Określenie przedmiotu ewaluacjiJak sformułowaliśmy temat badania ewaluacyjnego? Jakie obszary w ramach przedmiotu ewaluacji można/trzeba wyróżnić w prowadzonym badaniu ewaluacyjnym? Sformułowanie pytań kluczowych (badawczych) Czego chcemy się dowiedzieć? Na jakie pytania ma odpowiedzieć ewaluacja? Określenie kryteriów ewaluacjiCo jest „wartością” w badanym przedmiocie ewaluacji? Jakimi kryteriami będę się posługiwać ewaluatorzy w formułowaniu wniosków ewaluacyjnych?

Projektowanie ewaluacji (2) Dobór metod badawczychJakie metody badawcze powinniśmy zastosować, aby zebrać możliwie pełne informacje? Od kogo będziemy pozyskiwać informacje? W jaki sposób będą dobierani respondenci? Określenie ram czasowych ewaluacji (harmonogramu) Kiedy będzie realizowane badanie? Ile czasu jest na realizację badań terenowych, na analizę danych, pisanie raportu ? Określenie formatu raportu i sposobu upowszechniania wyników Jaką formę będzie miał raport ewaluacyjny? Jaka będzie struktura raportu? Komu i przy jakiej okazji raport zostanie przedstawiony?

Przedmiot i cele ewaluacji: Czego i po co chcemy się dowiedzieć? Ważne jest dokładne określenie tego, co badamy. Wybieramy kwestie priorytetowe – co jest dla nas w tym momencie najważniejsze? Co nas najbardziej interesuje? Możemy uwzględnić wymagania dla szkół, szczególnie zapisy dotyczące charakterystyk Pamiętajmy o naszych ograniczeniach i realnych możliwościach: czasowych, finansowych, organizacyjnych, ludzkich.

16

Pomocnicza rola wskaźników Żeby stwierdzić zaistnienie jakiegoś faktu należy potwierdzić, że „coś” miało miejsce. Rzeczywistość szkolna jest na tyle złożona - w celu jej uporządkowania i zrozumienia musimy posłużyć się pewnymi jej uproszczeniami, taką właśnie - „upraszczającą” rzeczywistość - rolę spełniają wskaźniki. Wskaźniki opisują w postaci obserwowalnej i mierzalnej cechy wystąpienia faktu.

Pytania kluczowe: na jakie pytania chcielibyśmy uzyskać odpowiedź? Są to pytania, na które szukamy odpowiedzi podczas prowadzonej ewaluacji. Wynikają bezpośrednio z wybranego obiektu ewaluacji, ew. jego obszarów. Powinny odnosić się do każdego obszaru. Konkretyzują przedmiot ewaluacji.

Kryteria ewaluacji: po czym można poznać jakość? Jakie wartości są/będą dla nas ważne w działaniach, które badamy? Wartości te powinny zostać odzwierciedlone w ewaluacji w postaci kryteriów ewaluacyjnych. (np. partnerstwo, zespołowość, adekwatność działań do potrzeb, skuteczność, refleksyjność, spójność działań)?

Określenie respondentów, metody, techniki, narzędzia badawcze: jakich metod badawczych użyjemy? Kto udzieli nam informacji? Dobierając metody mamy na uwadze przedmiot ewaluacji i pytania kluczowe, które określają czego dokładnie chcemy się dowiedzieć. Zalecana – elastyczność w doborze metod. Zalecane – proste, przyjazne dla respondentów narzędzia nie wymagające pracochłonnych analiz. Należy pamiętać o triangulacji, czyli różnorodności metod badawczych.

Metody ilościoweMetody jakościowe  Pozwalają na sformułowanie odpowiedzi na pytania: „Ile?”, „Jak często?”  Obejmują gromadzenie i analizę informacji liczbowych, tzw. twarde dane.  Wykorzystywane są do poznania częstości występowania badanego zjawiska/opinii dotyczących badanych kwestii.  Umożliwiają wnioskowanie na temat całej populacji w oparciu o badania przeprowadzone na próbie tej populacji.  Praktyczne w badaniu na większą skalę - dużych grup respondentów.  Reprezentatywna próba daje możliwość szerokich uogólnień.  Pozwalają na sformułowanie odpowiedzi na pytania: „Jak?”, „Dlaczego?”  Umożliwiają zrozumienie kontekstu, w jakim funkcjonują osoby badane, dotarcie do rzeczywistych motywów ich działań, tzw. miękkie dane.  Praktyczne w przypadku badania małych prób.  Rezygnuje się z postulatu reprezentatywności.  Nie ma znaczenia liczba przebadanych osób.  Są niezbędne do właściwej interpretacji danych ilościowych. Metody badawcze:

BADANIE ANKIETOWEWYWIAD OBSERWACJAANALIZA DANYCH ZASTANYCH Metody badawcze

Badanie ankietowe:  Celem pytań zadawanych w ankietach jest uzyskanie wiedzy, na ile powszechne są opinie na temat badanych kwestii.  To najlepsza metoda zbierania danych dla populacji zbyt dużej by obserwować ją bezpośrednio.  Narzędziem jest kwestionariusz/ankieta.  Ankieta zawiera konkretny zestaw pytań/stwierdzeń.

ZaletyWady badaniem można objąć dużą grupę osób, anonimowość, swoboda wypowiedzi, brak sugestii ze strony innych, niskie koszty realizacji, dotarcie w krótkim czasie do dużej liczby osób, łatwość realizacji i analizy danych. nadużywanie tego narzędzia powoduje znudzenie respondentów, niechęć do wypełniania kolejnych ankiet, brak możliwości pogłębienia i doprecyzowania odpowiedzi respondentów, brak osobistego kontaktu z badanym uniemożliwia uzyskanie dodatkowych danych. Badanie ankietowe

Rodzaje pytań jednokrotny wybór wielokrotny wybór hierarchizacja otwarte

Indywidualny wywiad pogłębiony Jest interakcją między prowadzącym wywiad a respondentem. Narzędziem są dyspozycje do wywiadu (scenariusz). Scenariusz zawiera listę celów wywiadu, pytania badawcze, szczegółowy plan wywiadu z porządkiem tematycznym, z określonymi przedziałami czasu na poszczególne kwestie poruszane podczas wywiadu. Badacz często posiłkuje się także pytaniami pomocniczymi, naprowadzającymi lub rozszerzającymi omawiane kwestie, aby uzyskać jak najbardziej wyczerpujące, precyzyjne i prawdziwe informacje. Jego podstawową cechą jest elastyczność - możliwość wprowadzania zmian w trakcie realizacji wywiadu.

Zogniskowany wywiad grupowy (fokus ) Sformalizowana dyskusja w grupie odpowiednio dobranych osób w celu spontanicznej, interaktywnej wymiany poglądów na zadany temat.  Moderator dąży do szczegółowego poznania doświadczeń, odczuć, opinii, doświadczeń, sposobu rozumowania, języka respondentów, w związku z omawianym zagadnieniem

Obserwacja: Istnieje wiele metod obserwacyjnych różniących się przede wszystkim stopniem ingerencji obserwatora w obserwowane sytuacje, sposobami rejestracji i analizy oraz czasem trwania (obserwacja jawna/niejawna; uczestnicząca/nieuczestnicząca). Metoda przede wszystkim jakościowa, ale można też zbierać informacje ilościowe. Często stosowana jako uzupełnienie innych metod:

To, co mówią ludzie ułatwia wyjaśnienie zachodzących wydarzeń a to co obserwujemy ułatwia wyjaśnienie tego, co mówią ludzie.

Obserwacja Przygotowanie do przeprowadzenia obserwacji Przemyślenie sposobu zachowania się obserwatorów w danej sytuacji – zachowania zależą od tego, czy obserwacja jest jawna, czy ukryta. Przemyślenia wymaga sytuacja wyjścia, zakończenia obserwacji, a także momentu odkrycia przez badanych faktu bycia obserwowanym. Trzeba się zastanowić nad sposobem i miejscem robienia notatek. Przygotowania techniczne, problem działania w terenie – przygotowanie sobie sprzętu, np. magnetofonu, przemyślenie sposobu dokonywania opisu, robienia notatek. Wypełnienie arkusza obserwacji Opis zaobserwowanych wydarzeń. Najczęściej jest to opis chronologiczny lub opis według dyspozycji; ocena merytoryczna: czy udało się nam osiągnąć cel obserwacji, czy uzyskaliśmy dostateczną ilość informacji na badane problemy; musimy ocenić, czy z jakichś powodów wystąpiły braki informacyjne. ocena metodologiczna: czy dyspozycje były dobrym narzędziem do prowadzenia obserwacji, czyli czy obserwator nie miał wątpliwości co badać; czy dobrze wybrano sytuacje do obserwacji; czy zaplanowany sposób zachowania obserwatora okazał się skuteczny; opinia, ocena obserwatora na temat tego w jakim stopniu opis jest adekwatny do rzeczywistości; wnioski i sugestie co do dalszych obserwacji podobnego typu.

Analiza danych zastanych To dane, które mają charakter wtórny – nie zostały stworzone na potrzeby danego badania. Typy danych: dane statystyczne, wyniki egzaminów, listy obecności, statut szkoły, foldery promocyjne, dokumenty projektowe, raporty z przeprowadzonych analiz i ewaluacji, kronika klasy lub szkoły, różnego rodzaju zapisy w dziennikach klasowych, sprawozdania dotyczące różnych spraw z życia szkolnego, strona internetowa szkoły itp. Mogą dostarczyć kontekstu, uzupełnić dane zebrane innymi metodami; ale mogą być też zasadniczym źródłem danych.

Wybór metod dostępny w pliku Worda /ewaluacja inne metody/ Alternatywne metody ewaluacji IDENTYFIKACJA PRZESZKÓD FOTOOCENA FOKUS KSIĄŻKA RAPORTOWA TROP W TROP HOSPITACJA KOLEŻEŃSKA

Dobór metod Kogo pytamy i jak Co obserwujemy Co analizujemy Pytanie kluczowe

Analiza danych w ewaluacji

Raport jako zaproszenie do dyskusji InformacjaRefleksjaDecyzje

RAPORT EWALUACJI Raport: To dopowiedzi ma pytanie kluczowe + wnioski które nasuwają się po analizie kryterium Forma Raportu RAPORT PISEMNY, SESJA PLAKATOWA, PREZENTACJA MULTIMEDIALNA itp., -zawsze dostosowany do odbiorców, -jasny, czytelny, przejrzysty, atrakcyjny graficznie, -UPOWSZECHNIENIE wyników ewaluacji (np. na posiedzeniu rady pedagogicznej, zebraniu z rodzicami, przez umieszczenie na stronie internetowej lub organu prowadzącego itp. Raport jako zaproszenie do dyskusji. Raport rzetelny, obiektywny, nie pomijający kwestii drażliwych, kontrowersyjnych, opinii mniejszościowych. - Wnioski i rekomendacje nie powinny być ogólnymi tezami, lecz odnosić się do konkretnej rzeczywistości. - Niezbędne cechy wniosków i rekomendacji są: wnikliwość, szczegółowość, jasne i precyzyjne sformułowanie.