Zajęcia prowadzi: Maria Ferenc, konsultant ds. ewaluacji i oceniania Ewaluacja wewnętrzna _ przedmiot badania „Procesy wspomagania rozwoju i edukacji dzieci są zorganizowane w sposób sprzyjający uczeniu się” KD-6/2016 dzień drugi 3 listopada 2016 r. Zajęcia prowadzi: Maria Ferenc, konsultant ds. ewaluacji i oceniania

Warto pamiętać, że … Prowadzenie ewaluacji wewnętrznej wymaga doskonalenia przez nauczycieli i dyrektorów szkół umiejętności samodzielnego budowania narzędzi badawczych służących do poznawania tych problemów, które dla danej szkoły są istotne. Ewaluatorów, podobnie jak wszystkich badaczy społecznych, obowiązują rygory metodologiczne dotyczące trafności i rzetelności stosowanych metod i narzędzi badawczych.

W badaniach społecznych nie można opierać poznania na jednej technice badań, dlatego przy konstruowaniu narzędzia należy pamiętać, że powinno ono uzupełniać i weryfikować wiedzę uzyskaną z innych źródeł. 2. Do każdego badania trzeba konstruować odrębne narzędzia badawcze. 3. Budowę i treść narzędzia należy podporządkować celom ogólnym badań, zawartym w problemach badawczych.

4. Najpierw należy uświadomić sobie cel badań, określić źródła informacji, wybrać miejsce badań i określić próbę badawczą – dopiero wówczas konstruować narzędzia. 5. Treść pytań powinna odróżniać opisywanie od opiniowania. 6. Konieczna jest dyscyplina w zakresie ścisłości i jednoznaczności używanych pojęć i zdań. Używane określenia i zdania winny być jednakowo rozumiane przez dziecko, nauczyciela, rodzica (robotnika i inteligenta).

7. Wewnętrzna struktura narzędzi badań, stopień ich standaryzacji, obszerność, a nawet okoliczności wypełniania, mają istotny wpływ na wiarygodność uzyskiwanych informacji. 8. Każde narzędzie musi spełniać przynajmniej dwa podstawowe warunki. Musi być trafne i rzetelne. Oznacza to, że narzędzie badań powinno badać to, co ma w założeniu badać (trafność) oraz przy kolejnym stosowaniu do takiej samej populacji także w badaniach powtarzalnych będzie badać to samo (rzetelność).

Ankieta – to metoda zbierania danych ilościowych, polegająca na planowym wypytywaniu badanego. Podstawą ankiety jest kwestionariusz, czyli ustalona lista pytań, którym towarzyszy mniej lub bardziej zamknięty zbiór odpowiedzi. ( Krzysztof Konarzewski )

Kwestionariuszem ankiety –nazywamy starannie opracowany zestaw jednoznacznych, precyzyjnych, zrozumiałych dla badanego pytań, które niekiedy są skategoryzowane w celu ułatwienia badanemu swobodnego wypowiadania się. ( T. Pilch)

Warto pamiętać, że … z budową kwestionariusza wiążą pewne problemy. Wpływ na odpowiedzi udzielane przez respondentów może mieć m.in. kolejność zadawania pytań, błędy w ich w konstrukcji lub konstrukcji skal.

Struktura ankiety: Wstęp Zestaw pytań Metryczka

Wstęp: wyjaśnienie celu badania informacje o autorach badania zapewnienie o poufności (anonimowości) badania uzasadnienie wyboru respondentów badania apel o udzielanie szczerych i poważnych wypowiedzi podziękowanie za udział w badaniach

Zasadnicza część kwestionariusza ankiety – zestaw pytań odnoszących się do celów badania. Należy pamiętać, że powodzenie każdego badania zależy w znacznym stopniu od konstrukcji pytań.

Plan ankiety To zestawienie zagadnień badawczych , służy całej ewaluacji (patrz projekt ewaluacyjny). Będzie wykorzystywany w całości lub w części przy projektowaniu także innych, niż ankieta, narzędzi badawczych dla tego samego projektu ewaluacji.

Przypominam, że nasza ankieta ma mieć dwie wersje: dla rodziców i dla nauczycieli (triangulacja źródeł). Ponieważ będą to wersje „lustrzane”, stosujemy jeden plan ankiety dla dwóch ankiet. W ten sposób będziemy mogli wnioskować, zestawiając wyniki poszczególnych zagadnień z jednej i drugiej ankiety.

Pytania dotyczące faktów tworzy się po to, aby uzyskać od respondentów w miarę obiektywne informacje dotyczące ich pochodzenia, środowiska, nawyków, zdarzeń itp. Pytania dotyczące subiektywnych ocen i doświadczeń obejmują wszelkie jednostkowe wierzenia, postawy, uczucia i opinie.

Pytania zamknięte mogą mieć postać jednokrotnego wyboru. Pytania zamknięte mogą mieć postać wielokrotnego wyboru. Respondentowi przedstawia się zbiór odpowiedzi z prośbą o wybór tej z nich, która najlepiej odzwierciedla jego poglądy. Odpowiedzi w takich pytaniach są formułowane przez badacza.

Formułując pytania, należy przede wszystkim posługiwać się takim słownictwem, które nie będzie sprawiać problemów respondentom. Należy unikać słów, które są mało popularne, trudne, wieloznaczne lub które mogą wywołać u badanych negatywne odczucia lub emocje (jako zagrażające, oskarżycielskie, wstydliwe). Pytania, które zadajemy respondentom, powinny być w miarę możliwości krótkie. Tylko wtedy możemy mieć względną pewność, że większość uczestników naszych badań zdoła przyswoić sobie ich treść.

Pytania, zadawane respondentom, nie powinny być za trudne, czyli wymagać od nich przypomnienia sobie czegoś, dokonania obliczeń, syntez i uogólnień. Poważnym błędem, związanym z formułowaniem pytań jest tworzenie tzw. pytań sugerujących - za pomocą treści pytania lub za pomocą konstrukcji skali.

skali Likerta, która jest chyba najczęściej wykorzystywaną skalą. W kwestionariuszowych badaniach społecznych funkcjonuje kilka skal. Ograniczony czas naszych zajęć nie pozwala na szczegółową analizę całego ich spektrum. Przyjrzyjmy się jednej z nich: skali Likerta, która jest chyba najczęściej wykorzystywaną skalą.

Jest to skala pięciostopniowa, symetryczna, mierząca stopień oceny lub aprobaty, dezaprobaty dla jakiejś opinii, zachowania itp. Najczęściej przybiera ona następującą postać: zdecydowanie się zgadzam raczej się zgadzam ani się zgadzam, ani się nie zgadzam raczej się nie zgadzam zdecydowanie się nie zgadzam

Czasami celowo wyłącza się ze skali kategorię środkową (ani się zgadzam ani się nie zgadzam), co ogranicza badanym możliwość wyboru odpowiedzi ucieczkowej. W takim przypadku przeważnie pozostawia się im możliwość wskazania odpowiedzi: nie mam zdania albo trudno powiedzieć.

Stwierdzenia zgadzam się/nie zgadzam się, w zależności od potrzeb badacza możemy zastąpić innymi stwierdzeniami, np. Jak często ….? (bardzo często, raczej często, raczej rzadko, bardzo rzadko), Jak dużo …? (bardzo dużo, raczej dużo, raczej mało, bardzo mało), Czy ….? (zdecydowanie tak, raczej tak, raczej nie, zdecydowanie nie)

Po zliczeniu wyników danego stwierdzenia w wypadku ogólnej negacji otrzymujemy wynik ujemny, w wypadku akceptacji – dodatni. Wynik ten uwzględnia siłę przekonań respondentów.

Dla uzyskania większej pewności można zastosować po dwa lub więcej pytań dla każdego zagadnienia. Wtedy porównanie odpowiedzi na te pytania pozwoli nam sprawdzić, czy odpowiadający jest pewny swojej opinii, czy jest konsekwentny.

Możemy zbudować dwa pytania do każdego zagadnienia – jedno pozytywne (p), drugie negatywne (n), aby sprawdzić konsekwentność odpowiedzi. Jest to swojego rodzaju mechanizm weryfikujący odpowiedzi. Odpowiedzi niekonsekwentne w trakcie zliczania danych są eliminowane i nie wpływają na wynik ogólny.

Dane „metryczkowe” odgrywają w analizach rolę zmiennych, z którymi korelujemy zmienne zależne, poszukiwane. Zawartość metryczki określa problematyka i cel badań. Są to pytania o: wykształcenie, wiek, zawód, miejsce zamieszkania, zatrudnienie, cechy rodziny, pochodzenie itp.

Metryczka służy badaczom do wyjaśniania i opisywania uzyskanych wyników, np. że więcej kobiet niż mężczyzn coś preferuje, albo że im wyższe wykształcenie respondenta , tym …. . Należy pamiętać, że zakres pytań metryczki zależy po pierwsze od grupy, którą badamy, po drugie od pytań badawczych, które stawiamy.

Obserwacja jest podstawowym narzędziem diagnozy ucznia/wychowanka dokonywanej przez nauczyciela, a także źródłem informacji o pracy nauczyciela zbieranych podczas obserwacji zajęć prowadzonych przez nauczyciela. Obserwacja jest niezwykle cennym sposobem uzyskiwania takich informacji, których nie da się zebrać innymi metodami, wymaga jednak szczególnej ostrożności, ponieważ wnioski są zawsze zagrożone poważnym błędem.

„Zapomina się o tym, że świat obserwacji bardziej konstruowany jest przez obserwatora, niż odkrywany przez niego. Rzec można zatem, że różni obserwatorzy będą tworzyć różne światy”. „Obserwacja nie jest neutralna wobec teorii, zatem na wnioski nauczyciela obserwującego ucznia będą wpływać zarówno jego poglądy pedagogiczne, jak i przekonania dotyczące danego ucznia. Podobnie wnioski ewaluatora będą zagrożone brakiem obiektywizmu lub przynajmniej brakiem spójności z wnioskami wynikającymi z innych zastosowanych metod, jeżeli nie stworzymy pewnych rygorów dyscyplinujących.” R. Pachociński, Pedagogika porównawcza. Zarys teorii i metodologii badań

Przez analizę dokumentu rozumiemy: Przez pojęcie dokumentu w ujęciu metodologicznym należy rozumieć każdy zapis mogący dostarczyć informacji użytecznych dla badania – zapis, którego miejsce, pochodzenie, rodzaj autora i intencja są możliwe do ustalenia. Przez analizę dokumentu rozumiemy: zaplanowane – czyli nastawione na określony cel, uporządkowane – czyli według wyodrębnionych kryteriów i zasad wnioskowania, analizowanie wybranych tekstów znajdujących się w przedszkolu celem uzyskania informacji o wartości i skutkach opisanych w tekstach działań.

Zapraszam na konsultacje w godzinach pracy. Harmonogram na stronie: www.odnlomza.pl/o-odn/pracownicy/maria-m-ferenc Można przekazywać materiały do zaopiniowania na: ferenc@odnlomza.pl