Ocena stopnia osiągnięcia efektów kształcenia Bogumiła Hnatkowska, Anna Zabłocka-Kluczka, Wiesław Dobrowolski

Podstawa prawna 1. Ustawa Prawo o szkolnictwie wyższym Zgodnie z art. 11 ustawy Prawo o szkolnictwie wyższym, wdrożenie Krajowych Ram Kwalifikacji w szkolnictwie wyższym wymaga od uczelni opracowania dla każdego kierunku i poziomu studiów opisu jego efektów kształcenia i przyjęcia go przez senat uczelni. 2. Rozporządzenie z dn r. w sprawie warunków prowadzenia studiów na określonym kierunku i poziomie kształcenia (Dz. U. poz. 1370) nakłada na uczelnie dodatkowy obowiązek określenia:  modułów zajęć wraz z przypisaniem do każdego modułu efektów kształcenia oraz liczby punktów ECTS (w par. 4 ust. 1 pkt 3);  sposobu weryfikacji zakładanych efektów kształcenia osiąganych przez studenta (par. 4 ust. 1 pkt 4).

Podstawa prawna, c.d. 3.Politechnika Wrocławska: Wydziałowe zasady oceniania stopnia osiągnięcia założonych kierunkowych efektów kształcenia (KEK) Opisują: –zasady oceniania stopnia osiągnięcia założonych KEK –zasady inicjowania działań doskonalących w zakresie procesu kształcenia Określają, że: –ocena stopnia osiągniecia KEK jest pośrednia przez pomiar stopnia osiągnięcia przedmiotowych efektów kształcenia (PEK) –ocena pozytywna z przedmiotu/kursu = osiągnięcie wszystkich przypisanych do przedmiotu/kursu KEK –ocena negatywna = student nie zaliczył przynajmniej jednego KEK

Podstawa prawna, c.d. „Wydziałowe Zasady” na autora przedmiotu i na prowadzących kursy (formy zajęć) nakładają obowiązki: –realizacja zajęć w sposób umożliwiający osiągnięcie przez studenta zakładanych w ramach danego przedmiotu PEK i KEK –takie przeprowadzenie zaliczania kursu lub egzaminu, aby prowadzący był w stanie sprawdzić, czy założone przedmiotowe efekty kształcenia zostały przez studenta osiągnięte/nieosiągnięte –sporządzanie zapisów dokumentujących ocenianie stopnia osiągnięcia założonych efektów kształcenia –sporządzanie analiz w tym względzie –przedstawianie ich Komisji Programowej w czasie pierwszych 4 tygodni semestru letniego, jeśli przedmiot był realizowany w semestrze zimowym, do końca września, jeśli przedmiot był realizowany w semestrze letnim

Podstawa prawna, c.d. –W szczególności, w semestrze letnim 2014/2015 (do końca września): –Każda osoba, prowadząca zajęcia, ma obowiązek dokonania oceny założonych w karcie przedmiotu efektów kształcenia, zgodnie z przygotowanym formularzem: Raportu przedmiotowego kończącego się egzaminem Raportu przedmiotowego nie kończącego się egzaminem –Każdy opiekun przedmiotu ma obowiązek przygotowania raportu zbiorczego dla przedmiotu (na podstawie raportów prowadzących), zgodnie z przygotowanym formularzem: Syntetycznego raportu oceny PEK dla danego przedmiotu

Formularz raportu przedmiotowego kończącego się egzaminem

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Tabela 1 jest wypełniana dla wszystkich prowadzonych grup

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Wymaga przydziału pytań egzaminacyjnych do PEK typu wiedza i oceny każdego PEK osobno W celu analizy wyników warto obliczyć ile procent osób zaliczyło poszczególne PEKi

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Do obliczenia statystyk można użyć przesłanego arkusza kalkulacyjnego

Formularz raportu przedmiotowego kończącego się egzaminem, c.d.

Przykład opisu wyników i procedury egzaminowania: Do 1. terminu egzaminu przystąpiło 137 osób, z których ocenę pozytywną otrzymało 55. Oznacza to, że zdało 40,1% całkowitej liczby uczestników egzaminu oraz 28,6% liczby 192 zapisanych na kurs. Do egzaminu winno przystąpić 190 osób, ponieważ dwie osoby miały zagwarantowane przepisanie oceny. Zatem 53 osoby nie były obecne na egzaminie, a frekwencja wyniosła nieco ponad 72%, co oznacza, że co czwarty zapisany na kurs nie zjawił się na egzaminie. Nie są znane powody tak niskiej frekwencji, pomimo, że egzaminy są obowiązkowe. Na pierwszym terminie egzaminu studenci mieli na miesiąc przed terminem egzaminów dostęp do listy 10 problemów egzaminacyjnych (w załączeniu), z których 3 – zmodyfikowane w bardzo nieznacznym stopniu – weszły do zagadnień egzaminacyjnych (karta egzaminu w załączeniu). Studenci byli o tym poinformowani na wykładach. Egzamin składał się z 5 zagadnień (karta egzaminu w załączeniu), można było zdobyć maksymalnie 100 pkt. Każde zagadnienie weryfikował jeden i ten sam nauczyciel akademicki, według opracowanego schematu/wzoru oceniania, przypisując zagadnieniu z pracy egzaminacyjnej studenta określoną liczbę punktów. Punkty te były następnie przeliczane na oceny. Studenci na obu terminach egzaminu mogli posługiwać się prostymi kalkulatorami oraz tablicami wzorów fizycznych (tabele w załączeniu). Najlepsza praca otrzymała 59 pkt. i ona była brana pod uwagę przy przeliczaniu punktów na oceny. Oceny pozytywne z egzaminu przyznano osobom, które uzyskały co najmniej 25 pkt., przy czym osobom, które zdobyły liczbę punktów z przedziału 25-30, wpisano ocenę dst. o ile nie były na wykładach w sposób nieusprawiedliwiony więcej niż dwa razy. Końcowa ocena zawierała bonus w postaci podwyższonej o ½ oceny przyznawany osobie, która nie przekroczyła dopuszczalnego limitu dwóch nieusprawiedliwionych nieobecności na wykładach. Miało to na celu zwiększenie frekwencji na wykładach, która kształtował się na poziomie ponad 95%. Oceny egzaminacyjne można określać a priori lub a posteriori. Tutaj zastosowano drugi wariant, co zgadza się z hasłem Równaj do najlepszych.

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Przykład szczegółowej analizy odpowiedzi na pytania oraz wniosków: Poniżej próba kwantyfikacji, tj. ilościowej i jakościowej charakterystyki i analizy poszczególnych zagadnień egzaminacyjnych. Jako miarę współczynnika zdawalności danego tematu egzaminacyjnego przyjęty został iloraz Studenci w najwyższym stopniu, spośród pozostałych, osiągnęli przedmiotowy efekt kształcenia (wiedza+umiejętności) dotyczący prawa Gaussa dla pola elektrostatycznego i magnetostatycznego; zdawalność na egzaminie zagadnienia 1. była najwyższa, ponieważ na 134 prac, ocenę pozytywną otrzymało 89 osób, co stanowi ponad 66% wszystkich studentów odpowiadających na to zagadnienie. Zauważmy, że w tej grupie były 2 oceny celujące. Tak rozumiana zdawalność dla poszczególnych problemów egzaminacyjnych kształtowała się dla pozostałych zagadnień egzaminacyjnych w następujący sposób: 26% dla zag. 2., 16% dla zag. 3., 23% dla zag. 4., 51% dla zag. 5.

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Przykład szczegółowej analizy odpowiedzi na pytania oraz wniosków, c.d.: Bardziej miarodajnym miernikiem zdawalności jest iloraz Ten wskaźnik w rozbiciu na poszczególne problemy egzaminacyjne wyniósł: 65% dla zag. 1., 19% dla zag. 2., 9% dla zag. 3., 16% dla zag. 4., 15% dla zag. 5. Najsłabsze wyniki są związane z zagadnieniami 3. (prawo indukcji elektromagnetycznej), 4. (elementy fizyki współczesnej) oraz 5. (elementy fizyki jądra atomowego oraz standardowego modelu cząsteczek elementarnych). Wniosek: Oznacza to konieczność, w następnej realizacji kursu, dłuższego i bardziej szczegółowego omawiania tych zagadnień.

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Przykład szczegółowej analizy odpowiedzi na pytania oraz wniosków, c.d.: Inne wskaźniki, które mogą pomóc w analizie wyników: Współczynnik łatwości zadania = L1/L2, gdzie: L1 – sumaryczna liczba punktów zdobytych przez wszystkie osoby za zadanie L2 – maksymalna liczba punktów do zdobycia przez wszystkie osoby za zadanie –Wartości współczynnika łatwości dla poszczególnych zagadnień egzaminacyjnych wyniosły: zag. 1.– 0,53, zag. 2., 4. i 5. ­ 0,25, zag. 3. – 0,22. –Wyznaczone wartości jednoznacznie wskazują, że zagadnienie 1. może być potraktowane jako względnie/dostatecznie łatwe. Natomiast pozostałe były zadaniami trudnymi dla uczestników kursu.

Formularz raportu przedmiotowego kończącego się egzaminem, c.d. Przykład szczegółowej analizy odpowiedzi na pytania oraz wniosków, c.d.: Należy zmniejszyć lub zmodyfikować zakres tematyczny wykładów i nadać im w większym niż dotychczas zakresie charakter aplikacyjny zwracając uwagę na fizyczne zasady działania wybranych urządzeń lub praktycznych zastosowań praw i zasad fizyki. Wymaga to wspólnych działań z komisją programową kierunku. Należy znaleźć metody i podjąć działania mające na celu zwiększenie atrakcyjności wykładów, co podniesie stopień aktywności słuchaczy na wykładach. Może to polegać m.in. na zleceniu studentowi/studentom wykonania w semestrze indywidualnych lub grupowych pisemnych opracowań na zadany temat/tematy, które byłyby gromadzone w portfolio (patrz niżej).

Formularz raportu przedmiotowego nie kończącego się egzaminem

Formularz raportu przedmiotowego nie kończącego się egzaminem, c.d. Obliczenia dla zaliczeń końcowych z podziałem na grupy zajęciowe

Formularz raportu przedmiotowego nie kończącego się egzaminem, c.d. Analogicznie do poprzedniego raportu; zwykle będziemy się odnosić do efektów typu umiejętności oraz kompetencje

Formularz raportu przedmiotowego nie kończącego się egzaminem, c.d. Do obliczenia statystyk można użyć przesłanego arkusza kalkulacyjnego

Formularz raportu przedmiotowego nie kończącego się egzaminem, c.d.

W przypadku prowadzenia zajęć w ramach grupy kursów, za które nie wystawia się oceny, zaleca się wypełnienie tabeli 2 (chyba, że w ramach zajęć wystawiano oceny cząstkowe): oraz wypełnienie części opisowej: III. DOKUMENTY DODATKOWE (warunki zaliczenia, zasady oceniania) IV. PODSUMOWANIE I KONKLUZJE (istotne uwagi dotyczące wyników zaliczenia i sposobu oceniania

Formularz syntetycznego raportu oceny PEK dla danego przedmiotu Wypełnia „autor przedmiotu”, na podstawie raportów kursów

Formularz syntetycznego raportu oceny PEK dla danego przedmiotu, c.d.

Odpowiedzi na najczęściej zadawane pytania Czy istnieją zarządzenia dotyczące czasu przechowywania przez prowadzących prac studentów? –Zgodnie z wytycznymi Działu Nauczania PWr prace powinny być przechowywane przez okres 3 lat. Czy student może odmówić oddania pracy z uwagi na naruszenie praw autorskich? –Jeśli warunkiem zaliczenia przedmiotu jest oddanie udokumentowanej pracy zgodnie z wymaganiami określonymi w Karcie Przedmiotu student nie może odmówić oddania wymaganej Kartą Przedmiotu pracy

Odpowiedzi na najczęściej zadawane pytania, c.d. Jakie dokumenty należy przygotować dla grupy kursów? Czy również dla form towarzyszących kursowi wiodącemu? Czy tylko dla formy wiodącej? –Opiekun kursu ma zdecydować czy dokumenty pośrednie dla form towarzyszących będą potrzebne do opracowania syntetycznego raportu oceny PEK dla danego przedmiotu.

Odpowiedzi na najczęściej zadawane pytania, c.d. W przypadku, gdy w grupie zajęciowej są studenci innego wydziału czy należy uwzględnić ich w raporcie? –Oceniamy wszystkich studentów w danej grupie zajęciowej bez względu na to, z jakiego są wydziału. Co się stanie jeżeli pracownik nie złoży raportu? –Złożenie raportu należy rozumieć jako obowiązek organizacyjny pracownika, którego wykonanie jest elementem oceny pracownika.

Odpowiedzi na najczęściej zadawane pytania, c.d. W jakim języku (polski, angielski) należy wypełnić raport dla kursów anglojęzycznych? –Raporty dla kursów anglojęzycznych należy wypełnić w języku polskim. Do kogo i do kiedy należy oddać raporty? –Prowadzący kurs składa raport przedmiotowy do opiekuna przedmiotu wyszczególnionego w Karcie Przedmiotu. –Opiekun przedmiotu składa syntetyczny raport w Sekretariacie katedr celem przekazania raportów do Komisji Programowych.