Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Komitet Ewaluacji Jednostek Naukowych Podsumowanie wyników ewaluacji jednostek naukowych – 2013 Maciej Zabel UKN, Kielce 6. 06. 2014 Podziękowania dla Piotra Brzezińskiego (ICI) za przygotowanie części materiałów

Kto brał udział w ocenie jednostek naukowych KEJN Zespoły Ewaluacji (ZE) OPI Index Copernicus International (ICI) DN - MNiSzW

KEJN – Grupy Wspólnej Oceny Podstawowe Jednostki Organizacyjne Szkół Wyższych Grupa Nauk Rodzaj Jednostki Humanistyczne i Społeczne Ścisłe i Inżynierskie o Życiu o Sztuce i Twórczości Artystycznej 6 8 4 3 Instytuty Polskiej Akademii Nauk 1 Instytuty Badawcze (Inne) 3 (2) 0(1) 5 6 (6) 2 14 października 2013 Kategoryzacja JN 2013

Podkryteria wg grup nauk i rodzaju Jednostek Naukowych Nagrody Konferencje Popularyzacja Specjalne Ekspertyzy Działania artyst. Płace ze źródeł zewnętrznych Nakłady na apa- raturę i oprogr raturę i oprogr. Patenty Uprawnienia Rozwój kadry Funkcje Projekty Środki z projekt. Lab. akredytow. Status PIB Publikacje Monografie Dorobek artyst. Kryterium Grupa Nauk 1. Osiągnięcia naukowe i twórcze 2. Potencjał naukowy 3. Materialne efekty działalności naukowej 4. Pozostałe efekty Humanist. i Społecznych Ścisłych i Inżynierskich o Życiu o Sztuce i Twórczości Artystycznej 14 października 2013 Kategoryzacja JN 2013

Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych Maksymalna punktacja w ostatecznej ocenie (wagi) Kryterium sposób oceny Nauki Hum. + Społ. Ścisłe + Inżyn. JU PAN IB o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy ministerial-nej i ustalone przez KEJN 65 65 65 35 70 75 60 60 Wg ustalonej punktacji 15 10 10 10 5 5 5 20 5 15 15 45 15 10 25 Ankieta i ZE 3. Materialne efekty działalności naukowej 4. Inne efekty 2. Potencjał naukowy 14 października 2013 Kategoryzacja JN 2013

A B C KEJN – kategoryzacja Wynik kategoryzacji 14 października 2013 Kategoryzacja JN 2013

Etapy procesu oceny jednostek naukowych Klasyfikacja przypisanie jednostek do grup wspólnej oceny (GWO) Parametryzacja ocena działalności JN na podstawie opracowanych kryteriów charakteryzujących daną GWO Kategoryzacja ustalenie kategorii jednostek naukowych (kategorie A, B, C oraz A+) Odwołania od przyznanej kategorii analiza uwag ogólnych i poszczególnych zdarzeń, wydanie opini KEJN, decyzja Ministra

Przebieg procesu odwoławczego ICI – przygotowało karty odwołań i uruchomiło system teleinformatyczny KEJN - powołał ZE i przeszkolił ewaluatorów, którzy dokonali oceny, podsumował wyniki odwołań i dokonał korekt DN MNiSzW – opracował odwołania, porównał wersje papierowe i elektroniczne, opracował decyzje co do kategorii i każdego pojedynczego zdarzenia ewaluacyjnego KEJN zakończył pracę 25 lutego 2014 i przekazał wyniki Ministrowi i DN Minister wyda decyzję co do zmiany kategorii – maj 2014

Najważniejsze problemy z jakością danych Brak kompleksowego źródła danych, konieczność zbierania informacji z różnych źródeł (wewnętrznych i zewnętrznych). Duplikaty zgłoszonego dorobku naukowego (np. publikacje, monografie, konferencje, projekty) – brak koordynacji pomiędzy Jednostkami Naukowymi, szczególnie w ramach tej samej uczelni Problemy z wykazaniem zatrudnienia Brak należytej staranności przy wypełnianiu ankiety

Proces ewaluacji w liczbach Liczba wszystkich jednostek - 962 Całkowita liczba N - 82 867,09 Liczba zgłoszonych zdarzeń ewaluacyjnych (dorobek naukowy): 952 768 Liczba zdarzeń ewaluacyjnych spełniających warunki formalne oceny: 807 671 Liczba zdarzeń zakwalifikowanych do kart oceny (po optymalizacji): 424 220 Liczba zdarzeń wytypowanych przez walidatory do sprawdzenia: 116 843 Liczba decyzji podjętych przez poszczególnych członków ZE: 187 685 Liczba wydanych decyzji administracyjnych przyznających kategorię naukową: 962 Liczba złożonych odwołań od przyznanej kategorii naukowej: 280

przed rozpatrzeniem odwołań Porównanie wyników ewaluacji – kategorie naukowe 2010 vs kategorie naukowe 2013 przed rozpatrzeniem odwołań Ewaluacja 2010 Ewaluacja 2013

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. grupy nauk Nauki humanistyczne i społeczne Nauki o życiu Nauki ścisłe i inżynierskie Nauki o sztuce i twórczości artystycznej

Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg Zamiany kategorii naukowych – ewaluacja 2010 vs ewaluacja 2013 wg. typu jednostek Uczelnie Jednostki PAN Instytuty badawcze Inne jednostki

Rozkłady kategorii naukowych w poszczególnych grupach nauk przed rozpatrzeniem odwołań Nauki humanistyczne i społeczne Nauki o życiu Kategoria naukowa: A B C A+ Nauki o sztuce i tw. artystycznej Nauki ścisłe i inżynierskie

przed rozpatrzeniem odwołań Rozkłady kategorii naukowych w poszczególnych rodzajach jednostek naukowych przed rozpatrzeniem odwołań Jednostki uczelniane Jednostki PAN Kategoria naukowa: A B C A+ Instytuty badawcze Inne jednostki

Zakres rozpatrzonych odwołań od zdarzeń ewaluacyjnych   Suma zdarzeń Odwołanie Odwołania faktyczne Inne (np. N i No) odwołania od zdarzeń 952 768 5 981 (0,63%) 3 382 (0,35%) 2 599 uznano odwołań - 2 015 (0,21%) (62,14%)

Odwołania od zdarzeń ewaluacyjnych

Odwołania wg rodzaju

Zdarzenia zmienione

Zdarzenia odrzucone

Zdarzenia nie ocenione

Kryterium I

Zmiana kategorii jednostki naukowej LISTA Ilość wszystkich jednostek naukowych Ilość jednostek naukowych które złożyły odwołania Awans w wyniku rozpatrzonego odwołania Zmiany w ramach kategorii A_PLUS 37 2 - 0% A 307 60 8 3% B 541 185 32 6% C 77 33 10 12% RAZEM 962 280 50 5% Ostateczna Ilość jednostek naukowych 45 (4,6%) 339 (35,2%) 551 (57,2%) 67 (7,0%) 962

Plany KEJN odnośnie OCENY JN w 2017 1. Ogólna zasada przeprowadzenia Oceny JN, w tym dobór kryteriów 2. Wybrane problemy szczegółowe - N i No - GWO i jednostki heterogenne - Jednostki referencyjne i porównanie parami - Monografie - Publikacje w czasopismach Wagi i kryterium IV Pozycja międzynarodowa Dorobek artystyczny Co usunąć i uprościć, a co dołożyć?

Kryterium II

Kryterium III

Kryterium 4