Ocena parametryczna jednostek naukowych

Prezentacja na temat: "Ocena parametryczna jednostek naukowych"— Zapis prezentacji:

1 Ocena parametryczna jednostek naukowych
Informacja dla Rektorów Wyższych Uczelni 23 stycznia 2014 Opracował: A. Olszyna 1 1 1 1

2 Etapy prac nad kategoryzacją
-- JN dostarczały dane -- Kształtowanie GWO – Komisje KEJN -- Praca zespołów ewaluacji (ZE) – VI, do ok. 10 VII -- Odwołania JN od przypisania do GWO i wnioski ZE o zmianę przypisań do GWO -- Ustalenie reguł wyznaczania jednostek referencyjnych (JRef) – KEJN -- lipiec -- Obliczanie wyników „porównań parami” i propozycja przypisania kategorii wg. Rozporzadzenia – KEJN - sierpień -- Wyłonienie kandydatur do A+ -- sierpień/początek września -- Opiniowanie kat. przez ZE i przedłożenie Min. – 18 września -- Odwołania od kategorii na podstawie odwołań od zdarzeń,…

3 Kształtowanie GWO Reguły tworzenia Uprawnienia do hab. i doktoryzowania – wg dyscyplin CK Kadra [posiadane stopnie i tytuły wg dyscyplin] Udział % publikacji z dyscyplin w 3*N najlepszych publikacji Odwołania JN – rozpatrywane wg w/w reguł Także ZE miały prawo [po obejrzeniu dorobku] wnioskowania o zmianę przypisania JN do GWO – KEJN rozpatrywał wg. ww reguł. KEJN docenia rosnącą ważność jednostek interdyscyplinar- nych lata to za mało na zmianę Ustaw

4 Rola i zadania Zespołów Ewaluacji
Składy ZE powołał Przew. KEJN na wniosek Komisji KEJN, wyłonione głównie spośród osób, których JN kat. A wcześniej zgłaszały jako kandydatów do KEJN [łącznie ok 160 osób] ZADANIA 1) Weryfikacja danych dostarczonych przez JN Zasady weryfikacji: – każdą JN „badało” dwóch ekspertów [z innych JN] – w razie niezgodności – rozstrzygał Przew. ZE lub całe ZE – ZE były autonomiczne, Opiekun ZE ze strony KEJN mógł tylko wspomagać w interpretacji przepisów itp.. 2) Przyznanie punktów w kryt. IV 3) Zaopiniowanie wyników kategoryzacji [A+, A, B, C]

5 Zespoły Ewaluacji -- uwagi
Ogólnie – bardzo pozytywnie oceniam pracę ZE - Olbrzymi nakład pracy, rzetelność przy weryfikacji danych - To ważny czynnik ekspercki w kategoryzacji (szczególnie IV kryterium) [środowiska krytykowały poprzednie kategoryzacje za posługiwanie się wyłącznie wskaźnikami liczbowymi] Mimo wagi 10%, Kryt. IV odegrało pewną rolę w kategoryzacji na granicy A/B/C oraz przy A+

6 Kategoryzacja 2013 Kryteria
– K I – publikacje (w SI + patenty) tylko 3*N-2*N0 (odniesienie do N, waga 65%) –K II – „potencjał naukowy“- uprawnienia + lab. Akr.+...(waga 10%) –K III – „efekty materialne“ – granty, zlec. z przemysłu, wdrożenia, etc.(w odniesieniu do N, waga 15%) –K IV – „inne istotne“ osiągnięcia (kryt. eksperckie, waga 10%) Uwaga: ankiety JN z OPI zostały przekazane do Index Copernicus Int. [niezależna firma] i tam prowadzono weryfikację danych, obliczenia wartości K I-K IV oraz „porównania parami” 6 6 6 6

7 Porównanie parami – przykład – widoczna kluczowa rola K I kryterium [publikacje – waga 65%]
Kod K K K K wynik 437 96,23 280 82,01 94 79,93 723 87,63 677 22,30 60 74,94 waga 65% 10% 15%

8 Parametry jednostek wzorcowych (JWZ) WAŻNE – KEJN pracował na zakodowanych nazwach JN
Reguły w Komisji SI [dla GWO z uczelni] Wyznaczenie jednostki wzorcowej [dla każdej GWO osobno w odniesieniu do pozycji międzynarodowej danej dyscypliny naukowej – na podstawie WoS, Scopus,…] Kolejno, dla każdego kryterium: wartości danego kryterium sortowane od największych Obliczenie mediany z 15% JN o najwyższej wartości tego kryterium [ w małych GWO – min. z 3 JN] Jednostka wzorcowa (JWZ) jest „wirtualna” – wartości k1 - k4 pochodzą z różnych jednostek „bardzo dobrych” w poszczególnych kryteriach Wartości JWZ „dyktował” poziom b.d.b jednostek z każdej GWO

9 Parametry jednostek referencyjnych Jref A/B i Jref B/C dla JN z uczelni (nadal na zakodowanych nazwach JN) Jref B/C = 0.35*JWZ – jednakowa formuła dla wszystkich GWO w naukach ścisłych i technicznych Jref A/B = 0.72*JWZ -- w naukach technicznych Jref A/B = 0.66*JWZ -- w naukach ścisłych Niższy mnożnik dla nauk ścisłych = „premia” dla NS za wyższą pozycję międzynarodową niż NT WAŻNE: po wyznaczeniu Jref „wrzucono” je do GWO i ponownie szeregowano przez porównania parami → „wynik końcowy” [interpretowalny w ramach danej GWO, porównania między GWO bez sensu, to jak porównanie wyników drużyn siatkówki i hokeja]

10 Parametry jednostek referencyjnych Jref A/B i Jref B/C dla inst. PAN
KEJN „nie skrzywdził” ani JN uczelni ani inst. PAN Dla JN uczelni – Jref jak wyżej. Trudność z PAN – małe GWO [często 1 inst.] GWO PAN „na chwilę zmieszano” z bliźniaczą GWO uczelni i wyznaczono JWZ i Jref A/B, Jref B/C j.w.. Te Jref stosowano tylko do GWO inst. PAN Jak to zadziałało ? Tam gdzie inst. PAN były „lepsze” od uczelnianych – całe GWO mogło dostać A [np. w informatyce i automatyce] Tam gdzie inst. PAN miały porównywalne parametry z najlepszymi JN uczelni – kilka inst. PAN dostała B [np. w fizyce].

11 Uwagi Co to są „inne jednostki” ?? – głównie sprywatyzowane inst. badawcze z NT, ale kategoryzować się może „prawie każdy” Efekt – większość C w naukach technicznych dostały „inne jednostki” UWAGA: opisane zasady wyznaczania Jref dotyczą Nauk Ścisłych i Inżynieryjnych Ogólne reguły były wspólne w całym KEJN, ale poszczególne Komisje mogły stosować swoje modyfikacje [np. Komisja TA –nauka o sztuce nie stosowała odniesienia do poziomu międzynar.]

12 Proces wyłaniania kandydatur do A+ w komisji SI (Nauk Ścisłych i Inżynieryjnych)
1) Zasada podstawowa: Do A+ mogły kandydować tylko jednostki z kat. A i to tylko te, które zajmowały wysokie miejsce w „rankingu” [górne 25%]. W SI było 85 takich jednostek. 2) Przyjęte kryteria dodatkowe na A+ Cytowania/N P-kty za 25% najwyżej punktowanych publikacji Liczba grantów, prestiżowe nagrody, Członkostwo we władzach zagr. org. naukowych Red. czasopism z tzw. listy filadelfijskiej IV kryterium

13 Wyłanianie kandydatur do A+ w SI c.d. 2
Każdy z 10 członków Komisji dysponował w/w wartościami kryteriów i mógł zgłosić max. 6 jednostek + uzasadnienie na piśmie [za wyjątkiem „swojej”] Zgłaszano wielokrotnie te same jednostki „z czołówki” Efekt – zgłoszono 31 jednostek do I balotażu, Do II balotażu przeszło 21 jednostek + uzasadnienia w syst. ICI Do głosowania finalnego – na Komisji Nauk Ścisłych i Inżynieryjnych -- weszło 17 JN

14 A+ – zbliżamy się do finału
W kolejnym głosowaniu Komisja uznała, że pierwszych 12 jednostek uzyskało 7 lub więcej głosów i te uznano za kandydatów na A+ do przedstawienia Ministerstwu. Pozostałe 3 jednostki miały po 6 głosów i Komisja uznała, że także te jednostki zasługują na A+ [2 z nich faktycznie uzyskały A+] W kolejnym głosowaniu wśród tylko tych trzech jednostek wyłoniono jedną JN PAN = 9 głosów TAK [rekord cytowań]. W rezultacie, powstała lista 13 jednostek przedłożonych Ministerstwu do A+ UWAGA – KEJN wnioskuje, Min. podejmuje decyzje

15 A+ finał Dyskusje – mailem zajęly ok. miesiąc. Dyskusje na Komisji i głosowania ok 5 godzin. Finalne głosowanie nad przedłożeniem Ministerstwu list A+, A, B, C było jednomyślne. 28 IX odbyło się spotkanie Przew. KEJN i Przew. Komisji KEJN z Min. B. Kudrycką, na którym przedstawiono proponowane wyniki kat. Min. w 100% zaakceptowała propozycje kat. A, B, C przedłożone przez KEJN i podziękowała za pracę KEJN i ZE Dalsza dyskusja dotyczyła priorytetu poszczególnych ZASAD wysuwania kandydatur o A+. Przew. KEJN i Przew. Komisji przedstawili zasady, którymi kierowały się Komisje.

16 A+ finał c.d. Dalsza dyskusja – rola wysokiej pozycji JN w kategoryzacji a zgłoszenia do A+. Uzgodniono, że w sytuacjach typu: jeśli Komisja zgłosiła do A+ np. 2-gą JN w rankingu GWO, to Komisja powinna rozważyć wprowadzenie kandydatury do A+ także 1-szej JN z listy. Zgodnie z w/w zasadą, Komisja SI przegłosowała [eletronicznie] wprowadzenie na listę kandydatur do A+ 5 dodatkowych JN zajmujących początkowe miejsca na listach rankingowych GWO i jednocześnie pozostawienie pierwotnie proponowanej listy b.z. W skali KEJN powstała lista przekraczająca 40 kandydatur do A+. Z listy tej 37 JN dostało A+ [redukcja objęła JN zajmujące dalsze miejsca w rankingu]. Podkreślam: KEJN i Min. kierowało się regułami.

17 Wykaz JN kategorii A+ Nauki Ścisłe i Inżynieryjne
Uniwersytet Jagielloński; Wydz. Chemii Uniwersytet Warszawski; Centrum Nowych Technologii UW Uniwersytet Warszawski; Wydz. Chemii Uniwersytet Jagielloński; Wydz. Fizyki i Informatyki Stos. Uniwersytet Warszawski; Wydz. Fizyki Uniwersytet Warszawski; Wydz. Matematyki, Informatyki Politechnika Wrocławska; Wydz. Elektroniki Mikrosystemów i Fotoniki Akademia Górniczo-Hutnicza; Wydz. Fizyki i Informatyki Stos. Politechnika Warszawska; Wydz. Inżynierii Materiałowej Centrum Astronomiczne im. Mikołaja Kopernika PAN Instytut Fizyki Jądrowej im. Henryka Niewodniczańskiego PAN Instytut Niskich Temperatur i Badań Strukturalnych PAN Instytut Podstawowych Problemów Techniki PAN Instytut Matematyczny PAN

18 Porównanie wyników z poprzednią kategoryzacją
Źródło: Index Copernicus Int. Ewaluacja 2013

19 Wyniki wg typów JN 2013 źródło Index Copernicus Int.
A B C A+ 19

20 Odsetek kategorii naukowych w poszczególnych typach jednostek SI (w nawiasach liczba jednostek)
2013 Liczba JN A+ A B C PAN 70 17,1% (12) 60,0% (42) 21,4% (15) 1,4% (1) Uczelnie 756 3,0% (23) 29,8% (225) 59,6% (451) 7,5% (57) Instytuty badawcze 115 1,7% (2) 30,4% (35) 60,9% (70) 7,0% (8) Inne 22 0,0% 27,3% (6) 22,7% (5) 50,0% (11)

21 Porównanie c.d. Wyniki nie w pełni porównywalne [kilkadziesiąt JN „nowych”, kilkadziesiąt „ubyło”] JN uczelni mają bardzo zbliżone %A, B, C jak w 2010 roku Ogólnie: kategoryzacja była „nieco bardziej surowa” w porównaniu do tej w 2010 Jak na 0.77% PKB finansowania badań – stan dużych obszarów polskiej nauki nie jest [moim zdaniem] tak zły jak to napisała pewna gazeta [iż tylko 3% JN jest dobrych]. Wszystkie JN kat A oraz część B zaliczam do dobrych. Uwaga na „magię” % przy porównaniach: 12 inst. PAN w A+ spośród 70 to AŻ 17% TYLKO 3% JN z uczelni w A+ = 23 JN spośród 756

22 Odsetek kategorii naukowych w poszczególnych typach jednostek (w nawiasach liczba jednostek) Obszar SI1 + SI2 2013 Liczba JN A+ A B C PAN 25 20% (5) 56% (14) 24% (6) Wyż. Szkoły Techniczne 155 1,9% (3) 34,2% (53) 56,1% (87) 7,8% (13) Uniwersytety 60 10% (6) 38,4% (23) 46,7% (28) 4,9% (2)

23 GWO Inżynieria materiałowa, inżynieria chemiczna i procesowa, inżynieria środowiska
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 24 1 7 14 2 Liczba JN A+ A B C 19 1 5 12

24 GWO Mechanika, budowa i eksploatacja maszyn, inżynieria produkcji
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 30 1 9 20 - Liczba JN A+ A B C 25 - 8 17

25 GWO Budownictwo i architektura
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 28 - 10 18 Liczba JN A+ A B C 24 - 8 16

26 GWO Elektrotechnika, automatyka, elektronika oraz technologia informacyjne
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 39 1 18 2 Liczba JN A+ A B C 32 1 14 15 2

27 GWO Górnictwo, geologia techniczna, geodezja, energetyka i transport
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 21 - 7 13 1 Liczba JN A+ A B C 19 - 5 13 1

28 GWO Matematyka i podstawy informatyki
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 14 2 9 1 Liczba JN A+ A B C 2 -

29 GWO Fizyka i astronomia
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 31 5 15 10 1 Liczba JN A+ A B C 8 1 2 4

30 GWO Chemia i technologia chemiczna
Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JN A+ A B C 20 2 15 3 - Liczba JN A+ A B C 5 -

31 Odwołać się można było „od wszystkiego”
Odwołania Odwołać się można było „od wszystkiego” [od braku A+ też] - dopiero po otrzymaniu decyzji. Był system komputerowy do wpisywania odwołań i do stwierdzenia, co ZE kwestionowały w dorobku JN zdarzenia ewaluacyjne. Odwołania rozpatrywać będzie ZE o całkowicie innym składzie ekspertów niż przy kategoryzacji !

32 Uwagi końcowe Żadna kategoryzacja w oparciu o wskaźniki nie powie całej prawdy o JN, dlatego było kryt. IV – ocena ekspertów KEJN będzie ulepszał proponowane rozwiązania [w ramach Ustawy] – Prośba o opinie środowiska (MNiSzW, KEJN) Czy zasady bieżącej kategoryzacji są do zaakceptowania (metoda porównania parami dla większości jest niezrozumiała, wagi kryteriów, lista czasopism, reguła 3N-2N0, N, N0, sumowanie uprawnień, wybór ekspertów, etc.)? Czy współpraca z OPI na etapie ankietyzacji wymaga modyfikacji? … składu KEJN zmieniana częściowo co 2 lata – nie ma „zastoju” umysłowego 32

33 BARDZO DZIĘKUJĘ ZA ZAPROSZENIE