Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Ocena parametryczna jednostek naukowych Informacja dla Rektorów Wyższych Uczelni 23 stycznia 2014 Opracował: A. Olszyna.

Podobne prezentacje


Prezentacja na temat: "Ocena parametryczna jednostek naukowych Informacja dla Rektorów Wyższych Uczelni 23 stycznia 2014 Opracował: A. Olszyna."— Zapis prezentacji:

1 Ocena parametryczna jednostek naukowych Informacja dla Rektorów Wyższych Uczelni 23 stycznia 2014 Opracował: A. Olszyna

2 Etapy prac nad kategoryzacją -- JN dostarczały dane -- Kształtowanie GWO – Komisje KEJN -- Praca zespołów ewaluacji (ZE) – VI, do ok. 10 VII -- Odwołania JN od przypisania do GWO i wnioski ZE o zmianę przypisań do GWO -- Ustalenie reguł wyznaczania jednostek referencyjnych (JRef) – KEJN -- lipiec -- Obliczanie wyników „porównań parami” i propozycja przypisania kategorii wg. Rozporzadzenia – KEJN - sierpień -- Wyłonienie kandydatur do A+ -- sierpień/początek września -- Opiniowanie kat. przez ZE i przedłożenie Min. – 18 września -- Odwołania od kategorii na podstawie odwołań od zdarzeń,…

3 Kształtowanie GWO Reguły tworzenia 1)Uprawnienia do hab. i doktoryzowania – wg dyscyplin CK 2)Kadra [posiadane stopnie i tytuły wg dyscyplin] 3)Udział % publikacji z dyscyplin w 3*N najlepszych publikacji Odwołania JN – rozpatrywane wg w/w reguł Także ZE miały prawo [po obejrzeniu dorobku] wnioskowania o zmianę przypisania JN do GWO – KEJN rozpatrywał wg. ww reguł. KEJN docenia rosnącą ważność jednostek interdyscyplinar- nych -- 2 lata to za mało na zmianę Ustaw

4 Rola i zadania Zespołów Ewaluacji Składy ZE powołał Przew. KEJN na wniosek Komisji KEJN, wyłonione głównie spośród osób, których JN kat. A wcześniej zgłaszały jako kandydatów do KEJN [łącznie ok 160 osób] ZADANIA 1) Weryfikacja danych dostarczonych przez JN Zasady weryfikacji: – każdą JN „badało” dwóch ekspertów [z innych JN] – w razie niezgodności – rozstrzygał Przew. ZE lub całe ZE – ZE były autonomiczne, Opiekun ZE ze strony KEJN mógł tylko wspomagać w interpretacji przepisów itp.. 2) Przyznanie punktów w kryt. IV 3) Zaopiniowanie wyników kategoryzacji [A+, A, B, C]

5 Zespoły Ewaluacji -- uwagi Ogólnie – bardzo pozytywnie oceniam pracę ZE - Olbrzymi nakład pracy, rzetelność przy weryfikacji danych - To ważny czynnik ekspercki w kategoryzacji (szczególnie IV kryterium) [środowiska krytykowały poprzednie kategoryzacje za posługiwanie się wyłącznie wskaźnikami liczbowymi] Mimo wagi 10%, Kryt. IV odegrało pewną rolę w kategoryzacji na granicy A/B/C oraz przy A+

6 Kategoryzacja 2013 Kryteria – K I – publikacje (w SI + patenty) tylko 3*N-2*N0 (odniesienie do N, waga 65%) –K II – „potencjał naukowy“- uprawnienia + lab. Akr.+...(waga 10%) –K III – „efekty materialne“ – granty, zlec. z przemysłu, wdrożenia, etc.(w odniesieniu do N, waga 15%) –K IV – „inne istotne“ osiągnięcia (kryt. eksperckie, waga 10%) Uwaga: ankiety JN z OPI zostały przekazane do Index Copernicus Int. [niezależna firma] i tam prowadzono weryfikację danych, obliczenia wartości K I-K IV oraz „porównania parami”

7 Porównanie parami – przykład – widoczna kluczowa rola K I kryterium [publikacje – waga 65%] Kod K1 K2 K3 K4 wynik 43796, ,019479, , ,306074,94 waga65%10%15%10%

8 Parametry jednostek wzorcowych (JWZ) WAŻNE – KEJN pracował na zakodowanych nazwach JN Reguły w Komisji SI [dla GWO z uczelni] ● Wyznaczenie jednostki wzorcowej [dla każdej GWO osobno w odniesieniu do pozycji międzynarodowej danej dyscypliny naukowej – na podstawie WoS, Scopus,…] ● Kolejno, dla każdego kryterium: wartości danego kryterium sortowane od największych ● Obliczenie mediany z 15% JN o najwyższej wartości tego kryterium [ w małych GWO – min. z 3 JN] ● Jednostka wzorcowa (JWZ) jest „wirtualna” – wartości k1 - k4 pochodzą z różnych jednostek „bardzo dobrych” w poszczególnych kryteriach ● Wartości JWZ „dyktował” poziom b.d.b jednostek z każdej GWO

9 Parametry jednostek referencyjnych Jref A/B i Jref B/C dla JN z uczelni (nadal na zakodowanych nazwach JN) ● Jref B/C = 0.35*JWZ – jednakowa formuła dla wszystkich GWO w naukach ścisłych i technicznych ● Jref A/B = 0.72*JWZ -- w naukach technicznych ● Jref A/B = 0.66*JWZ -- w naukach ścisłych ● Niższy mnożnik dla nauk ścisłych = „premia” dla NS za wyższą pozycję międzynarodową niż NT ● WAŻNE: po wyznaczeniu Jref „wrzucono” je do GWO i ponownie szeregowano przez porównania parami → „wynik końcowy” ● [interpretowalny w ramach danej GWO, porównania między GWO bez sensu, to jak porównanie wyników drużyn siatkówki i hokeja]

10 Parametry jednostek referencyjnych Jref A/B i Jref B/C dla inst. PAN ● KEJN „nie skrzywdził” ani JN uczelni ani inst. PAN ● Dla JN uczelni – Jref jak wyżej. ● Trudność z PAN – małe GWO [często 1 inst.] ● GWO PAN „na chwilę zmieszano” z bliźniaczą GWO uczelni i wyznaczono JWZ i Jref A/B, Jref B/C j.w.. ● Te Jref stosowano tylko do GWO inst. PAN ● Jak to zadziałało ? Tam gdzie inst. PAN były „lepsze” od uczelnianych – całe GWO mogło dostać A [np. w informatyce i automatyce] ● Tam gdzie inst. PAN miały porównywalne parametry z najlepszymi JN uczelni – kilka inst. PAN dostała B [np. w fizyce].

11 Uwagi ● Co to są „inne jednostki” ?? – głównie sprywatyzowane inst. badawcze z NT, ale kategoryzować się może „prawie każdy” ● Efekt – większość C w naukach technicznych dostały „inne jednostki” ● UWAGA: opisane zasady wyznaczania Jref dotyczą Nauk Ścisłych i Inżynieryjnych ● Ogólne reguły były wspólne w całym KEJN, ale poszczególne Komisje mogły stosować swoje modyfikacje [np. Komisja TA –nauka o sztuce nie stosowała odniesienia do poziomu międzynar.]

12 Proces wyłaniania kandydatur do A+ w komisji SI ( Nauk Ścisłych i Inżynieryjnych) 1) Zasada podstawowa: Do A+ mogły kandydować tylko jednostki z kat. A i to tylko te, które zajmowały wysokie miejsce w „rankingu” [górne 25%]. W SI było 85 takich jednostek. 2) Przyjęte kryteria dodatkowe na A+ ● Cytowania/N ● P-kty za 25% najwyżej punktowanych publikacji ● Liczba grantów, prestiżowe nagrody, ● Członkostwo we władzach zagr. org. naukowych ● Red. czasopism z tzw. listy filadelfijskiej ● IV kryterium

13 Wyłanianie kandydatur do A+ w SI c.d. 2 ● Każdy z 10 członków Komisji dysponował w/w wartościami kryteriów i mógł zgłosić max. 6 jednostek + uzasadnienie na piśmie [za wyjątkiem „swojej”] ● Zgłaszano wielokrotnie te same jednostki „z czołówki” ● Efekt – zgłoszono 31 jednostek do I balotażu, ● Do II balotażu przeszło 21 jednostek + uzasadnienia w syst. ICI ● Do głosowania finalnego – na Komisji Nauk Ścisłych i Inżynieryjnych -- weszło 17 JN

14 A+ – zbliżamy się do finału ● W kolejnym głosowaniu Komisja uznała, że pierwszych 12 jednostek uzyskało 7 lub więcej głosów i te uznano za kandydatów na A+ do przedstawienia Ministerstwu. ● Pozostałe 3 jednostki miały po 6 głosów i Komisja uznała, że także te jednostki zasługują na A+ [2 z nich faktycznie uzyskały A+] ● W kolejnym głosowaniu wśród tylko tych trzech jednostek wyłoniono jedną JN PAN = 9 głosów TAK [rekord cytowań]. ● W rezultacie, powstała lista 13 jednostek przedłożonych Ministerstwu do A+ UWAGA – KEJN wnioskuje, Min. podejmuje decyzje

15 A+ finał ● Dyskusje – mailem zajęly ok. miesiąc. Dyskusje na Komisji i głosowania ok 5 godzin. ● Finalne głosowanie nad przedłożeniem Ministerstwu list A+, A, B, C było jednomyślne. ● 28 IX odbyło się spotkanie Przew. KEJN i Przew. Komisji KEJN z Min. B. Kudrycką, na którym przedstawiono proponowane wyniki kat. ● Min. w 100% zaakceptowała propozycje kat. A, B, C przedłożone przez KEJN i podziękowała za pracę KEJN i ZE ● Dalsza dyskusja dotyczyła priorytetu poszczególnych ZASAD wysuwania kandydatur o A+. Przew. KEJN i Przew. Komisji przedstawili zasady, którymi kierowały się Komisje.

16 A+ finał c.d. ● Dalsza dyskusja – rola wysokiej pozycji JN w kategoryzacji a zgłoszenia do A+. Uzgodniono, że w sytuacjach typu: jeśli Komisja zgłosiła do A+ np. 2-gą JN w rankingu GWO, to Komisja powinna rozważyć wprowadzenie kandydatury do A+ także 1-szej JN z listy. ● Zgodnie z w/w zasadą, Komisja SI przegłosowała [eletronicznie] wprowadzenie na listę kandydatur do A+ 5 dodatkowych JN zajmujących początkowe miejsca na listach rankingowych GWO i jednocześnie pozostawienie pierwotnie proponowanej listy b.z. ● W skali KEJN powstała lista przekraczająca 40 kandydatur do A+. Z listy tej 37 JN dostało A+ [redukcja objęła JN zajmujące dalsze miejsca w rankingu]. ● Podkreślam: KEJN i Min. kierowało się regułami.

17 Wykaz JN kategorii A+ Nauki Ścisłe i Inżynieryjne Uniwersytet Jagielloński; Wydz. Chemii Uniwersytet Warszawski; Centrum Nowych Technologii UW Uniwersytet Warszawski; Wydz. Chemii Uniwersytet Jagielloński; Wydz. Fizyki i Informatyki Stos. Uniwersytet Warszawski; Wydz. Fizyki Uniwersytet Warszawski; Wydz. Matematyki, Informatyki Politechnika Wrocławska; Wydz. Elektroniki Mikrosystemów i Fotoniki Akademia Górniczo-Hutnicza; Wydz. Fizyki i Informatyki Stos. Politechnika Warszawska; Wydz. Inżynierii Materiałowej Centrum Astronomiczne im. Mikołaja Kopernika PAN Instytut Fizyki Jądrowej im. Henryka Niewodniczańskiego PAN Instytut Niskich Temperatur i Badań Strukturalnych PAN Instytut Podstawowych Problemów Techniki PAN Instytut Matematyczny PAN

18 Porównanie wyników z poprzednią kategoryzacją Źródło: Index Copernicus Int. Ewaluacja 2013

19 Wyniki wg typów JN 2013 źródło Index Copernicus Int. A B C A+

20 Odsetek kategorii naukowych w poszczególnych typach jednostek SI (w nawiasach liczba jednostek) 2013Liczba JNA+ABC PAN7017,1% (12)60,0% (42)21,4% (15)1,4% (1) Uczelnie7563,0% (23)29,8% (225)59,6% (451)7,5% (57) Instytuty badawcze 1151,7% (2)30,4% (35)60,9% (70)7,0% (8) Inne220,0%27,3% (6)22,7% (5)50,0% (11)

21 Porównanie c.d. ● Wyniki nie w pełni porównywalne [kilkadziesiąt JN „nowych”, kilkadziesiąt „ubyło”] ● JN uczelni mają bardzo zbliżone %A, B, C jak w 2010 roku ● Ogólnie: kategoryzacja była „nieco bardziej surowa” w porównaniu do tej w 2010 ● Jak na 0.77% PKB finansowania badań – stan dużych obszarów polskiej nauki nie jest [moim zdaniem] tak zły jak to napisała pewna gazeta [iż tylko 3% JN jest dobrych]. Wszystkie JN kat A oraz część B zaliczam do dobrych. ● Uwaga na „magię” % przy porównaniach: ● 12 inst. PAN w A+ spośród 70 to AŻ 17% ● TYLKO 3% JN z uczelni w A+ = 23 JN spośród 756

22 Odsetek kategorii naukowych w poszczególnych typach jednostek (w nawiasach liczba jednostek) Obszar SI1 + SI2 2013Liczba JNA+ABC PAN2520% (5)56% (14)24% (6)0 Wyż. Szkoły Techniczne 1551,9% (3)34,2% (53)56,1% (87)7,8% (13) Uniwersytety6010% (6)38,4% (23)46,7% (28)4,9% (2)

23 GWO Inżynieria materiałowa, inżynieria chemiczna i procesowa, inżynieria środowiska Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC

24 GWO Mechanika, budowa i eksploatacja maszyn, inżynieria produkcji Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC

25 GWO Budownictwo i architektura Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC

26 GWO Elektrotechnika, automatyka, elektronika oraz technologia informacyjne Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC

27 GWO Górnictwo, geologia techniczna, geodezja, energetyka i transport Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC

28 GWO Matematyka i podstawy informatyki Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC 2-2--

29 GWO Fizyka i astronomia Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC 81241

30 GWO Chemia i technologia chemiczna Obszar SI1 + SI2 Wyższe Szkoły Techniczne Liczba JNA+ABC Liczba JNA+ABC 5-5--

31 Odwołania Odwołać się można było „od wszystkiego” [od braku A+ też] - dopiero po otrzymaniu decyzji. ● Był system komputerowy do wpisywania odwołań i do stwierdzenia, co ZE kwestionowały w dorobku JN zdarzenia ewaluacyjne. ● Odwołania rozpatrywać będzie ZE o całkowicie innym składzie ekspertów niż przy kategoryzacji !

32 Uwagi końcowe ● Żadna kategoryzacja w oparciu o wskaźniki nie powie całej prawdy o JN, dlatego było kryt. IV – ocena ekspertów ● KEJN będzie ulepszał proponowane rozwiązania [w ramach Ustawy] – ● Prośba o opinie środowiska (MNiSzW, KEJN) Czy zasady bieżącej kategoryzacji są do zaakceptowania (metoda porównania parami dla większości jest niezrozumiała, wagi kryteriów, lista czasopism, reguła 3N-2N0, N, N0, sumowanie uprawnień, wybór ekspertów, etc.)? Czy współpraca z OPI na etapie ankietyzacji wymaga modyfikacji? … ● składu KEJN zmieniana częściowo co 2 lata – nie ma „zastoju” umysłowego

33 ● BARDZO DZIĘKUJĘ ZA ZAPROSZENIE


Pobierz ppt "Ocena parametryczna jednostek naukowych Informacja dla Rektorów Wyższych Uczelni 23 stycznia 2014 Opracował: A. Olszyna."

Podobne prezentacje


Reklamy Google