Parametryzacja i kategoryzacja Jednostek Naukowych wprowadzenie do dyskusji Uniwersytecka Komisja Nauki Kielce, 06.06.2014. Stanisław Kistryn

Kategoryzacja JN - wprowadzenie do dyskusji Kryteria Cztery kryteria oceny dla wszystkich JN: Osiągnięcia naukowe i twórcze Potencjał naukowy Materialne efekty działalności naukowej Pozostałe efekty działalności naukowej ► różne wagi kryteriów Określenie kategorii A+ ► ocena ekspercka z uwzględnieniem dodatkowych kryteriów UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji ► Grupy Wspólnej Oceny porównanie jednostek o zbliżonych cechach (w pionach rodzajowych i grupach dziedzin nauki) ► Jednostki Referencyjne porównanie punktacji jednostek z wzorcem; minimalne wymaganie wartości kryteriów p1, …, p4 dla przekroczenia progów kategorii A (B→A) i B (C→B) ► Kategoryzacja włączenie jednostek referencyjnych AB i BC do rankingu; odniesienie pozycji każdej jednostki do położenia w rankingu jednostek referencyjnych AB i BC UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Ranking: ● Porównanie jednostek parami ważoną relacją przewyższania ● Uporządkowanie wg wyników Porównanie ocen dla każdego z i=4 kryteriów piX ↔ piY → Ri Jednostki otrzymują punkty w zakresie (–gi ÷ gi ) Wynikiem porównania pary jednostek jest dla każdej z nich suma punktów z 4 porównań par ocen (wszystkie kryteria) Jednostki można uszeregować ze względu na sumę punktów ze wszystkich porównań w parach X Y g1R1 g2R2 g4R4 g3R3 p1 p2 p4 p3 Ankieta JN Σ UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Wyniki ogólne (przed rozpatrzeniem odwołań) ► B 541 56,2 % ► C 77 8,0 % A+, A B C JU -0,9 +2,1 -1,1 PAN -18,6 +17,1 +1,4 IB -31,0 +24,9 +6,1 Inne -1,2 -26,2 +27,4 Zmiana odsetka kategorii 2010-2013 (w %) UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategorie według rodzaju Jednostek Naukowych Liczba przyznanych kategorii Kategoria Nauki Hum. + Społ. Nauki Ścisłe + Inżyn. Nauki o Życiu Nauki o Sztuce i Tw. Artyst. Ogólnie JU PAN IB In JU PAN IB JU PAN IB JU PAN IB JU A+ 23 12 2 0 8 4 0 9 5 0 4 3 2 2 A 225 42 35 6 72 8 2 77 15 21 56 19 12 20 B 451 15 70 5 178 2 7 115 6 40 85 7 23 73 C 57 1 8 11 18 0 0 15 0 6 17 1 2 7 UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja - propozycje (prezentacje UKN KRUP i KN KRASP) Wstępny zestaw uwag, wątpliwości, propozycji Ustawa przyjęta jako „dana”, trudne zmiany (jednakże pożądane) zapisy podziałów JN w grupy dziedzin oraz grupy rodzajowe, odniesienie międzynarodowe; kategoryzacja jednostek podstawowych Rozporządzenie – do „łatwej zmiany” kryteria, parametry, tryb itp.. UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja - pytania 1. Podział na Grupy Wspólnej Oceny Zasady przypisywania do GWO Jednostki interdyscyplinarne → c.d.n. 2. Kryteria oceny Ilość kryteriów (korelacje obecnych) Zawartość (parametry) kryteriów – szczegółowość Audyt ?! Kryteria oceny czasopism naukowych UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja - pytania 35 15 25 20 3. Wagi kryteriów Odzwierciedlenie misji JN ? Opinie ekspertów 4. Tryb kategoryzacji Metoda porównań parami → c.d.n. 5. Definicja jednostek referencyjnych Algorytm, wartości – dostępność Analiza statystyczna wartości vs. określenie ekspertów w poszczególnych dziedzinach (zwłaszcza kryterium 1) UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja - pytania 6. Zespoły ewaluacyjne Tryb powoływana, skład, liczebność Zakres prac, rola w typowaniu A+ 7. Jednostki A+ Zestaw kryteriów; audyt ? Eksperci vs. algorytm? 8. Jednostki interdyscyplinarne Przydzielanie do GWO – zasady ? Metoda „dedykowanych” jednostek referencyjnych” UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Propozycje i postulaty ● Porównanie parami – tylko dana JN z jednostkami referencyjnymi AB i BC → kategoria ustalona poprzez relację przewyższania danej JN względem AB / BC JN > AB > BC → kategoria A AB > JN > BC → kategoria B AB > BC > JN → kategoria C ►Taka sama procedura w trakcie cyklicznej kategoryzacji oraz pomiędzy tymi akcjami ► Jeśli pożądane ustalenie rankingu w GWO – możliwe na podstawie wyniku liczbowego porównania wszystkich JN z jedną z jednostek referencyjnych UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Jednostki niejednorodne ● Jednostki „czyste” w dziedzinach Dk (np. D1, D2, D3) → jednostki referencyjne JR(Dk) p2(D1) JR(D1) p1(D1) p4(D1) p3(D1) p2(D2) JR(D2) p1(D2) p4(D2) p3(D2) p2(D3) JR(D3) p1(D3) p4(D3) p3(D3) UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Jednostki niejednorodne ● Jednostki „czyste” w dziedzinach Dk (np. D1, D2, D3) → jednostki referencyjne JR(Dk) ● Jednostka „mieszana”; udziały procentowe dziedzin dk → dedykowana jednostka referencyjna JR(JM) p2(Dk) JR(Dk) p1(Dk) p4(Dk) p3(Dk) JM d1 d2 d3 p2(JM) JR(JM) p1(JM) p4(JM) p3(JM) pk(JM) = d1• pk(D1) + + d2 • pk(D2) + + d3 • pk(D3) k = 1, 2, 3, 4 Możliwe analogiczne „mieszanie” wag UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Postulaty środowiskowe Stabilność zasad w dłuższym okresie Jawność danych JN Optymalizacja ilości parametrów eliminacja korelujących i nienaukowych Uzależnienie finansowania od kategorii Nagroda dla najlepszych w postaci finansowania audytu międzynarodowego Przydział do GWO Punktacja czasopism … UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Ocena czasopism naukowych Zasady oceny Lista A: od 15 do 50 punktów w zależności od IF > 0,005 (JCR, punktacja osobno w grupach tematycznych) 15 20 25 30 35 40 45 50 23% 20% 17% 14% 11% 8% 5% 2% najniższy IF w grupie najwyższy IF w grupie Lista C: 10 punktów (ERIH) UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Ocena czasopism naukowych Zasady oceny Lista B: od 1 do 10 punktów (co 1); kryteria wstępne parametry szczegółowe – podstawa punktacji Dane do analizy na podstawie składanych ankiet (system elektroniczny – http://pbn.nauka.gov.pl/) Czasopisma kwalifikowane do trzech obszarów wiedzy: grupa nauk humanistycznych (H) grupa nauk społecznych (S) grupa nauk ścisłych, technicznych, medycznych i przyrodniczych (TZ) UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Postulaty środowiskowe „Przedziałowość” listy A; JCR, SCOPUS, … ? Zasadność listy ERIH Ocena monografii Podział na dyscypliny Lista B – kontrowersje: likwidować stopniowo / uzupełniać Zasadność oceny artykuł ≡ czasopismo Cała władza w ręce Komitetów … UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Zamiast konkluzji – czyżby kryzys oceniania ? UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji

Kategoryzacja JN - wprowadzenie do dyskusji Zamiast konkluzji – czyżby kryzys oceniania ? Świat nie chce przystawać do naszych oczekiwań UKN Kielce; 6 czerwca 2014. Kategoryzacja JN - wprowadzenie do dyskusji