Nowe rozporządzenie (projekt) w sprawie ewaluacji jakości działalności naukowej 06.07.2018.

Prezentacja na temat: "Nowe rozporządzenie (projekt) w sprawie ewaluacji jakości działalności naukowej 06.07.2018."— Zapis prezentacji:

1 Nowe rozporządzenie (projekt) w sprawie ewaluacji jakości działalności naukowej

2 Podstawowe informacje
W wyniku ewaluacji podmiotom prowadzącym działalność naukową będzie przyznawana kategoria naukowa A+, A, B+, B lub C Przy ewaluacji przeprowadzanej przez Komitet Ewaluacji Nauki (KEN) będą stosowane następujące kryteria szczegółowe: Kryterium I: poziom naukowy lub artystyczny prowadzonej działalności Kryterium II: efekty finansowy badań naukowych i prac rozwojowych Kryterium III: wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki

3 Przyznawanie kategorii
Przepisy dotychczasowe (kategorie dla jednostek) Nowe przepisy (kategorie naukowe w dyscyplinach dla całej uczelni) Uczelnia Wydział 1 Kat. A Wydział 2 Kat. B Wydział 3 Uczelnia Dyscyplina 1 Kat. B Dyscyplina 2 Kat. A Dyscyplina 3 N11 N12 N21 N22 N23 N21 N23 Njk oznacza liczbę pracowników j-tej jednostki prowadzących działalność w k-tej dyscyplinie naukowej; ∑j Njk ≥ 12

4 Wymogi formalne: Zatrudnienie co najmniej 12 pracowników na stanowiskach badawczych, badawczo-dydaktycznych, prowadzących działalność naukową w danej dyscyplinie Obowiązkowy, dla prowadzących działalność naukową, elektroniczny identyfikator naukowca zgodny z międzynarodowymi standardami: ORCID (jednoznaczna identyfikacja autora publikacji)

5 Kryteria i ich waga: Nauki ścisłe i techniczne, nauki rolnicze poziom naukowy lub artystyczny prowadzonej działalności (K1) – 65% efekty finansowe badań naukowych (K2) – 20% wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki (K3) – 15%

6 Kryterium I - poziom naukowy: publikacje i mat
Kryterium I - poziom naukowy: publikacje i mat. konferencyjne (Scopus lub WoS) Artykuł indeksowany w czasopismach oraz materiałach konferencyjnych indeksowany w bazie Scopus lub Web of Science Podstawa punktowa: wykaz ustalony przez Ministra Czasopisma i materiały z konferencji rankingowane w oparciu o wskaźnik bibliometryczny z bazy Scopus lub Web of Science: 20 pkt – czasopismo z najniższego kwartyla wykazu 40 pkt – czasopismo z górnych 75% wykazu 70 pkt – czasopismo z górnych 50% wykazu 100 pkt – czasopismo z najwyższego kwartyla wykazu 140 pkt – czasopismo z najwyższego decyla wykazu 200 pkt – czasopismo z najwyższego centyla wykazu 5 pkt (ryczałt) – publikacja w czasopiśmie nie indeksowanym w bazie Scopus

7 Pkt. za publikację wieloautorską
Publikacje: Typ publikacji Pkt. za autorstwo Pkt. za publikację wieloautorską Monografia/redakcja/rozdział – Poziom 2 200/100/50 100% Artykuł w czasopiśmie z wykazu 200 140 100 𝑘/𝑚 min. 10% 70 40 Monografia/redakcja/rozdział – Poziom 1 80/40/20 k/m min 10% 20 Artykuł w czasopiśmie spoza wykazu 5 Monografia/red./rozdz. – poza wykazem 20/10/5 Poziom 1 (przygotowany we współpracy z Biblioteką Narodową i będzie obejmował uznane krajowe wydawnictwa o zasięgu krajowym i zagraniczne) Poziom 2 ( przygotowany w oparciu o istniejące i używane w wielu krajach międzynarodowe zestawienia najbardziej prestiżowych wydawców międzynarodowych)

8 Publikacje wieloautorskie:
Przykład Punktacja dla podmiotu X w dyscyplinie nauk fizycznych Punktacja dla podmiotu X w dyscyplinie nauk chemicznych Artykuł za 100 pkt. autorstwa 2 fizyków z X 100 pkt Artykuł za 100 pkt. autorstwa 2 fizyków: jednego z X, drugiego z Y 𝑘/𝑚  70.71% Artykuł (2017 rok) za 15 pkt. (lista B) autorstwa 2 fizyków i 1 chemika z X 10 pkt. 5 pkt Artykuł za 100 pkt. autorstwa 2 fizyków i 1 chemika z X 𝑘/𝑚  81.65% 𝑘/𝑚  57.74% Artykuł za 140 pkt. autorstwa 2 fizyków i 1 chemika z X 140 pkt Artykuł za 20 pkt. autorstwa 20 fizyków w tym 1 z X 2 pkt (10% z 20 pkt) Artykuł za 20 pkt. autorstwa 20 fizyków w tym 2 z X

9 Kryterium I - poziom naukowy: patenty
Punktacja: 50 pkt w przypadku patentu udzielonego podmiotowi w państwach należących do Organizacji Współpracy Gospodarczej i Rozwoju, zwanej dalej "OECD", albo w procedurze zgodnej z Układem o Współpracy Patentowej (Patent Cooperation Treaty) 30 pkt w przypadku patentu udzielonego podmiotowi przez Urząd Patentowy Rzeczypospolitej Polskiej 15 pkt w przypadku patentu udzielonego przez Urząd Patentowy Rzeczypospolitej Polskiej albo za granicą innemu podmiotowi niż oceniany

10 Kryterium I - poziom naukowy: ograniczenia
Liczba uwzględnianych osiągnięć – 3N Patenty nie są wliczane do limitu ale ich liczba uwzględniana w ewaluacji nie może być wyższa niż 0.5N W ewaluacji uwzględnia się osiągnięcia, których autorzy albo współautorzy: 1) zostali uwzględnieni przy określeniu liczby N w danej dyscyplinie naukowej 2) odbywali w danym podmiocie w okresie objętym ewaluacją kształcenie w szkole doktorskiej Liczba uwzględnianych monografii, rozdziałów w monografiach i redakcji naukowych monografii naukowych nie może być większa niż: a) w dziedzinie nauk humanistycznych i w dziedzinie nauk społecznych – 40%, b) w pozostałych dziedzinach nauki – 10%.

11 Kryterium I - poziom naukowy: ograniczenia
Każde osiągnięcie jest uwzględniane w danym podmiocie tylko raz z zastrzeżeniem, że w przypadku badań naukowych interdyscyplinarnych, wieloautorskie artykuły naukowe, za opublikowanie których przyznaje się albo 200 pkt, mogą być uwzględnione w danym podmiocie w dyscyplinach, w których ich współautorzy są uwzględnieni przy ustalaniu liczby N. Analogicznie wieloautorskie monografie naukowe, za opublikowanie których przyznaje się 200 pkt mogą być uwzględnione w danym podmiocie w dyscyplinach, w których ich współautorzy są uwzględnieni przy ustalaniu liczby N Liczba tych osiągnięć autorstwa albo współautorstwa pracownika, w danej dyscyplinie nie może być większa niż liczba będąca wynikiem iloczynu liczby 4 i udziału czasu pracy w danej dyscyplinie Liczbę osiągnięć 3N zmniejsza się o 3, gdy uwzględniony w niej pracownik nie był w okresie objętym ewaluacją w danej dyscyplinie autorem ani współautorem żadnego z osiągnięć

12 Kryterium 2 - efekty finansowy
Max. 1 N projekty badawcze finansowane przez instytucje zagraniczne lub organizacje międzynarodowe, NCN i NCBiR, NPRH, finansowane z udziałem środków pochodzących z budżetu UE lub państw członkowskich Europejskiego Porozumienia o Wolnym Handlu (EFTA) oraz finansowane przez przedsiębiorców komercjalizacja wyników badań naukowych lub prac rozwojowych

13 Kryterium 2 - efekty finansowy
Wyłączenie środków finansowych: przyznanych przez Ministra w ramach programów i przedsięwzięć oraz w ramach środków budżetowych na naukę (działalność statutowa, SPUBy, inwestycje) Projekty badawcze: 10 pkt – uzyskanie środków od 30 do 200 tys. zł 40 pkt – powyżej 200 tys. do 2 mln zł 80 pkt – powyżej 2 mln zł Komercjalizacja – 1 pkt. za 200 tys. zł przychodu

14 Kryterium 3: wpływ działalności naukowej
na funkcjonowanie społeczeństwa i gospodarki Opis wpływu: w języku polskim i angielskim 100 pkt - globalny zasięg i znaczenie 70 pkt – regionalny zasięg i znaczenie 50 pkt – lokalny zasięg i znaczenie 20 pkt – niewielki zasięg i znaczenie 0 pkt – brak znaczenia lub brak udowodnionego związku między działalnością naukowa a wpływem na … Przy ocenie wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki uwzględnia się: 2 opisy dla podmiotu N do 100 3 opisy dla podmiotów N 101 – 200 4 opisy dla podmiotów N 5 opisów dla podmiotów N ponad 300

15 Kategoria A+: Dodatkowa ocena ekspercka Warunki:
zaliczenie do kategorii A uzyskanie w I kryterium oceny o wartości nie mniejszej niż 80% najwyższej oceny w danej dyscyplinie naukowej Próg procentowy zależy od pozycji nauki polskiej w danej dyscyplinie – podstawą wskaźniki bibliometryczne. Ocenę przeprowadza się na podstawie analizy wyników działalności naukowej z uwzględnieniem w szczególności międzynarodowego znaczenia w danej dyscyplinie: osiągnięć uwzględnianych w ramach kryterium l, dla rozwoju dyscypliny naukowej, w tym artykułów naukowych, monografii naukowych albo dzieł artystycznych, mogących mieć wpływ na podejmowanie nowych kierunków badań efektów działalności naukowej oraz jej wpływu na rozwój cywilizacji, w tym kultury i sztuki

16 Zasady oceny: Ocen końcowe w kryteriach I i II ustala się w wyniku podzielenia sumy punktów przyznanych podmiotowi za osiągnięcia przez liczbę N Ocenę podmiotu w zakresie kryterium III ustala się jako średnią liczby punktów przyznanych przez ekspertów Komisja określa dla każdej dyscypliny naukowej i artystycznej, po jednym zestawie wartości referencyjnych dla kategorii naukowych A, B+ i B. Zestaw składa się z 3 wartości referencyjnych ocen punktowych określonych dla każdego z kryteriów ewaluacji Komisja określa kategorię naukową A, B+, B albo C proponowaną dla podmiotu w ramach każdej dyscypliny naukowej, w której prowadzi on działalność naukową, na podstawie porównania przyznanych mu ocen z odpowiednimi wartościami referencyjnymi dla kategorii naukowych A, B+ i B, stosując algorytm określony w załączniku nr 3 do rozporządzenia.

17 Oświadczenia: upoważniające podmiot do wykazania osiągnięć w ramach dyscypliny (maks. 2) upoważniające do zaliczenia do liczby pracowników prowadzących działalność naukową w ramach danej dyscypliny o dziedzinach i dyscyplinach, w których pracownik prowadzi działalność naukową i/lub dydaktyczną

18 Okres przejściowy (?): Przepisy dotyczące nowej klasyfikacji dziedzin i dyscyplin naukowych wejdą w życie w dniu następującym po dniu ogłoszenia ustawy Nauczyciele akademiccy oraz osoby prowadzące działalność naukową mają obowiązek złożenia do 30 listopada 2018 oświadczeń dotyczących dyscyplin, które reprezentują Podmioty zatrudniające te osoby – obowiązek wprowadzenia oświadczenia do systemu POL-on do 15 stycznia 2019.

19 Pytania: W zakresie określania kategorii naukowej w "nowych" dyscyplinach dla całej uczelni: W jaki sposób zostanie wyznaczona kategoria dla dyscypliny dla całej uczelni, w której skategoryzowano w roku 2017 kilka wydziałów lub jednostek naukowych? Przykładowo w AGH, w dyscyplinie "inżynieria materiałowa" jeden wydział otrzymał kategorię A+, dwa wydziały kategorię A, jeden wydział kategorię B. W jaki sposób zostanie wyznaczona kategoria dyscypliny dla całej uczelni, w której żaden z wydziałów nie był kategoryzowany, a łączna liczba osób deklarujących tę dyscyplinę na uczelni przekracza 12 osób? Na przykład, w AGH w dyscyplinie "chemia" oświadczenia złożyło 48 osób, które pracują na różnych wydziałach, dorobek publikacyjny mają z chemii, a ich wydziały były kategoryzowane jako jednorodne w innych dyscyplinach, przy czym na jednym z wydziałów liczba osób deklarujących chemię wynosiła 33. Wydział ten uzyskał kategorię A+. Co z dorobkiem i finansowaniem osób deklarujących dyscyplinę przy N < 12 ?

20 Uwagi: Zapis, że liczba osiągnięć autorstwa albo współautorstwa pracownika, w danej dyscyplinie nie może być większa niż liczba będąca wynikiem iloczynu liczby 4 i udziału czasu pracy w danej dyscyplinie jest niejednoznaczny. Załóżmy, że mamy 4 pracowników z tego samego podmiotu, którzy opublikowali w ocenianym okresie 16 punktowanych wspólnych artykułów naukowych. Ten zapis mówi, że liczba osiągnięć uwzględnianych w ewaluacji w danej dyscyplinie autorstwa lub współautorstwa pracownika nie może przekroczyć liczby cztery, zatem liczba artykułów, które będą uwzględnione do ewaluacji nie może przekroczyć 4. Zatem 12 z tych artykułów zostanie odrzuconych, nawet gdyby były opublikowane w Nature lub Science. Ten zapis sugeruje, że autorstwo lub współautorstwo pracownika (czyli jego nazwisko) może wystąpić maksymalnie cztery razy. Propozycja: zamiast "liczba tych osiągnięć autorstwa albo współautorstwa pracownika" napisać "liczba tych osiągnięć autorstwa albo współautorstwa zgłaszającego pracownika" (aby podkreślić, że każdy kto wchodzi do N może zgłosić maks. 4 publikacje). Jednak i wtedy to oznacza, że jeśli jeden autor zgłosi cztery publikacje za 200 pkt., to żaden ze współautorów tych samych publikacji nie będzie już mógł zgłosić. Innymi słowy: jeśli publikujemy we czterech, i będzie ktoś oczekiwał, że każdy z nas zgłosi 4 publikacje, to cztery publikacje nam nie wystarczą (mimo, że każdy z nas będzie współautorem czterech), będziemy potrzebowali 4 x 4, czyli 16 publikacji. Powinno być uwzględnionych 16 publikacji, ale zapis powinien być zmieniony na bardziej precyzyjny.

21 Uwagi: Wątpliwości budzi też §14 ust.3. Przy ocenie wpływu działalności naukowej na funkcjonowanie społeczeństwa i gospodarki uwzględnia się 2 opisy wpływu w ramach danej dyscypliny naukowej albo artystycznej, dla podmiotów których liczba N jest mniejsza niż 50 i nie więcej niż 5 opisów wpływu w ramach danej dyscypliny naukowej albo artystycznej dla pozostałych podmiotów. Lepiej, żeby zamiast "dla podmiotów których liczba N jest mniejsza niż 50” napisać "dla dyscyplin uprawianych w danym podmiocie, dla których liczba N jest mniejsza niż 50" albo "dla podmiotów których liczba N jest mniejsza niż 50 w danej dyscyplinie" (aby było jednoznaczne, że liczba opisów zależy od liczby osób uprawiających daną dyscyplinę w jednostce, a nie od całkowitej liczby osób zatrudnionych w jednostce). Wątpliwości też budzi przyznanie 100% punktów za artykuły z punktacją 140 i 200 niezależnie od liczby autorów. W przypadku np. artykułów z fizyki eksperymentalnej (badania w CERN) prawie regułą jest podawanie za współautorów wszystkich osób biorących udział w przygotowywaniu. Wydaje się, że stosunkowo dobrym rozwiązaniem było rozwiązanie z ostatniej parametryzacji, gdy liczba autorów była większa niż 10 i stosowano "ważenie" publikacji.

22 Nowe rozporządzenie (projekt) w sprawie ewaluacji jakości działalności naukowej