Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Impactfactor Normalizacjadanych Cytowalność Bibliometryczna trylogia trylogia Statystyczno-porównawcze metody oceny działalności naukowej Cieszyn 22-23.

Podobne prezentacje


Prezentacja na temat: "Impactfactor Normalizacjadanych Cytowalność Bibliometryczna trylogia trylogia Statystyczno-porównawcze metody oceny działalności naukowej Cieszyn 22-23."— Zapis prezentacji:

1 Impactfactor Normalizacjadanych Cytowalność Bibliometryczna trylogia trylogia Statystyczno-porównawcze metody oceny działalności naukowej Cieszyn XI 2001 r. Andrzej Kajetan Wróblewski Wydział Fizyki UW

2 Jakie konsekwencje ma zasada „whole counting”, to znaczy zaliczanie danej publikacji Jakie konsekwencje ma zasada „whole counting”, to znaczy zaliczanie danej publikacji i jej cytowań z taką samą (jednostkową) wagą wszystkim współautorom tej publikacji i wszystkim krajom z których pochodzą ?

3 Produkty Institute of Scientific Information (ISI)

4 Rozważmy hipotetyczny świat, w którym są tylko dwa kraje 1 i publikacji autorów z kraju publikacji autorów z kraju publikacji autorów z kraju publikacji autorów z kraju publikacji wspólnych autorów z obu krajów 100 publikacji wspólnych autorów z obu krajów Cała baza danych zawiera zatem 300 publikacji tego ”świata” Cała baza danych zawiera zatem 300 publikacji tego ”świata” Autorzy z kraju 1 opublikowali = 200 prac Autorzy z kraju 1 opublikowali = 200 prac czyli 2/3 produkcji „światowej” czyli 2/3 produkcji „światowej” To samo odnosi się do autorów z kraju 2 To samo odnosi się do autorów z kraju 2 Zatem nieznormalizowane wkłady obu krajów dodają się do 4/3 ”produkcji światowej” Zatem nieznormalizowane wkłady obu krajów dodają się do 4/3 ”produkcji światowej” Procent prac z autorami z danego kraju jest większy od procentowego wkładu tego kraju do produkcji światowej Konsekwencje reguły ”whole counting”

5 Definicja: SUMA P = Zsumowanie liczby publikacji z autorami z poszczególnych krajów Wtedy: SUMA P Całkowita liczba publikacji Intensywność Intensywność = IWM Współpracy = IWM Współpracy Międzynarodowej Międzynarodowej Istotnie, w omawianym hipotetycznym świecie IWM wynosi 400/300 = 1,5 i rzeczywiście dobrze wyraża to, że 50% prac powstało we współpracy autorów z krajów 1 i 2. Jeśli jest więcej niż dwa kraje, to wprowadzona intensywność współpracy międzynarodowej nie ma tak prostej interpretacji, ale nadal może być stosowana do charakteryzowania współpracy

6 Suma 115,18%

7 Wnioski z bazy NSI 2000

8

9 Załóżmy dalej, że 100 publikacji z kraju 1 uzyskało łącznie 200 cytowań, 100 publikacji z kraju 2 uzyskało łącznie 200 cytowań 100 publikacji wspólnych uzyskało łącznie 400 cytowań Kraj 1 zebrał łącznie 600 cytowań, kraj 2 także 600 cytowań, ale całkowita liczba cytowań wynosiła tylko 800. Można wprowadzić wielkość SUMA C jako zsumowanie wszystkich cytowań przypisanych poszczególnym krajom i wprowadzić definicję SUMA C Całkowita liczba cytowań Efektywność Efektywność = EWM Współpracy Międzynarodowej Międzynarodowej

10 Wnioski z bazy NSI 2000

11 Gdyby publikacje wspólne były cytowane tak samo często jak publikacje autorów z jednego kraju, to mielibyśmy IWM = EWM Można więc wprowadzić trzecią wielkość EWMIWM Jakość = JWMWspółpracy Międzynarodowej

12 Wnioski z bazy NSI 2000

13

14 Wniosek: Należy starannie sprawdzać normalizację danych

15 Czego miarą jest cytowalność („impact”) dla poszczególnych krajów ? Czego miarą jest cytowalność („impact”) dla poszczególnych krajów ?

16 Liczba cytowań Liczba cytowań Impact factor (IF) = Liczba publikacji Liczba publikacji IF bywa rozważany dla  krajów,  instytucji,  dziedzin nauki,  czasopism,  poszczególnych badaczy Polskie tłumaczenia IF: wpływ, współczynnik wpływu, cytowalność

17

18 Rozważmy ponownie hipotetyczny świat, w którym są tylko dwa kraje 1 and 2 oraz dwie dziedziny nauki, A and B prace cytowania IF Kraj 1A B A + B A + B Kraj 2 A B A + B A + B Jeśli wartość IF dla krajów traktować jako parametr, który może być miarą jakości ich nauki, to kraj 2 ma naukę lepszą od kraju 1, chociaż w obu dziedzinach kraj 1 ma większy IF niż kraj 2

19

20

21

22

23

24 Wniosek: Wartości cytowalności (impact) dla różnych krajów świadczą w największym stopniu o strukturze nauki, głównie o względnej sile dyscyplin biomedycznych w porównaniu z innymi, a w mniejszym stopniu są miarą jakości badań naukowych w tych krajach

25 Jaki sens ma ocenianie Jaki sens ma ocenianie i klasyfikowanie badaczy na podstawie wartości „Impact factor” czasopism, w których publikują swoje prace ?

26 N c - liczba cytowań w roku T do prac opublikowanych w tym czasopiśmie w latach T – 1 oraz T – 2 N p - liczba prac opublikowanych w tym czasopiśmie w latach T – 1 i T – 2 1. Ta definicja jest ułomna, ponieważ N c zawiera cytowania artykułów oraz listów do redakcji, podczas gdy N p zawiera tylko artykuły 2. Wartości IF dla czasopism wykazują ogromne różnice, choćby ze względu na bardzo różną średnią liczbę cytowań jednej pracy w różnych dziedzinach oraz różny „obrót” („turnover”) w różnych dziedzinach Impact factor czasopisma N c (T) N c (T) IF = N p (T – 1, T – 2)

27 Mimo to, w pewnych dziedzinach, na przykład w naukach biomedycznych, wartości IF czasopism są wykorzystywane do oceny jakości pracy indywidualnych badaczy Postępowanie to wydaje się nieuzasadnione, ponieważ w tym podejściu mającą paręset cytowań publikację w czasopiśmie o niskiej wartości IF, ceni się mniej od pracy w ogóle nie cytowanej, ale opublikowanej w czasopismie o wysokim IF !!!

28 Wyobrażenia liczba cytowań 0 małyIFdużyIF liczbaprac logliczbyprac duży IF mały IF Rzeczywistość

29 Field Concentration Percent ( ) uncited ( ) uncited Computer Science Economics/Business Molecular Biology/Genetics Education Engineering Materials Science Physics Psychology/Psychiatry Mathematics Clinical Medicine Pharmacology Immunology Biology/Biochemistry Geosciences Ecology/Environment Microbiology Neuroscience Agricultural Sciences Chemistry Plant/Animal Science Astrophysics „Koncentracja” = Procent publikacji do których jest 50% cytowań w danej dziedzinie (Science Watch, January/February 1999) Rozkład liczby cytowań jest bardzo skośny

30 Na podstawie danych w bazie NCR Poland zbadano cytowania prac polskich autorów w 20 czasopismach fizycznych o różnych wartościach IF (1994). Rozkład liczby cytowań zbadano w próbce prac opublikowanych w latach , a więc mających co najmniej trzy lata ( ) na zebranie cytowań. Ogólny wynik przedstawiony na następnych wykresach: niezależnie od wartości IF w każdym czasopiśmie mamy wykładniczo spadające „tło” oraz „ogon” prac cytowanych znacznie więcej razy. Można postawić hipotezę, że do postępu nauki przyczyniają się głównie (czy wyłącznie ?) prace z tego „ogona”.

31

32

33

34

35

36

37

38

39 Jedna z klasyfikacji amerykańskich (SPIRES w SLAC) Renowned papers  500 cytowań Famous papers 100 – 499 cytowań Well-known papers 50 – 99 cytowań Known papers 10 – 49 cytowań Less known papers 1 – 9 cytowań Unknown papers 0 cytowań

40

41 Współczynnik korelacji = 0,57

42 Współczynnik korelacji = 0,59

43 Per O. Seglen (Oslo), Why the impact factor of journals should not be used for evaluating research, BMJ 314, 497 (1997)

44 Baza NSI

45 Trzeba pamiętać, że nawet w obrębie tej samej dziedziny poszczególne dyscypliny różnią się znacząco pod względem  średniej liczby cytowań jednej publikacji oraz  obrotu („turnover”) informacji. Ma to wpływ na IF czasopism charakterystycznych dla tych dyscyplin.

46

47 Wnioski: 1. W świetle przedstawionych wyników wydaje się mało uzasadnione klasyfikowanie badaczy tylko na podstawie wartości IF czasopism, w których publikują prace.

48 2. Wobec dużego procentu jaki we wszystkich czasopismach stanowi „tło” prac mało lub wcale cytowanych, a więc zapewne niewiele wnoszących do nauki, sam fakt opublikowania pracy w czasopiśmie o dużej wartości IF nie powinien stanowić podstawy do wyróżniania jej autora.

49 3. W zasadzie powinno się liczyć tylko prace, których liczba cytowań znacząco przekracza wykładnicze „tło”. Granica może być umowna (na przykład 10, 50 lub 100 cytowań - wykorzystywane w SPIRES).

50 4. Zatem zamiast pytać o całkowitą liczbę cytowań prac danego badacza należałoby podawać wyłącznie liczbę jego prac „wybitnych”, które były cytowane więcej razy niż wynosi umowna granica. Ta granica może być różna w różnych dziedzinach.


Pobierz ppt "Impactfactor Normalizacjadanych Cytowalność Bibliometryczna trylogia trylogia Statystyczno-porównawcze metody oceny działalności naukowej Cieszyn 22-23."

Podobne prezentacje


Reklamy Google