Mierniki oceny aktywno ś ci publikacyjnej i „jako ś ci” czasopism

Wskaźniki bibliometryczne  dorobku naukowego, stosowane do porównania dorobku kandydatów rozpatrywanych w konkursach grantowych, przy zatrudnianiu, przy ocenach okresowych, przy formułowaniu warunków awansowych oraz przy tworzeniu gremiów naukowych:  liczba publikacji  liczba cytowań  Indeks Hirscha  „jakości” czasopism naukowych:  obecność na liście filadelfijskiej  Impact Factor  Indeks Hirscha  obecność na liście ministerialnej 2 Wybrane miary porównawcze:

Liczba publikacji  Liczba publikacji:  całkowita (np. przy awansie)  w określonym przedziale czasowym (np. do ankiety jednostki) 3  Liczba publikacji wskazuje na „produktywność” publikacyjną, a nie na jakość publikacji  Liczba publikacji to wskaźnik, od którego rozpoczyna się większość analiz i od którego wywodzą się inne wskaźniki oparte na relacjach pomiędzy publikacją a jej rozpowszechnieniem w postaci cytowań  Publikacja artykułów w czasopismach umieszczonych na MJL (Master Journal List) - tzw. lista filadelfijska – w założeniu ma mieć większą wagę niż w mniej znanych czasopismach

4 Liczba publikacji - Polska w liczbach D yscypliny naukowe wraz z liczbą publikacji (afiliacja z Polski). Źródło:SCImago. (2007). SJR — SCImago Journal & Country Rank. Retrieved March 10, 2013, from  Natężenie publikowania jest różne w zależności od dziedziny wiedzy

5 Liczba publikacji - Polska w liczbach Ranking krajów wg liczby publikacji (wszystkie dyscypliny naukowe) Źródło: Essential Science Indicators SM from Thomson Reuters, time period: 2001-August 31, 2011 (fourth bimonthly period of 2011). Ranking krajów wg liczby publikacji (chemia). Źródło: Essential Science Indicators SM from Thomson Reuters, time period: January 2000-December 31, 2010 (sixth bimonthly period of 2010) Ranking krajów wg liczby publikacji (matematyka). Źródło: Essential Science Indicators SM from Thomson Reuters, time period: January 1, 2001-June 30, 2011 (third bimonthly period of 2011).

Liczba publikacji – Polska i PW w liczbach  Statystyczny polski naukowiec, zatrudniony w szkole wyższej, publikuje raz na cztery lata artykuł w czasopiśmie z tzw. listy filadelfijskiej (według autorów bazy Web of Knowledge) 6 * Wolszczak-Derlacz J., Parteka A.:Produktywność naukowa wyższych szkół publicznych w Polsce. Bibliometryczna analiza porównawcza. Warszawa: Ernst&Young, 2010, ISBN: Dokument onlineDokument online ** SciVal – narzędzie firmy Elsevier - na podstawie bazy SCOPUS. Dane za lata  dla porównania przeciętny naukowy pracownik szwajcarskiej uczelni publikuje w jednym z czasopism z tej listy co roku, a niemiecki czy austriacki naukowiec nieco rzadziej niż raz na dwa lata *  Politechnika Warszawska. Ranking autorów i czasopism wg liczby publikacji **

Lista Filadelfijska = Master Journal List 7  Lista czasopism naukowych opracowana i aktualizowana począwszy od 1964 roku przez Institut of Scientific Information (ISI) * - obecnie Thomson Reuters Scientific - zawierająca tytuły czasopism, które przeszły proces oceny (peer review) i są uwzględniane przez bazy wydawane przez Thomson Reuters takie jak: Web of Science, BIOSIS, Inspec, CurrentContent i Zeological Records  czasopisma są wybierane na podstawie tzw. Prawa Bradforda, które mówi, że w każdej dziedzinie naukowej istnieje pewna, niezbyt liczna grupa czasopism (od 5 do 30), w których ukazuje się 99% wszystkich naprawdę istotnych dla danej dziedziny publikacji. Pozostałe czasopisma można uznać za drugorzędne * zwany Instytutem Filadelfijskim – komercyjna instytucja naukowa, która gromadzi, przetwarza i udostępnia naukowe bazy danych, tworzone na podstawie ogólnodostępnych informacji (czasopisma naukowe, książki, patenty, wydawnictwa konferencyjne)  Wykaz ten nazwał skrótowo „listą filadelfijską” prof. Andrzej Kajetan Wróblewski i nazwa ta jest powszechnie używana w Polsce

 Lista filadelfijska nie podaje wskaźnika Impact Factor dla czasopisma! Lista filadelfijska = Master Journal List 8  Link do Listy w Zakładce Wskaźniki oceny czasopism na stronie Biblioteki Głównej PW lub bezpośrednio na stronie Thomson ReutersWskaźniki oceny czasopism  Termin „lista filadelfijska” często jest błędnie używany na określenie listy czasopism, które mają obliczony wskaźnik Impact Factor (IF)

 Zawiera tytułów czasopism (w tym ponad 200 tytułów polskich * ) z zakresu nauk ścisłych, medycznych, rolniczych i technicznych oraz w niewielkim stopniu nauk społecznych 9  Dane bibliograficzne czasopisma uwzględnionego na liście zawierają wyłącznie tytuł czasopisma, częstotliwość ukazywania się, ISSN, adres wydawcy oraz bazy, w których jest indeksowane Lista filadelfijska = Master Journal List * Zobacz: / Sprawdź sam / Wskaźniki oceny czasopism / Polskie czasopisma na liście filadelfijskiejwww.bg.pw.edu.pl

10 Liczba cytowań praca cytująca / praca cytowana / autocytowanie  Praca cytująca - publikacja, w której autor powołuje się na prace innych autorów  Praca cytowana - publikacja, na którą powołuje się autor pracy (patrz: bibliografia w pracy cytującej)  Autocytowanie - cytowanie przez autora jego własnej publikacji Ta sama praca może być raz pracą cytującą jakieś publikacje a w innych przypadkach pracą cytowaną, na którą powołują się autorzy innych publikacji, umieszczając ją w załączonych do nich bibliografiach

 Cytowalność - stosunek liczby cytowań do liczby publikacji, czyli średnia liczba cytowań jednej publikacji Liczba cytowań 11  Dokładną liczbę cytowań prac danego autora można ustalić mając do dyspozycji pełny spis jego publikacji  Liczba cytowań:  dla zadanego przedziału czasowego  całkowita  Liczba cytowań – określa, ile razy publikacja została zacytowana w innych pracach naukowych

 Prace mogą być znacznie rzadziej cytowane w danym okresie, ponieważ nie zostały jeszcze właściwie docenione * Liczba cytowań - wady 12  Prace bywają cytowane ponieważ są błędne, właśnie w celu podkreślenia błędów  Prace przeglądowe (review), które nie zawierają nowych wyników badań autora, są cytowane zdecydowanie częściej niż inne  Jeśli nazwisko autora zostanie w bibliografii danej pracy podane z błędem, przekręcone, to błąd zostanie powielony w SCI. Bibliografie w SCI są wierną kopią cytowań w oryginalnych pracach  Podnoszenie wskaźnika cytowań przez autocytowania * Publikacja M. Polanyiego o „wiedzy niejawnej” – jedna z ważniejszych obecnie w dziedzinie zarządzania wiedzą – nie była cytowana przez 25 lat

Dyscyplina Liczba publikacji Liczba cytowań Średnia liczba cytowań Multidisciplinary ,17 Neuroscience ,33 Biochemistry, Genetics and Molecular Biology ,48 Immunology and Microbiology ,58 Chemistry ,11 Environmental Science ,27 Psychology ,15 Health Professions ,52 Earth and Planetary Sciences ,33 Agricultural and Biological Sciences ,31 Physics and Astronomy ,24 Pharmacology, Toxicology and Pharmaceutics ,12 Medicine ,65 Economics, Econometrics and Finance ,3 Materials Science ,87 Chemical Engineering ,14 Computer Science ,02 Mathematics ,53 Business, Management and Accounting ,07 Engineering ,05 Social Sciences ,87 Energy ,7 Arts and Humanities ,75 Liczba cytowań 13  W różnych dyscyplinach naukowych panują różne zwyczaje dotyczące cytowań prac innych autorów. Stąd różnice średniej liczby cytowań, podawanych w pracach z różnych dyscyplin, mogą być znacząco duże Miejsce dyscyplin naukowych w świecie wg średniej liczby cytowań prac za okres Dane za SJR — SCImago Journal & Country Rank. Retrieved February 05, 2013, from

Liczba cytowań - Polska w liczbach 14  Publikacja naukowa z polską afiliacją jest średnio cytowana sześć razy, co jest wartością dwa-trzy razy niższą niż w przypadku publikacji autorów z Europy Zachodniej lub USA * * Źródło: Essential Science Indicators SM from Thomson Reuters, time period: 2001-August 31, 2011 (fourth bimonthly period of 2011).

15  Impact Factor - „miara oddziaływania” – wskaźnik stworzony przez dr Eugene Garfielda – założyciela Institute of Scientific Information. Zaprojektowany do wykorzystania w naukach o medycznych i przyrodniczych, obecnie stosowany również w innych dyscyplinach Impact Factor  dostarcza informacji o międzynarodowym uznaniu czasopisma - świadczy o tym, jak często cytowania artykułów opublikowanych w tym czasopiśmie pojawiają się w pracach naukowych na całym świecie  łatwy do obliczenia  sposób obliczania nie faworyzuje żadnego tytułu czasopisma  liczbę cytowań da się jednoznacznie przypisać

Impact Factor  Liczba cytowań w 2010 roku artykułów opublikowanych w latach: 2009 = = 77 SUMA = 122  Liczba artykułów opublikowanych w latach: 2009 = = 63 SUMA =  Wartość wskaźnika IF oblicza się wg wzoru IF= x/y, gdzie: x – to liczba cytowań uzyskanych przez czasopismo w roku bieżącym dla artykułów opublikowanych w nim w ciągu 2 poprzednich lat y – to liczba wszystkich publikacji, które ukazały się w danym czasopiśmie w ciągu ostatnich 2 lat Przykład: IF dla Acta Geophysica za 2010 rok 122 = IF=

Impact Factor  Wysokość IF zmienia się co roku dla każdego czasopisma a niektóre tytuły wypadają z rankingu  Pamiętaj! Obecność w JCR jest pochodną obecności na liście filadelfijskiej (LF) i tym samym w Web of Science. Czyli najpierw indeksowanie czasopisma w WoS i obecność na LF, a po dwóch latach są już dane, na podstawie których można wyliczyć Impact Factor Nie wszystkie czasopisma z listy filadelfijskiej (Master Journal List) posiadają wskaźnik IF, a więc nie wszystkie występują w JCR 17  Tytuły czasopism legitymujących się wskaźnikiem IF publikowane są w postaci listy za dany rok i umieszczane w bazie Journal Citation Reports (JCR)

Impact Factor - wady  Na wielkość wskaźnika mają wpływ jedynie cytowania pojawiające się w rok lub dwa po publikacji artykułu (oddziaływanie w krótkiej skali czasu) 18  zdarza się, że interesujący artykuł z różnych względów jest przez okres dwóch lat niedostrzeżony przez innych badaczy. Jeżeli zacznie być cytowany po upływie tego czasu – IF tego już nie obejmie. np. w naukach matematycznych ważniejsze mogą być cytowania, które praca uzyskuje wiele lat od daty jej publikacji  Zwykle wyższy IF mają czasopisma:  anglojęzyczne zgodnie z przyjętym założeniem, że język angielski jest uniwersalnym językiem nauki  przeglądowe, a nie oryginalne  IF oblicza się jedynie czasopismom z listy filadelfijskiej  udział czasopism zaliczonych do tzw. listy filadelfijskiej dla różnych dyscyplin jest bardzo różny

Impact Factor - wady 19  zawyżanie IF przez samocytowania lub zalecanie autorom cytowania artykułów zamieszczonych w danym czasopiśmie  wskaźnik własnych cytowań oblicza się jako stosunek własnych cytowań czasopisma do liczby łącznych cytowań we wszystkich czasopismach, w tym we własnym. np. czasopismo X było cytowane razy przez wszystkie czasopisma, w tym 2000 razy przez siebie – wskaźnik własnych cytowań wynosi 2/18 czyli 11,1%  80% wszystkich czasopism indeksowanych w JCR charakteryzuje się wskaźnikiem własnych cytowań na poziomie 20% i niższym. Znaczne odstępstwo od tej wartości jest sygnałem do przeprowadzenia przez redaktorów Thomson Reuters kontroli, w celu ustalenia czy wysoki wskaźnik własnych cytowań nie został zastosowany jako środek do podwyższenia IF – w skrajnym przypadku czasopismo „spada” z JCR.

Impact Factor - wady 20  Taki los spotkał w ostatnich latach, m.in. dwa polskie tytuły:  „POLIMERY” – prawie 80% cytowań „impaktowych” w 2007 r. to samocytowania oraz  „Przegląd Elektrotechniczny” - zaprzestano indeksowanie w JCR poczynając od stycznia 2013 (współczynnik samocytowań – 77%) Liczba samocytowań w Przeglądzie Elektrotechnicznym na podstawie danych z JCR 2011

21  JCR Science Edition: zawiera dane z ponad 8336 czasopism w 176 kategoriach tematycznych  JCR Social Sciences Edition: zawiera dane z ponad 2966 czasopism w 56 kategoriach tematycznych  Baza online jest dostępna w ramach licencji krajowej w dwóch wydaniach:  Ponieważ w każdym dostępnym roczniku (edycji) JCR jest możliwość sprawdzenia wskaźnika IF danego tytułu czasopisma za ostatnie 5 lat to okazuje się, że wybierając rok 2008 mamy również podgląd na IF od roku 2004 ( oczywiście dotyczy to tylko tytułów indeksowanych w tym roku) Journal Citation Reports (JCR)  Baza zawiera dane za kolejne lata od roku 2008

22  W bazie Journal Citation Reports można wyświetlić:  czasopisma najczęściej cytowane w danej dziedzinie  czasopisma najbardziej popularne w danej dziedzinie  czasopisma mające największe oddziaływanie na daną dziedzinę  czasopisma publikujące najwięcej artykułów z danej dziedziny  dane do porównań dotyczące kategorii tematycznych Journal Citation Reports (JCR)

23  Baza online pozwala:  sprawdzić, które czasopismo ma najwyższy IF (CA-A CANCER JOURNAL FOR CLINICIANS – ) *  jakie nowe tytuły trafiły na listę w ostatnim roku (bez IF)  uzyskać inne wskaźniki powiązania pomiędzy cytującymi i cytowanymi artykułami * JCR Science Edition2011  wskaźniki te odnoszą się wyłącznie do określonego czasopisma, a nie do autorów poszczególnych publikacji

Journal Citation Reports (JCR) – Jak dotrzeć 24 / zakładka E-Źródła / Lista e-baz

Rocznik Całkowita liczba czasopism Liczba polskich czasopism Procentowy udział Polski , , , ,51 Źródło: Journal Citation Reports Science Edition Polskie czasopisma w JCR 25 Ranking polskich czasopism (pierwsza ósemka) wg wielkości IF (JCR Science Edition 2011)

Indeks Hirscha – h-index  Współczynnik h (opracowany przez Jorge E. Hirscha w 2005 r.) jest sposobem mierzenia osiągnięć naukowych z uwzględnieniem liczby publikacji i liczby cytowań 26  Współczynnik h dla danego autora oznacza, że ze wszystkich publikacji analizowanej osoby „h” prac cytowanych było „h” i więcej razy. Np. współczynnik h=10 oznacza, że autor ma 10 publikacji cytowanych co najmniej 10 razy czyli H-index tworzy się poprzez uszeregowanie artykułów wg liczby cytowań i wybranie pozycji, dla której liczba cytowań jest większa lub równa jej liczbie porządkowej

27  Indeks h można stosować także do oceny dorobku naukowego grupy uczonych, instytutu, uczelni a nawet kraju. Oblicza się go poprzez zsumowanie wszystkich publikacji i cytowań danej jednostki w okresie rocznym, aby w ten sposób obliczyć wskaźnik Hirscha (h) dla tej jednostki Indeks Hirscha – Polska i PW w liczbach * Ranking krajów (pierwsza dziesiątka). Źródło: SCImago. (2007). SJR — SCImago Journal & Country Rank. Retrieved February 18, 2013, from  indeks Hirscha dla Polski wynosi 281, co daje 24 miejsce w światowym rankingu * CountryH index United States United Kingdom 802 Germany 704 France 646 Canada 621 Japan 602 Italy 550 Netherlands 545 Switzerland 537 Sweden 484  indeks Hirscha dla PW wynosi 112, co oznacza, że 112 prac z afiliacją PW było cytowanych co najmniej 112 razy (Źródło: baza SCOPUS)

28  Indeks h nie premiuje tzw. big hits (prace szczególnie dobrze cytowane) Indeks Hirscha – h-index Autor AAutor B PraceLiczba cytowań Suma cytowań h=9h=3  Indeks h nie odwzorowuje dorobku naukowego uczonego, którego, np. jedna praca – wynik wieloletnich badań – jest cytowana kilka tysięcy razy. Praca Piotra Chomczyńskiego w „Analytical Biochemistry” cytowana jest ponad 59 tys. razy, ale podnosi ona autorowi indeks Hirscha tylko o jeden punkt, podobnie jak publikacja cytowana kilkadziesiąt razy

Indeks Hirscha – h-index 29  Indeks h nie uwzględnia:  zależności liczby cytowań od rodzaju dyscypliny (średnia liczba publikowanych prac, średnia liczba współautorów jednej pracy oraz średnia liczba cytowań w różnych dziedzinach jest istotnie różna)  wielkości placówki - w odniesieniu do instytutu czy uczelni (dla instytutu zatrudniającego wielu pracowników indeks h będzie - na ogół - wyższy niż dla małego zakładu)  Indeks h nie zależy od czasopisma, w którym praca się ukazała; jedynym kryterium jest liczba cytowań  wariant zmodyfikowany, zaproponowany w 2008 r. przez Jeana Francoisa Molinariego oraz Alaina Molinariego – oznaczony hm, połączony z indeksem Hirscha i liczbą publikacji zależnością hm= h/N0,4 gdzie: hm - oznacza zmodyfikowany indeks Hirscha, h - indeks Hirscha, N - liczbę publikacji

30 Indeks Hirscha – h-index  Naukowcy z jednej dziedziny mogą mieć bardzo różne wskaźniki h w porównaniu z naukowcami z innych dziedzin nauki  Wartość h = 11 dla matematyków znaczy coś innego niż ta sama wartość w przypadku biologów (publikują więcej, a w każdej pracy cytują więcej innych prac)  Porównanie indeksów h dwóch uczonych ma sens po uwzględnieniu średnich wartości charakteryzujących obie dziedziny wiedzy Miejsce polskich dyscyplin naukowych w świecie [wg ich wartości indeksu Hirscha. Źródło: SCImago. (2007). SJR — SCImago Journal & Country Rank. Retrieved February 18, 2013, from

Liczba cytowań i Indeks Hirscha 31  Uzyskiwana w oparciu o źródła bibliometryczne, takie jak:  baza publikacji i cytowań Web of Science (WoS) na platformie ISI Web of Knowledge  baza publikacji i cytowań SCOPUS ( informacje o cytowaniach dostępne są od 1996 roku )  program „Publish or Perish”  usługa Google Scholar Citations

32 Lista MNiSW  Czasopisma punktowane przez MNiSW - Minister Nauki i Szkolnictwa Wyższego publikuje na stronie Ministerstwa w formie komunikatu wykaz czasopism naukowych wraz z liczbą punktów przyznawanych za publikacje w tych czasopismach  Wykaz składa się z trzech części i zawiera odpowiednio: Część A Część A – czasopisma z obliczonym współczynnikiem wpływu (Impact Factor – IF), umieszczone w bazie JCR (od 20 do 50 pkt za publikację w tych czasopismach) Część BCzęść B – czasopisma nieposiadające obliczonego IF (od 0,25 do 10 pkt) Część CCzęść C – czasopisma umieszczone w bazie European Reference Index for the Humanities (ERIH) (12/16/20 pkt)

Biblioteka Główna Politechniki Warszawskiej33  Wykaz jest dostępny na stronie MNiSW. Zalecamy korzystanie z zakładki Na skróty Lista MNiSW

34 Lista MNiSW  Wykaz zawiera około 16 tysięcy czasopism, z tego w części A jest czasopism, w części B – 1854, a w części C – Ponad 1800 pozycji na tej liście to czasopisma polskie ( w części B, w części A, a 100 w części C) Rozkład ocen czasopism w ramach części „A” wykazu * Rozkład ocen czasopism w ramach części „B” wykazu – grupa „TZ” (czasopisma z zakresu nauk technicznych, ścisłych, medycznych i przyrodniczych * * Wilkin J.: Ocena parametryczna czasopism naukowych w Polsce – podstawy metodologiczne, znaczenie praktyczne, trudności realizacji i perspektywy. „Forum Akademickie" Dostęp online: czasopism-naukowych-w-polsce-podstawy-metodologiczne-znaczenie-praktyczne-trudnosci-realizacji-i-perspektywy/

35 Lista MNiSW Elektroniczny system składania ankiet czasopism Aby wypeł­nić ankietę, trzeba wpierw zało­żyć konto w sys­te­ mie POLON. Następ­nie powin­ni­śmy wyszu­kać w bazie cza­so­ pi­smo. Jeżeli nie jest ono zamiesz­czone – należy podać pod­ sta­wowe dane, aby zare­je­stro­wać czasopismo

36 Lista MNiSzW  można spraw­dzić, jak wygląda gene­ra­tor, bez logo­wa­nia się do niego

37 Podsumowanie  wskaźniki bibliometryczne powinno się stosować zachowując dużą ostrożność, uwzględniając specyfikę danej dziedziny a nawet dyscypliny naukowej z osobna  nie należy porównywać bezwzględnych wartości poszczególnych wskaźników. Zaleca się stosowanie danych skalowanych, tzn. wielkości względne odniesione do wartości średnich indeksów w danej dziedzinie nauki w danym okresie czasu  należy zwrócić uwagę na ewentualne rozbieżności wyników pochodzących z różnych źródeł: Dane na podstawie publikacji prof. H. Rybińskiego  Zjawiska, które mogą mieć wpływ na wysokość wskaźników bibliometrycznych:  sztuczne „nabijanie” cytowań  mody na pewne tematy  utajnianie wyników  polityka językowa wydawców (dominacja języka angielskiego)

38 Literatura: Kapczyński M.: Czasopisma Master Journal List – kryteria wyboru i proces indeksowania. Materiały szkoleniowe. Thomson Reuters w Warszawie, [2012]. Prezentacja PDF Kierzek R: Publikowalność naukowa w Polsce. „Forum Akademickie" 2010 nr 7/8 s Dostęp online: Kierzek R: Jak porównać „apples and oranges", czyli o różnych metodach analizy publikowalności i dorobku naukowego. „Biuletyn Sprawy Nauki" 2009 nr 2/143 s Dostęp online: publikacje/sprawy-nauki/forum/forum/artykul/prof-ryszard-kierzek-jak-porownac-8222apples-and-oranges-czyli-o-roznych- metodach-analiz/ Kierzek R: Polska nauka w indeksie Hirscha. „Biuletyn Sprawy Nauki" 2008 s Dostęp online: polska-nauka-w-indeksie-hirscha/ Misiak P.: Naukofizyka. „Forum Akademickie" 2005 nr 9 s.3-8. Pilc A.: Na tropach jakości w nauce. Współczynnik h w naukach biomedycznych w Polsce. „Forum Akademickie" 2005 nr 12. Kuś, M., Mankiewicz, L., Życzkowski, K.: Porównywanie indeksów Hirscha uczonych i instytucji naukowych. „Sprawy Nauki” 2009 nr 3/144, s Przyłuska J., Maczuga J.: Wskaźniki bibliometryczne w ocenie aktywności publikacyjnej pracowników naukowych. „ Forum Bibl. Med.” 2011 T. 4 nr 1 s Althouse, B. M., West, J. D., Bergstrom, C. T. and Bergstrom, T.:Differences in impact factor across fields and over time. „J. Am. Soc. Inf. Sci.” 2009 vol. 60 nr 1 p. 27–34

39 Racki G.: Jak podwyższyć impact factor czasopisma (i ministerialne dotacje dla instytutu)?. „Sprawy Nauki” 2009 nr 3/144. Wolszczak-Derlacz J., Parteka A.: Produktywność naukowa wyższych szkół publicznych w Polsce. Bibliometryczna analiza porównawcza. Warszawa: Ernst&Young, 2010, ISBN: Dostęp online: Wróblewski A.K: Co należy wiedzieć o cytowaniach prac naukowych. "Sprawy Nauki" 1996 nr 2 s.3-8 Wilkin J.: Ocena parametryczna czasopism naukowych w Polsce – podstawy metodologiczne, znaczenie praktyczne, trudności realizacji i perspektywy. „Forum Akademickie" Dostęp online: podstawy-metodologiczne-znaczenie-praktyczne-trudnosci-realizacji-i-perspektywy/ Turecka D.: Lista filadelfijska. „Forum Akademickie” 2007 nr 12. Dostęp online: Życzkowski K.: Ile waży jedno cytowanie? „Forum Akademickie” 2011 nr 10 Racki G.: Dwuznaczny urok listy czasopism punktowanych. W: Bibliograficzne bazy danych : kierunki rozwoju i możliwości współpracy. Bydgoszcz, maja [Warszawa] : Stowarzyszenie Bibliotekarzy Polskich, K[omisja] W[ydawnictw] E[lektronicznych], Redakcja "Elektronicznej Biblioteki", (EBIB Materiały konferencyjne nr 19). - ISBN: Dostęp online: