Jak ewaluator odróżnia dobry projekt od złego? Przemysław Wojtaszek Uniwersytet im. Adama Mickiewicza Instytut Chemii Bioorganicznej PAN

Doświadczenie własne Strucuturing the European Research Area Human Resources and Mobility Marie Curie Actions: Mobility-6: Outgoing International Fellowships Mobility-7: Incoming International Fellowships Mobility-12: European Reintegration Grants

Doświadczenie własne – cd. Udział w ocenie projektów Mobility-6 i Mobility-7 Zgłoszonych: OIF: 282 zgłoszenia, w tym 251 ważnych IIF: 420 zgłoszeń, z czego 405 ważnych Ocena: recenzje: 39 raporty końcowe: 17

Procedura oceniania Każdy projekt ocenia 3 ekspertów Jeden z nich zostaje wybrany sprawozdawcą projektu Sprawozdawca przygotowuje propozycję raportu końcowego i przedstawia pozostałym ekspertom do akceptacji Sprawozdawca bierze udział w panelu, gdzie przedstawia wyniki Panel określa ranking projektów W zależności od budżetu określana jest liczba projektów przeznaczonych do dalszych negocjacji i finansowania

Kryteria oceny Scientific quality of the project Quality of research training Quality of the host Quality of the researcher Management and feasibility Relevance to the objective of the activity Added Value to the Community

Parametry dodatkowe Punktacja: 0 i od 1 do 5 w odstępach dziesiętnych Waga: przypisana do każdego kryterium jego „ważność” wyrażona w procentach Punkty odcięcia: minimalna wartość oceny akceptowanej Na przykładzie OIF waga punkt odcięcia Scientific quality of the project 15% - Quality of research training 15% 3 Quality of the host 15% - Quality of the researcher 15% 4 Management and feasibility 5% - Relevance to the objective of the activity 15% - Added Value to the Community 20% - Ocena końcowa podawana w skali 1-5 i procentowo (punkty odcięcia odpowiednio 3,5 oraz 70%)

Uwagi końcowe Doświadczenie zawodowe jest często zawodne: bardzo łatwo wyłapać projekty znakomite naukowe, lecz nie spełniające pozostałych warunków Warto oceniać wszystkie projekty naraz, ułożyć sobie ich własny ranking i dopiero potem przyznawać oceny Sprawozdawca w raporcie końcowym powinien odzwierciedlić różnice zdań lub zgodność poglądów – nie bać się własnych ocen, jeżeli jest się przekonanym o ich słuszności Po ocenach ekspertów rozpoczyna się etap „statystyczny”; trzeba więc projekty ocenić jak najuczciwiej; od nas zależy ich miejsce w matematycznym rankingu