IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka" Jacek WOŹNIAK, „O sposobach oceniania wyników działania szkoleniowego z perspektywy korzyści dla organizacji”

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Dwie tradycje oceny wyników szkolenie, tj. skuteczność (zgodność z celami) i efektywność (wartość wyników względem nakładów) Problem dla oceny skuteczności to wielość grup interesów, stąd cele szkolenia muszą zostać uzgodnione między grupami, bądź szkolenie ma odrębną ocenę względem celów każdej z grup interesu Oceny typu ROI wymagają przyjęcia szeregu problematycznych założeń: szkolenie nie jest częścią strategicznie a nie ekonomicznie istotnego projektu; znana jest funkcja matematyczna, pozwalająca od zmiany lokalnego wskaźnika w komórce organizacyjnej przejść do zmiany wyniku finansowego organizacji; znane są faktyczne koszty i zyski, a nie jedynie przychody i płatności; dla wiele potrzebnych szkoleń nie ma danych pozwalających na takie szacunki, bądź koszty ich pozyskania są zbyt duże – co przy rozpowszechnieniu praktyki ROI utrudniałoby ich prowadzenie IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Model Kirkpatricka czterech rodzajów efektu szkolenia Dwie sfery efektu u indywidualnej osoby mierzone na zakończenie szkolenia 1.Reakcja uczestników 2. Efekt nauczenia Dwie sfery zmian po jakimś czasie w organizacji – mierzone w pracy 3. Zmiany w działaniach uczestników, tzw. transfer 4. Zmiany w wynikowych wskaźnikach działania organizacji, np. obrót, produktywność, fluktuacja, morale Fakty: model Kirkpatricka, nazywany modelem czterech poziomów efektywności, stanowi praktycznie jedyny standard sposób myślenia o kontroli szkoleń praktyka szkoleniowa w zasadzie nie mierzy efektów z poziomów wyższych niż pierwszy (badanie reakcji) IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Trzy interpretacje teorii Kirkpatricka: 1.Typologiczna: Model stanowi jedynie typologię efektów szkolenia 2. Pozytywistyczna: Model pozwala na perswazyjnie przekonujące uzasadnienie, że zmiany we wskaźnikach organizacyjnych firma zawdzięcza szkoleniu, gdyż uczestnicy chcieli stosować treści szkoleniowe (co dowodzi badanie reakcji), nabyli wiedzę i umiejętności (co dowodzi wynik egzaminu końcowego) oraz zastosowali je w praktyce (co dowodzi wynik transferu) Rozumowanie ma wartość perswazyjną, ale zakłada pozytywistyczną wizją teorii działania Interpretacja ta znajduje uzasadnienie w tekście książki Kirkpatricka 3. Korelacyjna: wyniki badań na niższych poziomach są skorelowane z wynikami na poziomach wyższych Wyniki pomiarów poziomów niższych mogą być podstawą do przewidywania wyników badania na poziomach wyższych IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Historia badań nad korelacyjną interpretacją modelu Kirkpatricka 0. Potocznie uznano, że przewidywanie zastosowań w oparciu o wyniki egzaminów i opinie osób szkolonych jest możliwe 1.W roku stwierdzono, że brak jest badań naukowych zawierających wyniki pomiarów na 4 poziomach efektów 2.W pracy [Alliger 1989] dokonano meta-studium nad odnalezionymi badaniami Wyniki pomiaru reakcji nie korelują ani z wynikami nauczania, ani transferu Uznano wyniki badań reakcji za bezwartościowe „smile sheets” 3. W pracy [Alliger 1997] dokonano ponownie metastudium nad nową grupą wyników pomiarów, zawartych w tekstach naukowych badających cztery poziomy efektów konkretnych szkoleń Wyniki pomiaru reakcji nie korelują z wynikami nauczania Wyniki nauczania nie korelują z transferem Wyniki pomiaru reakcji, szczególnie pomiaru oceny „stosowalności” korelują z transferem IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Polska praktyka kontroli efektów w szkoleniach e-learningowych Dotychczas w polskiej praktyce e-learningowej szkolenia są przede wszystkim fragmentami większych projektów uzasadnionych strategicznie (zmiany w CRM jako element nowej strategii firmy) stąd RACJONALNA jest praktyka, że brak informacji zwrotnej od kierowników liniowych, że szkolenie nie przygotowało do pracy jest sensowną kontrolą szkolenia (miarą skuteczności) Kursy e-learningowe zwiększające wiedzę i umiejętności techniczne działania są kontrolowane poprzez wyniki testu końcowego Jest to sensowna praktyka badająca skuteczność nauczania, wzmacniająca zmotywowanie i zwiększająca zapamiętanie Kursy pozwalają nabywać umiejętności i wiedzę szeroko wykorzystywaną w praktycznej pracy, stąd nie ma potrzeby badania sensowności inwestycji (ROI) Kursy nakierowane na uzyskanie niezbędnych certyfikatów, znajomości obowiązkowych procedur korporacyjnych oraz wzrost kompetencji korporacyjnych nie wymagają innych ocen niż skuteczność, bo ich CEL NIE MA UZASADNIENIA EKONOMICZNEGO IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Kontrola efektów w wykorzystania szkoleń w modelu „uczenie na życzenie” Przejęcie zarządzania kwalifikowaniem na szkolenia przez samych pracowników wiedzy tzn.wprowadzenie modelu „uczenie na życzenie”, wymaga monitorowania zastosowania w praktyce wiedzy i umiejętności poznanych na szkoleniu Petersowski model nadmiaru dostępnego uczenia w środowisku „czadowych projektów”, bazuje na założeniu, że zewnętrzne harmonogramy zadań ograniczają bezproduktywne korzystanie ze szkoleń Badanie reakcji, zgodnie z [Alliger 1997], stanowi dobry prognostyk dla stosowania treści szkoleniowych Zarówno praktycy e-szkoleń w polskich firmach, jak i teoretycy [Johnoson 2008] postulują włączenie oceny „przydatności szkolenia w pracy” do kontroli efektów szkoleń IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"

Jacek WOŹNIAK, „O sposobach oceny wyników działania szkoleniowego” Podsumowanie: Stosowane obecnie metody kontroli efektów szkoleń e-learningowych bazują na modelu zarządzanych centralnie szkoleń, jako narzędzi uzupełnienia luki niezbędnej do realizacji strategicznie uzasadnionych działań W myśl obecnego stanu badań naukowych praktyka szkoleń tradycyjnych, bazująca na badaniu reakcji, tj. opinii uczestników wyrażonej w ankiecie na zakończenie szkolenia, jest RACJONALNA Deklaracja o przydatności szkolenia w pracy koreluje lepiej z faktycznym zastosowanie w pracy, niż wyniki nauczania Włączenie oceny „przydatności szkolenia w pracy”, mierzonej deklaracją uczestnika szkolenia, pozwala uzyskać wskaźnik oceny potencjalnego zastosowania e- learningowych treści szkoleniowych, a więc dostarcza narzędzi do kontroli efektów szkoleń prowadzonych w modelu „uczenie na życzenie” Praktycy są gotowi na włączanie takich ocen do korporacyjnych szkoleń e- learningowych IX Konferencja "Uniwersytet Wirtualny: model, narzędzia, praktyka"