Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe Uczenie sieci wielowarstwowowych – reguła propagacji wstecznej

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 2 Sieci wielowarstwowe jednokierunkowe Wskaźnik jakości uczenia Podobnie jak dla sieci jednowarstwowych, uczenie sieci wielowarstwowej realizowane jest metodą pod nadzorem. Sieci przedstawiany jest w trakcie procesu uczenia zbiór uczący - przykłady właściwego działania sieci Uczenie sieci powinno prowadzić do minimalizacji oczekiwanej wartości średniej kwadratu błędu  dla sieci z jednym neuronem w warstwie wyjściowej  dla sieci z wieloma neuronami w warstwie wyjściowej

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 3 Sieci wielowarstwowe jednokierunkowe Podobnie jak dla sieci jednowarstwowych estymujemy  wartość oczekiwaną kwadratu błędu  kwadratem błędu w k-tej iteracji (po przeprowadzeniu k-tej prezentacji (pewnej pary uczącej))  dla sieci z jednym neuronem w warstwie wyjściowej  dla sieci z wieloma neuronami w warstwie wyjściowej

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 4 Sieci wielowarstwowe jednokierunkowe Uczenie sieci wielowarstwowej - reguła propagacji wstecznej (backpropagation) Reguła propagacji wstecznej jest uogólnieniem reguły delty na przypadek sieci wielowarstwowej Korzystamy z ogólnej formuły iteracyjnej metody gradientu prostego zmiany wartości wag i progów dla neuronu dowolnej m ‑ tej warstwy zapewniającej minimalizowanie wskaźnika jakości działania sieci Jak została skonstruowana reguła delty? Jak ją wykorzystamy w sieciach wielowarstwowych?

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 5 Sieci wielowarstwowe jednokierunkowe Notacja 1 Notacja 2 Formuła wyjściowa reguły delty

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 6 Sieci wielowarstwowe jednokierunkowe Funkcjonał błędu jest funkcją złożoną  wartość tego funkcjonału zależy w pierwszej kolejności od wartości wzorca wyjściowego rzeczywistego czyli w szczególności dla warstwy wyjściowej od

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 7 Sieci wielowarstwowe jednokierunkowe  w drugiej kolejności od wartości sygnału pobudzenia czyli w szczególności dla warstwy wyjściowej od Notacja 1

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 8 Sieci wielowarstwowe jednokierunkowe Notacja 2 czyli w szczególności dla warstwy wyjściowej od  w trzeciej kolejności od wartości wag i wartości progu dla i m ‑ tego neuronu m ‑ tej warstwy Możemy zatem napisać

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 9 nazywa się czułością (sensitivity) funkcjonału na zmiany pobudzenia ‑ tego neuronu m ‑ tej warstwy Sieci wielowarstwowe jednokierunkowe Zapiszemy narazie te wyrażenia w postaci W ostatnim zapisie wielkość

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 10 Sieci wielowarstwowe jednokierunkowe Ponieważ więc

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 11 Sieci wielowarstwowe jednokierunkowe Możemy zatem napisać i podać reguły modyfikacji wag i progów w bardziej szczegółowej postaci

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 12 Sieci wielowarstwowe jednokierunkowe Dla wszystkich wag i progów związanych z ‑ tym neuronem m ‑ tej warstwy możemy napisać Dla wag i progów wszystkich neuronów m ‑ tej warstwy otrzymamy zapis macierzowy

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 13 Aby zakończyć konstruowanie reguły propagacji wstecznej musimy pokazać jak można obliczać wektory czułości dla poszczególnych warstw Sieci wielowarstwowe jednokierunkowe W ostatnim zapisie

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 14 Sieci wielowarstwowe jednokierunkowe Formalnie możemy zaproponować inny sposób obliczania czułości czyli

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 15 Sieci wielowarstwowe jednokierunkowe Policzymy

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 16 Sieci wielowarstwowe jednokierunkowe gdzie

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 17 Sieci wielowarstwowe jednokierunkowe Obliczone w ten sposób pochodne dla ‑ ego neuronu m+1 ‑ szej warstwy względem wszystkich związanych z nim pobudzeń neuronów warstwy m ‑ tej tworzą wektor

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 18 Sieci wielowarstwowe jednokierunkowe Wszystkie obliczone w ten sposób pochodne dla m+1 ‑ ej warstwy tworzą jakobian

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 19 Sieci wielowarstwowe jednokierunkowe Korzystając z poprzednio wyprowadzonego wzoru na możemy podać zależność macierzową na obliczenie jakobianu czułości gdzie

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 20 Sieci wielowarstwowe jednokierunkowe Możemy teraz podać zależność rekurencyjną na obliczenie wektora czułości dla pobudzeń neuronów m ‑ tej warstwy Ostatnia zależność tłumaczy skąd reguła propagacji wstecznej wzięła swoją nazwę. Czułość można określić przemieszczając się wstecz sieci od warstwy ostatniej do pierwszej

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 21 Sieci wielowarstwowe jednokierunkowe Dla zakończenia prezentacji reguły propagacji wstecznej musimy pokazać jak obliczyć wielkość początkującą obliczanie czułości, czyli

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 22 Sieci wielowarstwowe jednokierunkowe lub dla całej warstwy wyjściowej Możemy napisać Ponieważ

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 23 Sieci wielowarstwowe jednokierunkowe Reguła propagacji wstecznej – kroki postępowania Krok1: Oblicz odpowiedzi poszczególnych warstw sieci rozpoczynając od pierwszej a kończąc na ostatniej dla kolejnej pary wzorców (po k-ej prezentacji)

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 24 Sieci wielowarstwowe jednokierunkowe Krok 2: Oblicz czułości dla poszczególnych warstw sieci rozpoczynając od ostatniej a kończąc na pierwszej dla kolejnej pary wzorców (po k+1-ej prezentacji):

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 25 Sieci wielowarstwowe jednokierunkowe Krok 3: Zmodyfikuj wartości wag i progów korzystając z metody gradientu prostego:

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 26 Sieci wielowarstwowe jednokierunkowe Przykład: Sieć z poprzedniego przykładu Struktura sieci

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 27 Sieci wielowarstwowe jednokierunkowe Bieżące (początkowe, k=0) wartości wag i progów: Na wejście sieci podano sygnał: Wzorcowa odpowiedź sieci: Sprawdzić, czy sieć umie już odpowiadać poprawnie na podany sygnał, a jeżeli nie zmodyfikować jej wagi i progi korzystając z reguły propagacji wstecznej

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 28 Sieci wielowarstwowe jednokierunkowe Krok1: Odpowiedzi warstw i sieci

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 29 Sieci wielowarstwowe jednokierunkowe Krok2: Czułości dla poszczególnych warstw

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 30 Sieci wielowarstwowe jednokierunkowe Stąd

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 31 Sieci wielowarstwowe jednokierunkowe Krok3: Modyfikacja wartości wag i progów Przyjmiemy: α=0.1

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 32 Sieci wielowarstwowe jednokierunkowe

Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 33 Koniec materiału prezentowanego podczas wykładu Dziękuję za uczestnictwo w wykładzie i uwagę