Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.

Slides:



Advertisements
Podobne prezentacje
I część 1.
Advertisements

Joanna Sawicka Wydział Nauk Ekonomicznych, Uniwersytet Warszawski
Metody badania stabilności Lapunowa
Nieliniowa metoda najmniejszych kwadratów
Obserwowalność System ciągły System dyskretny
Systemy stacjonarne i niestacjonarne (Time-invariant and Time-varing systems) Mówimy, że system jest stacjonarny, jeżeli dowolne przesunięcie czasu  dla.
Systemy liniowe stacjonarne – modele wejście – wyjście (splotowe)
Metody Sztucznej Inteligencji 2012/2013Zastosowania systemów rozmytych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Zastosowania.
Sieć jednokierunkowa wielowarstwowa
Mechanizm wnioskowania rozmytego
Katedra Informatyki Stosowanej UMK
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Perceptrony
Sztuczne sieci neuronowe
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010Optymalizacja miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz,
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Systemy dynamiczneOdpowiedzi systemów – modele różniczkowe i różnicowe Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania 1 Systemy.
Perceptrony proste liniowe - Adaline
Obserwowalność System ciągły System dyskretny u – wejścia y – wyjścia
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania.
Nieliniowa metoda najmniejszych kwadratów
Sieci Hopfielda.
Sieci neuronowe jednokierunkowe wielowarstwowe
Wykonawcy:Magdalena Bęczkowska Łukasz Maliszewski Piotr Kwiatek Piotr Litwiniuk Paweł Głębocki.
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Systemy wspomagania decyzji
Sztuczne Sieci Neuronowe
Komputerowe Wspomaganie w Inżynierii Materiałowej
Teoria sterowania 2012/2013Sterowanie – użycie obserwatorów pełnych II Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 1 Sterowanie.
Metody Lapunowa badania stabilności
Obserwatory zredukowane
Stabilność Stabilność to jedno z najważniejszych pojęć teorii sterowania W większości przypadków, stabilność jest warunkiem koniecznym praktycznego zastosowania.
Podstawy automatyki 2012/2013Transmitancja widmowa i charakterystyki częstotliwościowe Mieczysław Brdyś, prof. dr hab. inż.; Kazimierz Duzinkiewicz, dr.
Rozważaliśmy w dziedzinie czasu zachowanie się w przedziale czasu od t0 do t obiektu dynamicznego opisywanego równaniem różniczkowym Obiekt u(t) y(t) (1a)
formalnie: Uczenie nienadzorowane
Uczenie w Sieciach Rekurencyjnych
Systemy wspomagania decyzji
Modelowanie i identyfikacja 2010/2011Optymalizacja miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra.
Modelowanie i podstawy identyfikacji 2012/2013Modele fenomenologiczne - dyskretyzacja Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1.
Miary efektywności/miary dobroci/kryteria jakości działania SSN
Perceptrony proste liniowe - Adaline
Teoria sterowania 2011/2012Stabilno ść Kazimierz Duzinkiewicz, dr hab. in ż. Katedra In ż ynierii Systemów Sterowania 1 Stabilność Stabilność to jedno.
Dekompozycja Kalmana systemów niesterowalnych i nieobserwowalnych
Teoria sterowania 2011/2012Sterowanie – metody alokacji biegunów III Kazimierz Duzinkiewicz, dr hab. in ż. Katedra In ż ynierii Systemów Sterowania 1 Sterowanie.
Sterowanie – metody alokacji biegunów
Podstawy automatyki 2011/2012Systemy sterowania - struktury –jakość sterowania Mieczysław Brdyś, prof. dr hab. inż.; Kazimierz Duzinkiewicz, dr hab. inż.
Kalendarz 2011r. styczeń pn wt śr czw pt sb nd
Obserwowalność i odtwarzalność
Sterowanie – metody alokacji biegunów II
Stabilność Stabilność to jedno z najważniejszych pojęć dynamiki systemów i teorii sterowania W większości przypadków, stabilność jest warunkiem koniecznym.
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Modelowanie i identyfikacja 2013/2014 Identyfikacja rekursywna i nieliniowa I 1 Katedra Inżynierii Systemów Sterowania  Kazimierz Duzinkiewicz, dr hab.
Obliczalność czyli co da się policzyć i jak Model obliczeń sieci liczące dr Kamila Barylska.
Teoria sterowania SN 2014/2015Sterowalność, obserwowalność Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania 1 Sterowalność -
Systemy dynamiczne 2014/2015Obserwowalno ść i odtwarzalno ść  Kazimierz Duzinkiewicz, dr hab. in ż. Katedra In ż ynierii Systemów Sterowania 1 Obserwowalność.
Kalendarz 2020.
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
 Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Metody sztucznej inteligencji – Technologie rozmyte i neuronoweSystemy.
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Perceptrony proste nieliniowe i wielowarstwowe © Kazimierz Duzinkiewicz, dr hab.
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Modelowanie i podstawy identyfikacji
Systemy neuronowo – rozmyte
Perceptrony o dużym marginesie błędu
Sterowanie procesami ciągłymi
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Zapis prezentacji:

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe Uczenie sieci wielowarstwowowych – metoda propagacji wstecznej

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 2 Sieci wielowarstwowe jednokierunkowe Wskaźnik jakości uczenia Podobnie jak dla sieci jednowarstwowych, uczenie sieci wielowarstwowej realizowane jest metodą pod nadzorem. Sieci przedstawiany jest w trakcie procesu uczenia zbiór uczący - przykłady właściwego działania sieci Uczenie sieci powinno prowadzić do minimalizacji oczekiwanej wartości średniej kwadratu błędu dla sieci z jednym neuronem w warstwie wyjściowej dla sieci z wieloma neuronami w warstwie wyjściowej

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 3 Sieci wielowarstwowe jednokierunkowe Podobnie jak dla sieci jednowarstwowych estymujemy wartość oczekiwaną kwadratu błędu kwadratem błędu w k-tej iteracji (po przeprowadzeniu k-tej prezentacji (pewnej pary uczącej)) dla sieci z jednym neuronem w warstwie wyjściowej dla sieci z wieloma neuronami w warstwie wyjściowej

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 4 Sieci wielowarstwowe jednokierunkowe Uczenie sieci wielowarstwowej - reguła propagacji wstecznej (backpropagation) Reguła propagacji wstecznej jest uogólnieniem reguły delty na przypadek sieci wielowarstwowej Korzystamy z ogólnej formuły iteracyjnej metody gradientu prostego zmiany wartości wag i progów dla neuronu dowolnej m tej warstwy zapewniającej minimalizowanie wskaźnika jakości działania sieci Jak została skonstruowana reguła delty? Jak ją wykorzystamy w sieciach wielowarstwowych?

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 5 Sieci wielowarstwowe jednokierunkowe Notacja 1 Notacja 2 Formuła wyjściowa reguły delty

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 6 Sieci wielowarstwowe jednokierunkowe Funkcjonał błędu jest funkcją złożoną wartość tego funkcjonału zależy w pierwszej kolejności od wartości wzorca wyjściowego rzeczywistego czyli w szczególności dla warstwy wyjściowej od

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 7 Sieci wielowarstwowe jednokierunkowe w drugiej kolejności od wartości sygnału pobudzenia czyli w szczególności dla warstwy wyjściowej od Notacja 1

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 8 Sieci wielowarstwowe jednokierunkowe Notacja 2 czyli w szczególności dla warstwy wyjściowej od w trzeciej kolejności od wartości wag i wartości progu dla i m tego neuronu m tej warstwy Możemy zatem napisać

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 9 nazywa się czułością (sensitivity) funkcjonału na zmiany pobudzenia tego neuronu m tej warstwy Sieci wielowarstwowe jednokierunkowe Zapiszemy narazie te wyrażenia w postaci W ostatnim zapisie wielkość

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 10 Sieci wielowarstwowe jednokierunkowe Ponieważ więc

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 11 Sieci wielowarstwowe jednokierunkowe Możemy zatem napisać i podać reguły modyfikacji wag i progów w bardziej szczegółowej postaci

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 12 Sieci wielowarstwowe jednokierunkowe Dla wszystkich wag i progów związanych z tym neuronem m tej warstwy możemy napisać Dla wag i progów wszystkich neuronów m tej warstwy otrzymamy zapis macierzowy

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 13 Aby zakończyć konstruowanie reguły propagacji wstecznej musimy pokazać jak można obliczać wektory czułości dla poszczególnych warstw Sieci wielowarstwowe jednokierunkowe W ostatnim zapisie

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 14 Sieci wielowarstwowe jednokierunkowe Formalnie możemy zaproponować inny sposób obliczania czułości czyli

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 15 Sieci wielowarstwowe jednokierunkowe Policzymy

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 16 Sieci wielowarstwowe jednokierunkowe gdzie

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 17 Sieci wielowarstwowe jednokierunkowe Obliczone w ten sposób pochodne dla ego neuronu m+1 szej warstwy względem wszystkich związanych z nim pobudzeń neuronów warstwy m tej tworzą wektor

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 18 Sieci wielowarstwowe jednokierunkowe Wszystkie obliczone w ten sposób pochodne dla m+1 ej warstwy tworzą jakobian

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 19 Sieci wielowarstwowe jednokierunkowe Korzystając z poprzednio wyprowadzonego wzoru na możemy podać zależność macierzową na obliczenie jakobianu czułości gdzie

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 20 Sieci wielowarstwowe jednokierunkowe Możemy teraz podać zależność rekurencyjną na obliczenie wektora czułości dla pobudzeń neuronów m tej warstwy Ostatnia zależność tłumaczy skąd reguła propagacji wstecznej wzięła swoją nazwę. Czułość można określić przemieszczając się wstecz sieci od warstwy ostatniej do pierwszej

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 21 Sieci wielowarstwowe jednokierunkowe Dla zakończenia prezentacji reguły propagacji wstecznej musimy pokazać jak obliczyć wielkość początkującą obliczanie czułości, czyli

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 22 Sieci wielowarstwowe jednokierunkowe lub dla całej warstwy wyjściowej Możemy napisać Ponieważ

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 23 Sieci wielowarstwowe jednokierunkowe Reguła propagacji wstecznej – kroki postępowania Krok1: Oblicz odpowiedzi poszczególnych warstw sieci rozpoczynając od pierwszej a kończąc na ostatniej dla kolejnej pary wzorców (po k-ej prezentacji)

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 24 Sieci wielowarstwowe jednokierunkowe Krok 2: Oblicz czułości dla poszczególnych warstw sieci rozpoczynając od ostatniej a kończąc na pierwszej dla kolejnej pary wzorców (po k+1-ej prezentacji):

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 25 Sieci wielowarstwowe jednokierunkowe Krok 3: Zmodyfikuj wartości wag i progów korzystając z metody gradientu prostego:

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 26 Sieci wielowarstwowe jednokierunkowe Przykład: Sieć z poprzedniego przykładu Struktura sieci

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 27 Sieci wielowarstwowe jednokierunkowe Bieżące (początkowe, k=0) wartości wag i progów: Na wejście sieci podano sygnał: Wzorcowa odpowiedź sieci: Sprawdzić, czy sieć umie już odpowiadać poprawnie na podany sygnał, a jeżeli nie zmodyfikować jej wagi i progi metodą propagacji wstecznej

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 28 Sieci wielowarstwowe jednokierunkowe Krok1: Odpowiedzi warstw i sieci

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 29 Sieci wielowarstwowe jednokierunkowe Krok2: Czułości dla poszczególnych warstw

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 30 Sieci wielowarstwowe jednokierunkowe Stąd

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 31 Sieci wielowarstwowe jednokierunkowe Krok3: Modyfikacja wartości wag i progów Przyjmiemy: α=0.1

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 32 Sieci wielowarstwowe jednokierunkowe

Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 33 Koniec materiału prezentowanego podczas wykładu Dziękuję za uczestnictwo w wykładzie i uwagę