Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1.

Podobne prezentacje


Prezentacja na temat: "Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1."— Zapis prezentacji:

1 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1 Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Dla uproszczenia, skupmy się dalej na sieciach o jednym wyjściu i jednym wejściu (SISO)

2 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania2 Wartość wyjścia sieci

3 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania3 Wartość wyjścia sieci - macierzowo

4 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania4 Wartość wyjścia sieci - macierzowo

5 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania5 Czy potrafimy sobie wyobrazić jak działa sieć neuronowa? Zbudujmy przykładową sieć perceptronową, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Elementarna komórka jednowarstwowa (dwuwarstwowa)

6 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania6 Połączenie komórek elementarnych......

7 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania7 Uproszczenia i wynik końcowy.... Sieć dwuwarstwowa (trójwarstwowa) Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcji

8 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania8 Przykład Funkcje aktywacji kolejnych warstw są następujące Liczba wejść Liczba neuronów warstwy 1 Liczba neuronów warstwy 2 – liczba wyjść Weźmy dwuwarstwową (trójwarstwową) sieć o strukturze 1-2-1

9 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania9 Struktura sieci

10 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania10 Bieżące wartości wag i progów Zakres zmian wejścia sieci

11 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania11 Składowe odpowiedzi sieci

12 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania12 Przykłady – funkcje jednej zmiennej; a funkcje większej liczby zmiennych? x1x1 x2x2

13 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania13 x1x1 x2x2

14 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania14 Właściwości aproksymacyjne perceptronów wielowarstwowych Odpowiednio skonstruowane sieci wielowarstwowe są uniwersalnymi aproksymatorami ! Podam twierdzenie, które zapewnia, że standardowa sieć wielowarstwowa z pojedynczą warstwą ukrytą składającą się z skończonej liczby neuronów jest uniwersalnym aproksymatorem

15 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania15 W 1989r. Funahashi udowodnił następujące twierdzenie Niech będzie niestałą, ograniczoną i monotonicznie rosnącą funkcją. Niech ponadto będzie zbiorem zwartym i będzie rzeczywistowartościową funkcją na. Wówczas dla dowolnej wartości istnieją stała oraz stałe rzeczywiste takie, że spełnia

16 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania16 Sieć neuronowa Funahashi

17 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania17 Metody uczenia sieci neuronowych W korzystaniu z sieci neuronowej można wyróżnić dwa etapy: etap uczenia – w oparciu o przedstawiane sieci dane, sieć uczy się realizować zadanie dla którego została zbudowana etap uogólniania – sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów

18 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania18 Podstawowy podział metod uczenia to rozróżnienie pomiędzy uczeniem z nadzorem (supervised learning) i bez nadzoru (unsupervised learning) W uczeniu z nadzorem występuje nauczyciel, który w fazie uczenia sieci, mówi sieci jak dobrze ona działa (uczenie z ukierunkowywaniem - reinforcement learning) lub jakie powinno być prawidłowe zachowanie sieci (uczenie z całkowitym nadzorem - fully supervised learning)

19 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania19 Posiadany pewien zbiór wektorów (wzorców) wejściowych sieci o liczebności Q, które zamierzamy wykorzystać w procesie uczenia sieci realizacji zadania – wektory te będziemy nazywać uczącymi wzorcami wejściowymi. Możemy z posiadanych wektorów utworzyć macierz wzorców wejściowych uczących P(atterns) Proces uczenia z całkowitym nadzorem

20 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania20 Proces uczenia z całkowitym nadzorem – c.d. Dla każdego wzorca wejściowego uczącego posiadamy wektor wyjściowy sieci jakim powinna ona odpowiedzieć na dany wzorzec wejściowy - wektor ten nazywamy wzorcem wyjściowym docelowym. Z wektorów tych możemy utworzyć macierz wzorców wyjściowych docelowych T(argets) Macierze P oraz T nazywamy zbiorami uczącymi - ich elementami są kolumny wzorców wejściowych oraz wzorców wyjściowych docelowych.

21 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania21 Proces uczenia z całkowitym nadzorem – c.d. Faktycznie sieć na każdy z wzorców wejściowych odpowiada wektorem wyjściowym, który będziemy nazywać wzorcem wyjściowym rzeczywistym – z wektorów tych możemy utworzyć macierz wzorców rzeczywistych A(nswers)

22 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania22 Proces uczenia z całkowitym nadzorem – c.d. Wektory z wejściowego zbioru uczącego są przedstawiane sieci w pewnej kolejności Jeżeli wyjście sieci jest poprawne, to znaczy wzorzec rzeczywisty jest równy wzorcowi docelowemu, nie dokonywane są żadne zmiany wartości wag i progów Jeżeli wyjście sieci nie jest poprawne, to znaczy wzorzec rzeczywisty nie jest równy wzorcowi docelowemu, wagi i progi są modyfikowane przy użyciu odpowiedniej reguły uczenia w taki sposób, aby minimalizować występujące różnice

23 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania23 Proces uczenia z całkowitym nadzorem – c.d. Pełne przejście przez wszystkie wzorce uczące nazywane jest epoką uczenia Jeżeli takie pełne przejście zbioru uczącego zajdzie bez pojawienia się błędu lub pewna miara wszystkich pojawiających się błędów jest wystarczająco mała, uczenie uznaje się za zakończone - możemy wówczas powiedzieć, że zbiór uczący jest,,znany" sieci lub "znany" z zadowalającą dokładnością Jeżeli takie pełne przejście zbioru uczącego zajdzie z pojawieniem się błędu lub pewna miara wszystkich pojawiających się błędów nie jest wystarczająco mała, uczenie jest kontynuowane – rozpoczynamy kolejną epokę uczenia

24 Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania24 Sprawdzenie zdolności uogólniania sieci Po zakończeniu procesu uczenia możemy podawać na wejście sieci wzorce nie pochodzące z uczącego zbioru wejściowego, to znaczy nie będące uczącym wzorcem wejściowym – w ten sposób możemy badać, czy sieć efektywnie uogólnia rozwiązywanie zadania, którego się uczyła na przykładach Jeżeli tak, to na podany na wejście wzorzec powinna ona odpowiedzieć wzorcem wyjściowym równym lub bliskim wzorcowi docelowemu, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi Jeżeli nie, to na podany na wejście wzorzec sieć odpowie wzorcem wyjściowym odległym od wzorca docelowego, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi


Pobierz ppt "Modelowanie i podstawy identyfikacji 2012/2013Sieci wielowarstwowe, uczenie Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1."

Podobne prezentacje


Reklamy Google