Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii.

Podobne prezentacje


Prezentacja na temat: "Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii."— Zapis prezentacji:

1 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Miary efektywności/miary dobroci/kryteria jakości działania SSN Dodatek 1 do Wykładu 8

2 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 2 Przypomnienie z rachunku różniczkowego Mamy funkcjonał: Rozwinięcie funkcjonału F w szereg Taylora w otoczeniu punktu x* ma postać: Miary efektywności/miary dobroci/kryteria jakości działania SSN mają zwykle postać funkcjonału

3 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 3 W najprostszym przypadku: Rozwinięcie funkcjonału F w szereg Taylora w otoczeniu punktu x* ma postać: Przypomnienie z rachunku różniczkowego

4 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 4 Przykład: Rozwinięcie w szereg Taylora w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylora: Przypomnienie z rachunku różniczkowego

5 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 5 Ilustracja graficzna: Przypomnienie z rachunku różniczkowego

6 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 6 Przypomnienie z rachunku różniczkowego Rozwinięcie w szereg Taylora w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylora: Przypomnienie z rachunku różniczkowego Przykład inny:

7 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 7 Przypomnienie z rachunku różniczkowego Ilustracja graficzna:

8 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 8 Jeżeli przyjąć oznaczenia: gradient funkcjonału Warto pamiętać, że: Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x. Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x. hessian funkcjonału Przypomnienie z rachunku różniczkowego

9 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 9 Postać macierzowa szeregu Taylora: Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż osi : - i-ty element gradientu Druga pochodna (krzywizna) funkcjonału wzdłuż osi : - (i,i)-ty element hessianu Przypomnienie z rachunku różniczkowego

10 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 10 Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż wektora : Druga pochodna (krzywizna) funkcjonału wzdłuż wektora : Przypomnienie z rachunku różniczkowego

11 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 11 Przykład: Przypomnienie z rachunku różniczkowego

12 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 12 Ilustracja graficzna: Przypomnienie z rachunku różniczkowego Pochodne kierunkowe: Pochodne kierunkowe:

13 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 13 Przypomnienie z rachunku różniczkowego Przykład inny:

14 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 14 Przypomnienie z rachunku różniczkowego Ilustracja graficzna: Pochodne kierunkowe: 2.4

15 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 15 Minimum globalne: Punkt jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi, dla wszystkich Optymalność Minimum silne (lokalne): Punkt jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar, taki, że zachodzi, dla wszystkich takich, że Minimum słabe (lokalne): Punkt jest minimum słabym (lokalnym) funkcjonału a istnieje skalar, jeżeli taki, że zachodzi, dla wszystkich takich, że nie jest minimum silnym,

16 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 16 Przykład skalarny: Minimum silne Maksimum silne Minimum globalne Optymalność Minima lokalne silne Minimum globalne Maksimum lokalne silne

17 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 17 Przykład wektorowy 1: Minimum globalne Minimum silne Punkt siodłowy Minima lokalne silne Minimum globalne Punkt siodłowy Optymalność

18 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 18 Przykład wektorowy 2: Minimum słabe Minimum lokalne słabe wzdłuż prostej x 1 = 0 Optymalność

19 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 19 Optymalność Warunki konieczne minimum Rozwinięcie, takiego, że w szereg Taylora w otoczeniu

20 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 20 Warunek pierwszego rzędu: jest minimum: Jeżeli Dla małych : Ale wówczas nie jest minimum. Musi być zatem dla każdego : Warunek konieczny I rzędu Optymalność

21 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 21 Warunek drugiego rzędu: Jeżeli warunek pierwszego rzędu jest spełniony Minimum silne będzie istniało w jeżeli dla dowolnych Zatem hessian funkcjonału musi być dodatnio określony Macierz hessianu jest dodatnio określona, jeżeli: dla dowolnych Warunek wystarczający dla minimum silnego Optymalność

22 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 22 warunkiem wystarczającym Dodatnia określoność macierzy hessianu jest warunkiem wystarczającym drugiego rzędu istnienia minimum silnego w mimo, że składnik drugiego rzędu w szeregu Taylora wynosi zero, może istnieć Nie jest to warunek konieczny. Minimum silne w ale składnik trzeciego rzędu jest dodatni Dodatnia półokreśloność macierzy hessianu funkcjonału warunkiem koniecznym drugiego rzędu jest warunkiem koniecznym drugiego rzędu silnego lub słabego minimum dla dowolnych Warunek konieczny drugiego rzędu dla minimum silnego lub słabego Optymalność

23 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 23 Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego Optymalność

24 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 24 Optymalność Macierz hessianu jest dodatnio określona O oparciu o warunki pierwszego i drugiego rzędu możemy stwierdzić, że punkt stacjonarny jest minimum

25 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 25 Optymalność Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne

26 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 26 Optymalność Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

27 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 27 Optymalność Pozyskanie informacji o określoności macierzy hessianu Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona

28 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 28 Optymalność Wartości własne hessianu

29 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 29 Optymalność Minimum silne w

30 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 30 Forma kwadratowa gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: gdzie jest stałym wektorem dla symetrycznych

31 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 31 Gradient formy kwadratowej Hessian formy kwadratowej Badanie wartości i wektorów własnych formy kwadratowej dostarcza informacji o kształcie formy kwadratowej Wartości i wektory własne formy kwadratowej Rozważmy formę kwadratową, która posiada punkt stacjonarny w początku układu współrzędnych i której wartość wynosi w tym punkcie zero Forma kwadratowa

32 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 32 Forma kwadratowa Fakt I: Z czego to wynika? Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora jest średnią ważoną wszystkich wartości własnych macierzy Macierz jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz, (np. standardowym) Macierz jest symetryczna

33 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 33 Forma kwadratowa Dla macierzy jako macierzy symetrycznej istnieje ortonormalna baza w przestrzeniach utworzona z wektorów własnych gdzie Oznaczmy tą macierz:

34 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 34 Forma kwadratowa Jeżeli jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz, to macierz będąca macierzową reprezentacją tego przekształcenia odpowiadającą nowym i jednakowym bazom wybranym w oraz wyraża się jako gdzie jest macierzą utworzoną z wektorów nowych baz w szczególności zatem

35 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 35 Forma kwadratowa Dla macierzy jako macierzy symetrycznej oraz - wektory własne macierzy

36 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 36 Forma kwadratowa Ostatecznie macierz można zatem przedstawić Możemy teraz pokazać prawdziwość Faktu I: Niech dowolny wektor będzie przedstawiony wówczas druga pochodna rozważanej formy kwadratowej F(x) w kierunku wektora p:

37 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 37 Forma kwadratowa średnia ważona wartości własnych Po podstawieniu ostatniego wyrażenia na macierz A i poprzednich wyników:

38 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 38 Forma kwadratowa Wniosek z Faktu I: Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora nie może być większa od największej wartości własnej i mniejsza od najmniejszej wartości własnej macierzy

39 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 39 Forma kwadratowa Fakt II: Największa druga pochodna kierunkowa pojawia się w kierunku wektora własnego, który odpowiada największej wartości własnej, zaś najmniejsza w kierunku wektora własnego, który odpowiada najmniejszej wartości własnej macierzy, dokładnie druga pochodna w kierunku poszczególnych wektorów własnych jest równa odpowiadającym im wartościom własnym Z czego to wynika? Weźmy wówczas i – ta pozycja odpowiadająca pozycji w macierzy

40 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 40 Forma kwadratowa Stąd: Podobnie dla

41 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 41 Forma kwadratowa Fakt III: Wektory własne rozważanej formy kwadratowej F(x) definiują nowy układ współrzędnych, w którym znikają wyrazy mieszane formy kwadratowej

42 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 42 Forma kwadratowa Przykład 1: Koliste wgłębienie

43 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 43 Forma kwadratowa Przykład 2: Eliptyczne wgłębienie

44 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 44 Forma kwadratowa Przykład 3: Wydłużone siodło

45 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 45 Forma kwadratowa Przykład 4: Równa dolina

46 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 46 Forma kwadratowa Podsumowanie: Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego

47 Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 47 Forma kwadratowa Rozszerzenie pokazanych wyników: Rozważaliśmy przypadek d = 0 oraz c = 0 Jeżeli c 0 wówczas forma kwadratowa ma wartość zmienioną o c w każdym punkcie; kształt formy kwadratowej nie zmienia się Jeżeli d 0 i macierz A jest nieosobliwa, kształt formy kwadratowej się nie zmienia, lecz punkt stacjonarny przesuwa się do Jeżeli d 0 i macierz A jest osobliwa, nie istnieje punkt stacjonarny


Pobierz ppt "Modelowanie i identyfikacja 2010/2011Miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii."

Podobne prezentacje


Reklamy Google