Miary efektywności/miary dobroci/kryteria jakości działania SSN

Prezentacja na temat: "Miary efektywności/miary dobroci/kryteria jakości działania SSN"— Zapis prezentacji:

1 Miary efektywności/miary dobroci/kryteria jakości działania SSN
Dodatek 1 do Wykładu 8 Miary efektywności/miary dobroci/kryteria jakości działania SSN

2 Przypomnienie z rachunku różniczkowego
Miary efektywności/miary dobroci/kryteria jakości działania SSN mają zwykle postać funkcjonału Przypomnienie z rachunku różniczkowego Mamy funkcjonał: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

3 W najprostszym przypadku:
Przypomnienie z rachunku różniczkowego W najprostszym przypadku: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

4 Rozwinięcie w szereg Taylor’a w otoczeniu
Przypomnienie z rachunku różniczkowego Przykład: Rozwinięcie w szereg Taylor’a w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a:

5 Ilustracja graficzna:
Przypomnienie z rachunku różniczkowego Ilustracja graficzna:

6 Rozwinięcie w szereg Taylor’a w otoczeniu
Przypomnienie z rachunku różniczkowego Przypomnienie z rachunku różniczkowego Przykład inny: Rozwinięcie w szereg Taylor’a w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a:

7 Ilustracja graficzna:
Przypomnienie z rachunku różniczkowego Ilustracja graficzna:

8 Jeżeli przyjąć oznaczenia:
Przypomnienie z rachunku różniczkowego Jeżeli przyjąć oznaczenia: gradient funkcjonału Warto pamiętać, że:  Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x.  Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x. hessian funkcjonału

9 Postać macierzowa szeregu Taylor’a:
Przypomnienie z rachunku różniczkowego Postać macierzowa szeregu Taylor’a: Pierwsza pochodna (nachylenie) funkcjonału wzdłuż osi : - i-ty element gradientu Druga pochodna (krzywizna) funkcjonału wzdłuż osi : - (i,i)-ty element hessianu

10 Pierwsza pochodna (nachylenie) funkcjonału wzdłuż wektora
Przypomnienie z rachunku różniczkowego Pierwsza pochodna (nachylenie) funkcjonału wzdłuż wektora : Druga pochodna (krzywizna) funkcjonału wzdłuż wektora :

11 Przypomnienie z rachunku różniczkowego
Przykład:

12 Przypomnienie z rachunku różniczkowego
Ilustracja graficzna: Pochodne kierunkowe: Pochodne kierunkowe: 1.4 1.3 1.0 0.5 0.0

13 Przypomnienie z rachunku różniczkowego
Przykład inny:

14 Przypomnienie z rachunku różniczkowego
Ilustracja graficzna: 2.4 Pochodne kierunkowe:

15 jest unikatowym minimum globalnym funkcjonału
Optymalność  Minimum globalne: Punkt jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi , dla wszystkich  Minimum silne (lokalne): Punkt jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar , taki, że zachodzi dla wszystkich takich, że  Minimum słabe (lokalne): Punkt jest minimum słabym (lokalnym) funkcjonału a istnieje skalar , jeżeli taki, że zachodzi , dla wszystkich takich, że nie jest minimum silnym ,

16 Minima lokalne silne Minimum globalne Maksimum lokalne silne
Przykład skalarny: Optymalność Minima lokalne silne Maksimum silne Minimum globalne Maksimum lokalne silne Minimum silne Minimum globalne

17 Przykład wektorowy 1: Minima lokalne silne Minimum globalne
Optymalność Przykład wektorowy 1: Minima lokalne silne Minimum globalne Minimum silne Punkt siodłowy Minimum globalne Punkt siodłowy

18 Przykład wektorowy 2: Minimum słabe Minimum lokalne słabe
Optymalność Przykład wektorowy 2: Minimum słabe Minimum lokalne słabe wzdłuż prostej x1 = 0

19 Optymalność  Warunki konieczne minimum Rozwinięcie , takiego, że w szereg Taylor’a w otoczeniu

20 Warunek konieczny I rzędu
Optymalność  Warunek pierwszego rzędu: Dla małych : jest minimum: Jeżeli Ale wówczas nie jest minimum. Musi być zatem dla każdego : Warunek konieczny I rzędu

21 Jeżeli warunek pierwszego rzędu jest spełniony
Optymalność  Warunek drugiego rzędu: Jeżeli warunek pierwszego rzędu jest spełniony Minimum silne będzie istniało w jeżeli dla dowolnych Zatem hessian funkcjonału musi być dodatnio określony Macierz hessianu jest dodatnio określona, jeżeli: dla dowolnych  Warunek wystarczający dla minimum silnego

22 mimo, że składnik drugiego rzędu w szeregu Taylor’a wynosi zero,
Optymalność Dodatnia określoność macierzy hessianu jest warunkiem wystarczającym drugiego rzędu istnienia minimum silnego w mimo, że składnik drugiego rzędu w szeregu Taylor’a wynosi zero, może istnieć Nie jest to warunek konieczny. Minimum silne w ale składnik trzeciego rzędu jest dodatni Dodatnia półokreśloność macierzy hessianu funkcjonału jest warunkiem koniecznym drugiego rzędu silnego lub słabego minimum dla dowolnych Warunek konieczny drugiego rzędu dla minimum silnego lub słabego

23 Warunek punkt stacjonarnego
Optymalność Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

24 Macierz hessianu jest dodatnio określona
Optymalność Macierz hessianu jest dodatnio określona O oparciu o warunki pierwszego i drugiego rzędu możemy stwierdzić, że punkt stacjonarny jest minimum

25 Optymalność Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne

26 Warunek punkt stacjonarnego Punkt stacjonarny - jedyny
Optymalność Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

27 Pozyskanie informacji o określoności macierzy hessianu
Optymalność Pozyskanie informacji o określoności macierzy hessianu Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona

28 Wartości własne hessianu
Optymalność Wartości własne hessianu

29 Optymalność Minimum silne w

30 Pożyteczne właściwości gradientu:
 Forma kwadratowa gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: gdzie jest stałym wektorem dla symetrycznych

31 Wartości i wektory własne formy kwadratowej
 Forma kwadratowa Gradient formy kwadratowej Hessian formy kwadratowej  Wartości i wektory własne formy kwadratowej Badanie wartości i wektorów własnych formy kwadratowej dostarcza informacji o kształcie formy kwadratowej Rozważmy formę kwadratową, która posiada punkt stacjonarny w początku układu współrzędnych i której wartość wynosi w tym punkcie zero

32  Macierz jest symetryczna
 Forma kwadratowa  Fakt I:  Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora jest średnią ważoną wszystkich wartości własnych macierzy  Z czego to wynika?  Macierz jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz , (np. standardowym)  Macierz jest symetryczna

33  Forma kwadratowa  Dla macierzy jako macierzy symetrycznej istnieje ortonormalna baza w przestrzeniach utworzona z wektorów własnych Oznaczmy tą macierz: gdzie

34 gdzie jest macierzą utworzoną z wektorów nowych baz
 Forma kwadratowa  Jeżeli jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz , to macierz będąca macierzową reprezentacją tego przekształcenia odpowiadającą nowym i jednakowym bazom wybranym w oraz wyraża się jako gdzie jest macierzą utworzoną z wektorów nowych baz w szczególności zatem

35  Dla macierzy jako macierzy symetrycznej
 Forma kwadratowa  Dla macierzy jako macierzy symetrycznej oraz - wektory własne macierzy

36  Ostatecznie macierz można zatem przedstawić
 Forma kwadratowa  Ostatecznie macierz można zatem przedstawić Możemy teraz pokazać prawdziwość Faktu I:  Niech dowolny wektor będzie przedstawiony wówczas druga pochodna rozważanej formy kwadratowej F(x) w kierunku wektora p:

37 średnia ważona wartości własnych
 Forma kwadratowa Po podstawieniu ostatniego wyrażenia na macierz A i poprzednich wyników: średnia ważona wartości własnych

38  Forma kwadratowa  Wniosek z Faktu I:  Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora nie może być większa od największej wartości własnej i mniejsza od najmniejszej wartości własnej macierzy

39 i – ta pozycja odpowiadająca pozycji w macierzy Z czego to wynika?
 Forma kwadratowa  Fakt II:  Największa druga pochodna kierunkowa pojawia się w kierunku wektora własnego , który odpowiada największej wartości własnej , zaś najmniejsza w kierunku wektora własnego, który odpowiada najmniejszej wartości własnej macierzy , dokładnie druga pochodna w kierunku poszczególnych wektorów własnych jest równa odpowiadającym im wartościom własnym i – ta pozycja odpowiadająca pozycji w macierzy  Z czego to wynika? Weźmy wówczas

40  Forma kwadratowa Stąd: Podobnie dla

41  Forma kwadratowa  Fakt III: Wektory własne rozważanej formy kwadratowej F(x) definiują nowy układ współrzędnych, w którym znikają wyrazy mieszane formy kwadratowej

42  Forma kwadratowa  Przykład 1: Koliste wgłębienie

43 Eliptyczne wgłębienie
 Forma kwadratowa  Przykład 2: Eliptyczne wgłębienie

44  Forma kwadratowa  Przykład 3: Wydłużone siodło

45  Forma kwadratowa  Przykład 4: Równa dolina

46  Forma kwadratowa  Podsumowanie: Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego

47 Rozszerzenie pokazanych wyników:
 Forma kwadratowa  Rozszerzenie pokazanych wyników: Rozważaliśmy przypadek d = 0 oraz c = 0 Jeżeli c  0 wówczas forma kwadratowa ma wartość zmienioną o c w każdym punkcie; kształt formy kwadratowej nie zmienia się Jeżeli d  0 i macierz A jest nieosobliwa, kształt formy kwadratowej się nie zmienia, lecz punkt stacjonarny przesuwa się do Jeżeli d  0 i macierz A jest osobliwa, nie istnieje punkt stacjonarny