Miary efektywności/miary dobroci/kryteria jakości działania SSN Dodatek 1 do Wykładu 8 Miary efektywności/miary dobroci/kryteria jakości działania SSN

Przypomnienie z rachunku różniczkowego Miary efektywności/miary dobroci/kryteria jakości działania SSN mają zwykle postać funkcjonału Przypomnienie z rachunku różniczkowego Mamy funkcjonał: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

W najprostszym przypadku: Przypomnienie z rachunku różniczkowego W najprostszym przypadku: Rozwinięcie funkcjonału F w szereg Taylor’a w otoczeniu punktu x* ma postać:

Rozwinięcie w szereg Taylor’a w otoczeniu Przypomnienie z rachunku różniczkowego Przykład: Rozwinięcie w szereg Taylor’a w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a:

Ilustracja graficzna: Przypomnienie z rachunku różniczkowego Ilustracja graficzna:

Rozwinięcie w szereg Taylor’a w otoczeniu Przypomnienie z rachunku różniczkowego Przypomnienie z rachunku różniczkowego Przykład inny: Rozwinięcie w szereg Taylor’a w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylor’a:

Ilustracja graficzna: Przypomnienie z rachunku różniczkowego Ilustracja graficzna:

Jeżeli przyjąć oznaczenia: Przypomnienie z rachunku różniczkowego Jeżeli przyjąć oznaczenia: gradient funkcjonału Warto pamiętać, że:  Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x.  Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x. hessian funkcjonału

Postać macierzowa szeregu Taylor’a: Przypomnienie z rachunku różniczkowego Postać macierzowa szeregu Taylor’a: Pierwsza pochodna (nachylenie) funkcjonału wzdłuż osi : - i-ty element gradientu Druga pochodna (krzywizna) funkcjonału wzdłuż osi : - (i,i)-ty element hessianu

Pierwsza pochodna (nachylenie) funkcjonału wzdłuż wektora Przypomnienie z rachunku różniczkowego Pierwsza pochodna (nachylenie) funkcjonału wzdłuż wektora : Druga pochodna (krzywizna) funkcjonału wzdłuż wektora :

Przypomnienie z rachunku różniczkowego Przykład:

Przypomnienie z rachunku różniczkowego Ilustracja graficzna: Pochodne kierunkowe: Pochodne kierunkowe: 1.4 1.3 1.0 0.5 0.0

Przypomnienie z rachunku różniczkowego Przykład inny:

Przypomnienie z rachunku różniczkowego Ilustracja graficzna: 2.4 Pochodne kierunkowe:

jest unikatowym minimum globalnym funkcjonału Optymalność  Minimum globalne: Punkt jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi , dla wszystkich  Minimum silne (lokalne): Punkt jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar , taki, że zachodzi dla wszystkich takich, że  Minimum słabe (lokalne): Punkt jest minimum słabym (lokalnym) funkcjonału a istnieje skalar , jeżeli taki, że zachodzi , dla wszystkich takich, że nie jest minimum silnym ,

Minima lokalne silne Minimum globalne Maksimum lokalne silne Przykład skalarny: Optymalność Minima lokalne silne Maksimum silne Minimum globalne Maksimum lokalne silne Minimum silne Minimum globalne

Przykład wektorowy 1: Minima lokalne silne Minimum globalne Optymalność Przykład wektorowy 1: Minima lokalne silne Minimum globalne Minimum silne Punkt siodłowy Minimum globalne Punkt siodłowy

Przykład wektorowy 2: Minimum słabe Minimum lokalne słabe Optymalność Przykład wektorowy 2: Minimum słabe Minimum lokalne słabe wzdłuż prostej x1 = 0

Optymalność  Warunki konieczne minimum Rozwinięcie , takiego, że w szereg Taylor’a w otoczeniu

Warunek konieczny I rzędu Optymalność  Warunek pierwszego rzędu: Dla małych : jest minimum: Jeżeli Ale wówczas nie jest minimum. Musi być zatem dla każdego : Warunek konieczny I rzędu

Jeżeli warunek pierwszego rzędu jest spełniony Optymalność  Warunek drugiego rzędu: Jeżeli warunek pierwszego rzędu jest spełniony Minimum silne będzie istniało w jeżeli dla dowolnych Zatem hessian funkcjonału musi być dodatnio określony Macierz hessianu jest dodatnio określona, jeżeli: dla dowolnych  Warunek wystarczający dla minimum silnego

mimo, że składnik drugiego rzędu w szeregu Taylor’a wynosi zero, Optymalność Dodatnia określoność macierzy hessianu jest warunkiem wystarczającym drugiego rzędu istnienia minimum silnego w mimo, że składnik drugiego rzędu w szeregu Taylor’a wynosi zero, może istnieć Nie jest to warunek konieczny. Minimum silne w ale składnik trzeciego rzędu jest dodatni Dodatnia półokreśloność macierzy hessianu funkcjonału jest warunkiem koniecznym drugiego rzędu silnego lub słabego minimum dla dowolnych Warunek konieczny drugiego rzędu dla minimum silnego lub słabego

Warunek punkt stacjonarnego Optymalność Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

Macierz hessianu jest dodatnio określona Optymalność Macierz hessianu jest dodatnio określona O oparciu o warunki pierwszego i drugiego rzędu możemy stwierdzić, że punkt stacjonarny jest minimum

Optymalność Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne

Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Optymalność Przykład: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

Pozyskanie informacji o określoności macierzy hessianu Optymalność Pozyskanie informacji o określoności macierzy hessianu Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona

Wartości własne hessianu Optymalność Wartości własne hessianu

Optymalność Minimum silne w

Pożyteczne właściwości gradientu:  Forma kwadratowa gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: gdzie jest stałym wektorem dla symetrycznych

Wartości i wektory własne formy kwadratowej  Forma kwadratowa Gradient formy kwadratowej Hessian formy kwadratowej  Wartości i wektory własne formy kwadratowej Badanie wartości i wektorów własnych formy kwadratowej dostarcza informacji o kształcie formy kwadratowej Rozważmy formę kwadratową, która posiada punkt stacjonarny w początku układu współrzędnych i której wartość wynosi w tym punkcie zero

 Macierz jest symetryczna  Forma kwadratowa  Fakt I:  Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora jest średnią ważoną wszystkich wartości własnych macierzy  Z czego to wynika?  Macierz jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz , (np. standardowym)  Macierz jest symetryczna

 Forma kwadratowa  Dla macierzy jako macierzy symetrycznej istnieje ortonormalna baza w przestrzeniach utworzona z wektorów własnych Oznaczmy tą macierz: gdzie

gdzie jest macierzą utworzoną z wektorów nowych baz  Forma kwadratowa  Jeżeli jest macierzową reprezentacją pewnego przekształcenia liniowego odpowiadającą pewnym przyjętym bazom w oraz , to macierz będąca macierzową reprezentacją tego przekształcenia odpowiadającą nowym i jednakowym bazom wybranym w oraz wyraża się jako gdzie jest macierzą utworzoną z wektorów nowych baz w szczególności zatem

 Dla macierzy jako macierzy symetrycznej  Forma kwadratowa  Dla macierzy jako macierzy symetrycznej oraz - wektory własne macierzy

 Ostatecznie macierz można zatem przedstawić  Forma kwadratowa  Ostatecznie macierz można zatem przedstawić Możemy teraz pokazać prawdziwość Faktu I:  Niech dowolny wektor będzie przedstawiony wówczas druga pochodna rozważanej formy kwadratowej F(x) w kierunku wektora p:

średnia ważona wartości własnych  Forma kwadratowa Po podstawieniu ostatniego wyrażenia na macierz A i poprzednich wyników: średnia ważona wartości własnych

 Forma kwadratowa  Wniosek z Faktu I:  Druga pochodna rozważanej formy kwadratowej w kierunku dowolnego wektora nie może być większa od największej wartości własnej i mniejsza od najmniejszej wartości własnej macierzy

i – ta pozycja odpowiadająca pozycji w macierzy Z czego to wynika?  Forma kwadratowa  Fakt II:  Największa druga pochodna kierunkowa pojawia się w kierunku wektora własnego , który odpowiada największej wartości własnej , zaś najmniejsza w kierunku wektora własnego, który odpowiada najmniejszej wartości własnej macierzy , dokładnie druga pochodna w kierunku poszczególnych wektorów własnych jest równa odpowiadającym im wartościom własnym i – ta pozycja odpowiadająca pozycji w macierzy  Z czego to wynika? Weźmy wówczas

 Forma kwadratowa Stąd: Podobnie dla

 Forma kwadratowa  Fakt III: Wektory własne rozważanej formy kwadratowej F(x) definiują nowy układ współrzędnych, w którym znikają wyrazy mieszane formy kwadratowej

 Forma kwadratowa  Przykład 1: Koliste wgłębienie

Eliptyczne wgłębienie  Forma kwadratowa  Przykład 2: Eliptyczne wgłębienie

 Forma kwadratowa  Przykład 3: Wydłużone siodło

 Forma kwadratowa  Przykład 4: Równa dolina

 Forma kwadratowa  Podsumowanie: Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego

Rozszerzenie pokazanych wyników:  Forma kwadratowa  Rozszerzenie pokazanych wyników: Rozważaliśmy przypadek d = 0 oraz c = 0 Jeżeli c  0 wówczas forma kwadratowa ma wartość zmienioną o c w każdym punkcie; kształt formy kwadratowej nie zmienia się Jeżeli d  0 i macierz A jest nieosobliwa, kształt formy kwadratowej się nie zmienia, lecz punkt stacjonarny przesuwa się do Jeżeli d  0 i macierz A jest osobliwa, nie istnieje punkt stacjonarny