Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 1 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab.

Podobne prezentacje


Prezentacja na temat: "Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 1 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab."— Zapis prezentacji:

1 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 1 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Nieliniowa metoda najmniejszych kwadratów Problem liniowy Problem nieliniowy Model: Model i poszczególne obserwacje Wymiar x = n Liczba obserwacji: m Warunek:

2 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 2 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Założenia: - f jest funkcjonałem, ciągłym i mającym co najmniej pierwsze pochodne - wektor wartości mierzonych y - wektor wartości estymowanych parametrów - wektor błędów resztkowych (residuów) - wektor błędów pomiaru Wielkości: - wektor wartości prawdziwych y - wektor wartości prawdziwych parametrów - wektor wartości estymowanych y

3 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 3 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Podobnie jak dla przypadku liniowego obowiązują zależności: Będziemy też oznaczali: Zadanie optymalnej estymacji nieliniowej metodą najmniejszych kwadratów formułowane w taki sam sposób jak zagadnienie estymacji liniowej Znaleźć minimalizujące (1)

4 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 4 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. W praktycznych zadaniach uzyskanie jawnego rozwiązania (1) podobnie jak dla zadania liniowego jest niemożliwe Potrzebne są metody, które startując z danego punktu początkowego (początkowego przybliżenia), poprzez kolejne, iteracyjnie uzyskiwane, przybliżenia zbieżne są do optymalnej estymaty według metody najmniejszych kwadratów Pokażemy zastosowanie metody Newtona Inne metody iteracyjnego poszukiwania punktów optymalnych Dodatek A

5 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 5 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Oznaczmy bieżącą znaną estymatę nieznanych wartości parametrów Kolejną skorygowaną estymatę nieznanych wartości parametrów będziemy starali się znaleźć jako Błąd resztkowy dla tej bieżącej znanej estymaty nieznanych wartości parametrów wynosi Błąd resztkowy dla tej skorygowanej estymaty nieznanych wartości parametrów wyniesie

6 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 6 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Liniowa aproksymacja oznaczmy macierz jakobianu wówczas liniowa aproksymacja funkcji w otoczeniu Jeżeli składowe są wystarczająco małe można z ich pomocą posługiwać się liniową aproksymacją funkcji w otoczeniu

7 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 7 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Możemy podać liniowe przybliżenie (predykcję) błędu resztkowego w pobliżu Pamiętając, że - bieżący błąd resztkowy Możemy napisać zależność dla liniowego przybliżenia błędu resztkowego w pobliżu Funkcja kryterialna zadania optymalnej estymacji nieliniowej metodą najmniejszych kwadratów miała postać (1) Aproksymacja tej funkcji kryterialnej w otoczeniu

8 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 8 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Mamy Funkcję kryterialną zadania optymalnej estymacji nieliniowej metodą najmniejszych kwadratów Aproksymację tej funkcji kryterialnej w otoczeniu (2) Zatem: Spostrzeżenie: postać aproksymacji jest identyczna jak rozważane funkcje kryterialne ważonej estymacji liniowej możemy stosować te same metody rozwiązania lokalnie optymalna korekcja wartości estymat obliczana z wzoru (3)

9 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 9 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Strategia: - wybrać początkowe przybliżenie estymat parametrów - korzystając z (3) obliczyć lokalnie optymalną korekcję estymat - obliczyć nowe przybliżenie estymat parametrów - ……… Kiedy zakończyć proces iteracyjny? proces zbieżny – różnice wartości funkcji kryterialnej w kolejnych iteracjach są nieznaczące proces niezbieżny – liczba wykonanych iteracji przekracza ustaloną wartość

10 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 10 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Realizacja nieliniowej metody najmniejszych kwadratów Model Określ STOP TAK NIE Maksimum iteracji? TAK STOP NIE Estymata początkowa - liniowa lokalna aproksymacja błędów resztkowych Warunek zatrzymania:

11 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 11 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przykład 1: (poszukiwanie miejsca zerowego wielomianu) W przykładzie m = n = 1 Liniowa aproksymacja f(x)

12 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 12 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Liniowa aproksymacja f(x) – c.d. Błąd resztkowy Biorąc pod uwagę, że

13 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 13 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Dla naszego przykładu funkcja kryterialna Lokalna aproksymacja tej funkcji kryterialnej w otoczeniu

14 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 14 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Warunek konieczny pierwszego rzędu minimum Stąd oraz

15 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 15 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż Iteracja Obliczenia - trzy punkty początkowe

16 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 16 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przykład 2: (estymacja parametrów prostego układu dynamicznego) System Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt gdzie: Chcemy teraz określić a oraz b bezpośrednio z równania

17 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 17 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Mamy Elementy jakobianu

18 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 18 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Jakobian równań pomiarów Wybrany punkt startowy dla metody Newtona Parametr zatrzymania dla metody Newtona

19 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 19 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż Iteracja Przeliczenie Poprzednio

20 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 20 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Dziękuję za uczestnictwo w wykładzie i uwagę

21 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 21 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Dodatek A Wybrane metody iteracyjnego poszukiwania punktów optymalnych

22 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 22 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Jak rozwiązać zagadnienie zadanie optymalizacji nieliniowej bez ograniczeń? Dla znalezienia minimum funkcjonału nieliniowego można skorzystać z metod iteracyjnych Jeden ze sposobów postępowania w metodach iteracyjnych można streścić w następujących punktach: 1. proces poszukiwania rozpoczynamy w pewnym punkcie 2. poruszamy się od punktu do punktu zgodnie z ogólną formułą gdzie, wektor określa kierunek poszukiwania, a dodatni skalar określa długość kroku wykonywanego w kierunku lub (1)

23 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 23 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Ogólny podział metod poszukiwania optimum: 1. metody poszukiwania bezpośredniego – do poszukiwania optimum wykorzystuje się tylko znajomość wartości funkcjonału w określonych punktach 2. metody pierwszego rzędu (gradientowe) – do poszukiwania optimum wykorzystuje się znajomość wartości pierwszych pochodnych funkcjonału w określonych punktach (wartości jakobianu- gradientu) 3. metody drugiego rzędu – do poszukiwania optimum wykorzystuje się oprócz znajomości wartości pierwszych pochodnych funkcjonału w określonych punktach (wartości jakobianu-gradientu), również wartości drugich pochodnych (wartości hessianu) tego funkcjonału w tych punktach

24 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 24 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Metody gradientowe Wykorzystując (1) w zbliżaniu się do punktu optimum (minimum), chcielibyśmy Korzystając z rozwinięcia funkcjonału w szereg Taylora w otoczeniu punktu bieżącego dla wystarczająco małego otoczenia tego punktu możemy napisać Załóżmy, że posiadamy oszacowanie gradientu funkcjonału w punkcie bieżącym (2)

25 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 25 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Jeżeli ma zachodzić to ma mocy musi zachodzić a to implikuje bo (3)

26 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 26 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Kierunek spadku Dowolny wektor spełniający warunek (3) nazywamy jest kierunkiem spadku – wartość funkcjonału zmniejszy się jeżeli wykonany zostanie wystarczająco mały krok w tym kierunku

27 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 27 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Kierunek najszybszego spadku Przemieszczając się od punktu do punktu w kierunkach najszybszego spadku postępujemy według metody najszybszego spadku W jaki sposób określić wyznaczający, przy znanym gradiencie długość kroku przemieszczenia ?

28 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 28 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Długość kroku w kierunku gradientu 1. wykonać krok o takiej długości, aby w kierunku wskazanym przez gradient w punkcie osiągnąć optimum (minimum) funkcjonału - minimalizacja w kierunku - metoda najszybszego spadku 2. wybrać stałą wartość wykonywać kolejne kroki przemieszczenia z tą samą wartością lub określić regułę zmian wartości w zależności od numeru kroku i stosować w kolejnych krokach zmienną, ale uprzednio określoną wartość

29 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 29 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przykład 1: Wartość gradientu w punkcie początkowym Punkt początkowy Współczynnik długości kroku

30 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 30 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przemieszczenie do punktu itd.

31 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 31 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Ilustracja graficzna:

32 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 32 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przykład 2: (wpływ wartości współczynnika długości kroku na przebieg minimalizacji Współczynnik długości kroku Trajektoria poszukiwania minimum ma oscylacyjny charakter – zbyt duża wartość współczynnika długości kroku może prowadzić do niestabilności procesu minimalizacji

33 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 33 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Stabilność procesu minimalizacji Miara dobroci estymacji jest formą kwadratową Zatem gradient miary dobroci estymacji dany jest Podstawiając wyrażenie na gradient do formuły przemieszczania się od punktu do punktu w metodzie najszybszego spadku i przyjmując stałą wartość współczynnika długości kroku, otrzymamy Liniowy dyskretny system dynamiczny

34 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 34 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Stabilność procesu minimalizacji Liniowy dyskretny system dynamiczny będzie stabilny, wtedy i tylko wtedy, gdy wszystkie wartości własne jego macierzy stanu są co do modułu mniejsze od jedności Macierz stanu Hessian formy kwadratowej Niech i będą wartościami i wektorami własnymi hessianu formy kwadratowej Zachodzi zatem:

35 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 35 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Policzmy zatem wektory własne hessianu są również wektorami własnymi macierzy stanu a wartości własne macierzy stanu wynoszą Warunek stabilności metody najszybszego spadku Jeżeli założyć, że forma kwadratowa ma silne minimum, to wszystkie wartości własne hessianu są dodatnie i wówczas warunek stabilności

36 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 36 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Ostatecznie lub Największy stabilny współczynnik długości kroku jest odwrotnie proporcjonalny do największej krzywizny formy kwadratowej Krzywizna określa jak szybko zmienia się gradient – jeżeli gradient zmienia się szybko, zbyt długi krok w kierunku ostatnio wyznaczonego gradientu może przemieścić poszukiwania do punktu w którym gradient ma wartość większą co do modułu od ostatnio wyznaczonego ale przeciwny znak, a to prowadzi do powiększania długości kroku z iteracji na iterację, czyli niestabilności algorytmu

37 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 37 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Przykład 3: Punkt początkowy Dla rozważanej formy kwadratowej

38 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 38 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż.

39 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 39 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż.

40 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 40 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Inne niebezpieczeństwa – różne punkty początkowe – różne optima Minima lokalne silne Minimum globalne

41 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 41 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Zależność efektywności procesu iteracyjnego od kształtu kryterium

42 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 42 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. W niedużym otoczeniu zmiany wartości mogą być aproksymowane za pomocą rozwinięcia w szereg Taylora drugiego rzędu Metody drugiego rzędu (algorytmy Gaussa-Newtona) Jesteśmy w punkcie Chcemy dokonać przemieszczenia w taki sposób, aby wartość funkcjonału zmniejszyła się jakobian hessian

43 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 43 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Lokalna strategia: dokonać przemieszczenia,które minimalizuje aproksymację rzędu drugiego rozważanej funkcji celu Warunek konieczny: Warunek dostateczny: dodatnio określony

44 Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 44 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab. inż. Z warunku koniecznego: stąd


Pobierz ppt "Modelowanie i identyfikacja 2010/2011 Identyfikacja rekursywna i nieliniowa II 1 Katedra Inżynierii Systemów Sterowania Kazimierz Duzinkiewicz, dr hab."

Podobne prezentacje


Reklamy Google