Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii.

Podobne prezentacje


Prezentacja na temat: "Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii."— Zapis prezentacji:

1 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1 Nieliniowa metoda najmniejszych kwadratów Problem liniowy Problem nieliniowy Model: Model i poszczególne obserwacje Wymiar x = n Liczba obserwacji: m Warunek:

2 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania2 Założenia: - f jest funkcjonałem, ciągłym i mającym co najmniej pierwsze pochodne - wektor wartości mierzonych y - wektor wartości estymowanych parametrów - wektor błędów resztkowych (residuów) - wektor błędów pomiaru Wielkości: - wektor wartości prawdziwych y - wektor wartości prawdziwych parametrów - wektor wartości estymowanych y

3 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania3 Podobnie jak dla przypadku liniowego obowiązują zależności: Będziemy też oznaczali: Zadanie optymalnej estymacji nieliniowej metodą najmniejszych kwadratów formułowane w taki sam sposób jak zagadnienie estymacji liniowej Znaleźć minimalizujące (1)

4 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania4 W praktycznych zadaniach uzyskanie jawnego rozwiązania (1) podobnie jak dla zadania liniowego jest niemożliwe Potrzebne są metody, które startując z danego punktu początkowego (początkowego przybliżenia), poprzez kolejne, iteracyjnie uzyskiwane, przybliżenia zbieżne są do optymalnej estymaty według metody najmniejszych kwadratów Pokażemy zastosowanie metody Newtona Inne metody iteracyjnego poszukiwania punktów optymalnych Dodatek A

5 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania5 Oznaczmy bieżącą znaną estymatę nieznanych wartości parametrów Kolejną skorygowaną estymatę nieznanych wartości parametrów będziemy starali się znaleźć jako Błąd resztkowy dla tej bieżącej znanej estymaty nieznanych wartości parametrów wynosi Błąd resztkowy dla tej skorygowanej estymaty nieznanych wartości parametrów wyniesie

6 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania6 Liniowa aproksymacja oznaczmy macierz jakobianu wówczas liniowa aproksymacja funkcji w otoczeniu Jeżeli składowe są wystarczająco małe można z ich pomocą posługiwać się liniową aproksymacją funkcji w otoczeniu

7 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania7 Możemy podać liniowe przybliżenie (predykcję) błędu resztkowego w pobliżu Pamiętając, że - bieżący błąd resztkowy Możemy napisać zależność dla liniowego przybliżenia błędu resztkowego w pobliżu Funkcja kryterialna zadania optymalnej estymacji nieliniowej metodą najmniejszych kwadratów miała postać (1) Aproksymacja tej funkcji kryterialnej w otoczeniu

8 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania8 Mamy Funkcję kryterialną zadania optymalnej estymacji nieliniowej metodą najmniejszych kwadratów Aproksymację tej funkcji kryterialnej w otoczeniu (2) Zatem: Spostrzeżenie: postać aproksymacji jest identyczna jak rozważane funkcje kryterialne ważonej estymacji liniowej możemy stosować te same metody rozwiązania lokalnie optymalna korekcja wartości estymat obliczana z wzoru (3)

9 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania9 Strategia: - wybrać początkowe przybliżenie estymat parametrów - korzystając z (3) obliczyć lokalnie optymalną korekcję estymat - obliczyć nowe przybliżenie estymat parametrów - ……… Kiedy zakończyć proces iteracyjny? proces zbieżny – różnice wartości funkcji kryterialnej w kolejnych iteracjach są nieznaczące proces niezbieżny – liczba wykonanych iteracji przekracza ustaloną wartość

10 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania10 Realizacja nieliniowej metody najmniejszych kwadratów Model Określ STOP TAK NIE Maksimum iteracji? TAK STOP NIE Estymata początkowa - liniowa lokalna aproksymacja błędów resztkowych Warunek zatrzymania:

11 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania11 Przykład 1: (estymacja parametrów prostego układu dynamicznego) System Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt gdzie: Chcemy teraz określić a oraz b bezpośrednio z równania

12 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania12 Mamy Elementy jakobianu

13 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania13 Jakobian równań pomiarów Wybrany punkt startowy dla metody Newtona Parametr zatrzymania dla metody Newtona

14 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania Iteracja Przeliczenie Poprzednio

15 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania15 Dodatek A Wybrane metody iteracyjnego poszukiwania punktów optymalnych

16 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania16 Jak rozwiązać zagadnienie zadanie optymalizacji nieliniowej bez ograniczeń? Dla znalezienia minimum funkcjonału nieliniowego można skorzystać z metod iteracyjnych Jeden ze sposobów postępowania w metodach iteracyjnych można streścić w następujących punktach: 1. proces poszukiwania rozpoczynamy w pewnym punkcie 2. poruszamy się od punktu do punktu zgodnie z ogólną formułą gdzie, wektor określa kierunek poszukiwania, a dodatni skalar określa długość kroku wykonywanego w kierunku lub (1)

17 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania17 Ogólny podział metod poszukiwania optimum: 1. metody poszukiwania bezpośredniego – do poszukiwania optimum wykorzystuje się tylko znajomość wartości funkcjonału w określonych punktach 2. metody pierwszego rzędu (gradientowe) – do poszukiwania optimum wykorzystuje się znajomość wartości pierwszych pochodnych funkcjonału w określonych punktach (wartości jakobianu- gradientu) 3. metody drugiego rzędu – do poszukiwania optimum wykorzystuje się oprócz znajomości wartości pierwszych pochodnych funkcjonału w określonych punktach (wartości jakobianu-gradientu), również wartości drugich pochodnych (wartości hessianu) tego funkcjonału w tych punktach

18 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania18 Metody gradientowe Wykorzystując (1) w zbliżaniu się do punktu optimum (minimum), chcielibyśmy Korzystając z rozwinięcia funkcjonału w szereg Taylora w otoczeniu punktu bieżącego dla wystarczająco małego otoczenia tego punktu możemy napisać Załóżmy, że posiadamy oszacowanie gradientu funkcjonału w punkcie bieżącym (2)

19 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania19 Jeżeli ma zachodzić to ma mocy musi zachodzić a to implikuje bo (3)

20 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania20 Kierunek spadku Dowolny wektor spełniający warunek (3) nazywamy jest kierunkiem spadku – wartość funkcjonału zmniejszy się jeżeli wykonany zostanie wystarczająco mały krok w tym kierunku

21 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania21 Kierunek najszybszego spadku Przemieszczając się od punktu do punktu w kierunkach najszybszego spadku postępujemy według metody najszybszego spadku W jaki sposób określić wyznaczający, przy znanym gradiencie długość kroku przemieszczenia ?

22 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania22 Długość kroku w kierunku gradientu 1. wykonać krok o takiej długości, aby w kierunku wskazanym przez gradient w punkcie osiągnąć optimum (minimum) funkcjonału - minimalizacja w kierunku - metoda najszybszego spadku 2. wybrać stałą wartość wykonywać kolejne kroki przemieszczenia z tą samą wartością lub określić regułę zmian wartości w zależności od numeru kroku i stosować w kolejnych krokach zmienną, ale uprzednio określoną wartość

23 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania23 Przykład 1: Wartość gradientu w punkcie początkowym Punkt początkowy Współczynnik długości kroku

24 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania24 Przemieszczenie do punktu itd.

25 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania25 Ilustracja graficzna:

26 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania26 Przykład 2: (wpływ wartości współczynnika długości kroku na przebieg minimalizacji Współczynnik długości kroku Trajektoria poszukiwania minimum ma oscylacyjny charakter – zbyt duża wartość współczynnika długości kroku może prowadzić do niestabilności procesu minimalizacji

27 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania27 Stabilność procesu minimalizacji Miara dobroci estymacji jest formą kwadratową Zatem gradient miary dobroci estymacji dany jest Podstawiając wyrażenie na gradient do formuły przemieszczania się od punktu do punktu w metodzie najszybszego spadku i przyjmując stałą wartość współczynnika długości kroku, otrzymamy Liniowy dyskretny system dynamiczny

28 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania28 Stabilność procesu minimalizacji Liniowy dyskretny system dynamiczny będzie stabilny, wtedy i tylko wtedy, gdy wszystkie wartości własne jego macierzy stanu są co do modułu mniejsze od jedności Macierz stanu Hessian formy kwadratowej Niech i będą wartościami i wektorami własnymi hessianu formy kwadratowej Zachodzi zatem:

29 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania29 Policzmy zatem wektory własne hessianu są również wektorami własnymi macierzy stanu a wartości własne macierzy stanu wynoszą Warunek stabilności metody najszybszego spadku Jeżeli założyć, że forma kwadratowa ma silne minimum, to wszystkie wartości własne hessianu są dodatnie i wówczas warunek stabilności

30 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania30 Ostatecznie lub Największy stabilny współczynnik długości kroku jest odwrotnie proporcjonalny do największej krzywizny formy kwadratowej Krzywizna określa jak szybko zmienia się gradient – jeżeli gradient zmienia się szybko, zbyt długi krok w kierunku ostatnio wyznaczonego gradientu może przemieścić poszukiwania do punktu w którym gradient ma wartość większą co do modułu od ostatnio wyznaczonego ale przeciwny znak, a to prowadzi do powiększania długości kroku z iteracji na iterację, czyli niestabilności algorytmu

31 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania31 Przykład 3: Punkt początkowy Dla rozważanej formy kwadratowej

32 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania32

33 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania33

34 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania34 Inne niebezpieczeństwa – różne punkty początkowe – różne optima Minima lokalne silne Minimum globalne

35 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania35 Zależność efektywności procesu iteracyjnego od kształtu kryterium

36 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania36 W niedużym otoczeniu zmiany wartości mogą być aproksymowane za pomocą rozwinięcia w szereg Taylora drugiego rzędu Metody drugiego rzędu (algorytmy Gaussa-Newtona) Jesteśmy w punkcie Chcemy dokonać przemieszczenia w taki sposób, aby wartość funkcjonału zmniejszyła się jakobian hessian

37 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania37 Lokalna strategia: dokonać przemieszczenia,które minimalizuje aproksymację rzędu drugiego rozważanej funkcji celu Warunek konieczny: Warunek dostateczny: dodatnio określony

38 Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania38 Z warunku koniecznego: stąd


Pobierz ppt "Modelowanie i podstawy identyfikacji 2010/2011Identyfikacja – metoda najmniejszych kwadratów III Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii."

Podobne prezentacje


Reklamy Google