Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów.

Podobne prezentacje


Prezentacja na temat: "Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów."— Zapis prezentacji:

1 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania1 Identyfikacja - metoda najmniejszych kwadratów Typowa forma zadania estymacji parametrów Dany jest system dynamiczny, dla którego proponowany jest model matematyczny oparty na doświadczeniu proponującego i który: zgodny jest ze wszystkimi znanymi prawami rządzącymi zachowaniem się systemu, pozwala wykorzystać dostępne w systemie pomiary dla porównania zachowania się modelu i systemu jego struktura spełnia wymagania pozwalające uzyskać pożądaną dokładność ale zawiera szereg niezbyt dobrze znanych parametrów Należy określić najlepsze estymaty wszystkich nieznanych dobrze parametrów tak, aby model matematyczny zapewniał optymalną estymatę zachowania systemu

2 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania2 Każda metoda rozwiązująca zadanie o podanej strukturze – realizacja procesu estymacji Zadania estymacji: bardzo łatwe nierozwiązywalne Podstawa wielu procesów estymacji – metoda najmniejszych kwadratów

3 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania3 W procesie estymacji z każdą włączoną w ten proces zmienną/wielkością związane są trzy wartości: - wartość prawdziwa (rzeczywista) zmiennej - wartość mierzona zmiennej - wartość estymowana zmiennej - wartość praktycznie nieznana - wartość uzyskiwana z czujnika lub z innego pomiaru, nigdy nierówna wartości prawdziwej, obarczona błędem pomiaru - wartość zmiennej uzyskiwana jako wynik procesu estymacji Co można powiedzieć o tych wartościach? W zadaniu estymacji zmienne x – parametry modelu

4 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania4 Dwa błędy: 1. Błąd pomiaru (measurement error) wartość prawdziwa wartość mierzona błąd pomiaru 2. Błąd resztkowy (residual error) błąd resztkowy – residuum) wartość mierzonawartość estymowana Co można powiedzieć o tych błędach: - wartość praktycznie nigdy nieznana; mechanizm generujący ten błąd zwykle jest aproksymowany przez pewien znany proces (np. szum gaussowski o zerowej wartości średniej i znanej wariancji σ 2 ; - wartość znana w momencie wyznaczenia wartości estymowanej

5 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania5 Przykład 1 (aproksymacja szeregu czasowego): Rysunek – wyniki pomiaru pewnego procesu w czasie System bez zewnętrznego wejścia – szereg czasowy Szereg czasowy y(t) Możliwa interpretacja – historia notowań na giełdzie pewnej firmy w okresie 6 miesięcy

6 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania6 Zadanie – zbudować model y(t) do predykcji perspektyw firmy Dane: Pomiary (np. notowań zamknięcia giełdy), oznaczone dane dla przedziału 6 miesięcy Wymagania: Wartość bezwzględna błędów resztkowych (residuów) |μ| nie większa niż : Odchylenie standardowe błędów resztkowych (residuów) σ nie większa od Średnia z próby: Wariancja z próby: m – liczba próbek, liczba pomiarów

7 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania7 Proponowane modele: - czas [miesiące – m] - stałe współczynniki – parametry Modelu 1 - stałe współczynniki – parametry Modelu 2 Ocena: Jak dobrze każdy z proponowanych modeli z optymalnymi wartościami współczynników c i oraz d i dokonuje predykcji pomiarów? W statystyce: proces wpasowywania krzywej takiej jak np. Model 1 lub Model 2 w posiadane pomiary - regresja

8 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania8 Załóżmy, że znamy metodę najmniejszych kwadratów i zastosowaliśmy algorytm tej metody do wyznaczenia optymalnych wartości współczynników c i Modelu 1 oraz d i Modelu 2 Optymalne wartości współczynników c i Modelu 1 Optymalne wartości współczynników d i Modelu 2 Modele z optymalnymi wartościami współczynników

9 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania9 Porównanie modeli:

10 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania10 Porównanie modeli:

11 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania11 Porównanie modeli: Średnia z próby błędów resztkowych (residuów): Odchylenie standardowe z próby błędów resztkowych (residuów): Konkluzja: Nie mając podstaw przypuszczać istnienia systematycznych błędów w pomiarach stwierdzamy, że Model 1 może być używany do dokładnej oceny zachowania y(t)

12 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania12 Jaka będzie jakość predykcji y(t) poza przedziałem 0-6m?:

13 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania13 Kuchnia naszego zadania: Pomiary generowane zgodnie z równaniem Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.1 Propozycja strukturalnie poprawnego modelu: Optymalne wartości współczynników x i Modelu 3

14 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania14 Model strukturalnie poprawny – różnice wartości prawdziwych i wartości estymowanych parametrów Estymowane optymalnie wartości współczynników x i Modelu 3 (dane z okresu 0-6m) Prawdziwe wartości współczynników x i Modelu 3 Jedyna przyczyna – błędy pomiarów

15 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania15 Jaka będzie jakość predykcji y(t) z wykorzystaniem strukturalnie poprawnego modelu z wartościami parametrów estymowanymi w oparciu o dane z okresu 0-6m?

16 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania16 Wnioski z Przykładu 1 ogromne znaczenie w praktyce estymacji poprawnego strukturalnie modelu matematycznego systemu zaproponowanie strukturalnie poprawnego modelu jest zadaniem trudnym dla nie – specjalisty z dziedziny aplikacji pominięte elementy modelu oraz błędy estymacji parametrów modelu mogą prowadzić do błędnych wyników uzyskiwanych z modelu, szczególnie poza obszarami objętymi pomiarami Teoria estymacji może być rozwijana bez zwracania uwagi na konkretne systemy dynamiczne, ale udane zastosowania teorii estymacji prawie zawsze oparte są na łącznym zrozumieniu teorii estymacji i zasad rządzących zachowaniem się rozważanego systemu

17 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania17 Metoda najmniejszych kwadratów - jednokrotna estymacja liniowa – (linear batch estimation) Założenie: Parametry nieznane Dane: Pomiary (1) Proponowany model: Liniowy względem parametrów (2) - określony zbiór niezależnych funkcji bazowych (3)

18 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania18 Kryterium jakości doboru wartości estymowanych parametrów – jak dobrze proponowany model dokonuje predykcji pomiarów Argument kryterium – błędy resztkowe (residua) Liczba błędów resztkowych – liczba pomiarów Poszukiwanie: Estymaty nieznanych parametrów Pamiętać należy też: błąd pomiędzy wartością prawdziwą a wartością estymowaną – powody: - błąd pomiaru - niepoprawny wybór wartości parametrów x i, i=1,..., n - niepoprawna struktura modelu – błąd modelowania

19 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania19 Zależności: - błędy pomiaru: zakładamy na razie, że ich mechanizm nie jest znany i może mieć charakter przypadkowy lub deterministyczny (5) (6) (4) - model pomiaru gdzie - błędy resztkowe Przyjmujemy

20 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania20 Zależności w zwartej postaci (4a) - wektor wartości mierzonych y - wektor estymowanych wartości parametrów - wektor błędów pomiarów - wektor prawdziwych wartości parametrów - wektor wartości estymowanych y

21 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania21 Równania (4a) oraz (6a) – równania obserwacji Zależności w zwartej postaci –c.d.: (6a) - wektor wartości mierzonych y - wektor estymowanych wartości parametrów - wektor błędów resztkowych (residuów) Macierz obserwacji

22 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania22 Przykład 2: rozpuszczalność azotanu sodu w zależności od temperatury Pomiar j Temperatura u j Rozpuszczalność y j 1066,7 2471, , , , , , , ,1 Proponowany model Funkcje bazowe: Wektor wartości mierzonych y: Wektor wartości estymowanych y: Wektor wartości prawdziwych parametrów: Wektor wartości estymowanych parametrów:

23 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania23 Równania obserwacji: Wektor błędów pomiaru: Wektor błędów resztkowych:

24 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania24 Metoda najmniejszych kwadratów – przypadek liniowy Metoda najmniejszych kwadratów Gaussa proponuje jako optymalny wybór dla wartości nieznanych parametrów, wartość który minimalizuje sumę kwadratów błędów resztkowych (residuów) z (6a)

25 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania25 Przykład 2: c.d.

26 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania26

27 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania27

28 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania28 1. Możemy napisać - - J jest funkcjonałem Metoda najmniejszych kwadratów zadanie minimalizacji funkcjonału bez ograniczeń; zadanie minimalizacji bez ograniczeń Co możemy powiedzieć o : Dla danego w oparciu o równania obserwacji funkcjonału J(x) poszukujemy wartości x * dającej minimalną wartość tego funkcjonału

29 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania29 2. Metoda najmniejszych kwadratów Funkcja celu ma postać formy kwadratowej Forma kwadratowa gdzie: A - macierz symetryczna

30 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania30 Przypomnienie z rachunku różniczkowego ? Warunki konieczne i wystarczające, jakie musi spełnić punkt x, aby można było go uznać za dający minimalną wartość funkcjonału wyprowadzane są w oparciu o jego rozwinięcie Taylora w otoczeniu punktu x Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji - Dodatek A

31 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania31 Warunki konieczne i wystarczające minimum metody najmniejszych kwadratów Warunek konieczny pierwszego rzędu: Warunek konieczny drugiego rzędu: dla dowolnych dodatnio półokreślona (1) (2)

32 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania32 Warunek wystarczający drugiego rzędu: dodatnio określona Fakty: Macierz H T H jest zawsze dodatnio półokreślona (jako macierz symetryczna) Macierz H T H jest dodatnio określona, jeżeli macierz H ma najwyższy rząd równy n (3)

33 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania33 Obliczanie wartości estymowanych nieznanych parametrów – układ równań normalnych wynikający z warunku koniecznego pierwszego rzędu Układ równań normalnych Jeżeli macierz H T H jest nieosobliwa - posiada macierz odwrotną - otrzymujemy jawne rozwiązanie optymalnej estymaty (5) (4)

34 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania34 Jawne rozwiązanie optymalnej estymaty wymaga nieosobliwości macierzy H T H macierz H T H jest nieosobliwa jeżeli rząd macierzy H wynosi n, czyli liczba liniowo niezależnych równań obserwacji jest większa lub co najmniej równa liczbie poszukiwanych estymat x i Stąd warunek: zbiór funkcji bazowych powinien być liniowo niezależny Fakty:

35 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania35 Przykład 3: Prawdziwe wartości parametrów Proponowane zestawy funkcji bazowych

36 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania36 Przykład 4: rozpuszczalność azotanu sodu w zależności od temperatury Rozwiązanie normalnego układu równań

37 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania37 Przykład 5: (estymacja parametrów prostego układu dynamicznego) System Dyskretna reprezentacja systemu z przedziałem dyskretyzacji Δt gdzie: Zadanie: określić wartości stałych A D oraz B D wykorzystując zbiór pomiarów dyskretnych oraz

38 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania38 Jak została zaproponowana reprezentacja dyskretna systemu – - powtórzenie dla tego przykładu z SD Poszukujemy odpowiedzi systemu na dowolne wymuszenie w przedziale czasu [t 0, t) – patrz wykłady z Podstaw automatyki Obiekt u(t) x(t) Dla dowolnego wejścia u(t) określonego w przedziale [t 0,t] odpowiedź systemu

39 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania39 Przyjmując przedział dyskretyzacji T s możemy policzyć Przemnażamy pierwszą zależność przez i odejmujemy od drugiej Ostatnia zależność po uporządkowaniu

40 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania40 Zmieniamy zmienną całkowania Otrzymujemy Przyjmując stałość wejścia w przedziale próbkowania ADAD BDBD

41 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania41 Eksperyment pomiarowy: Na wejście układu w chwili k=1 podano impuls (Diraca) o intensywności 100 i następnie obserwowano wyjście przez 101 chwil czasowych z Δt=0.1

42 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania42 Macierz wartości funkcji bazowych: Równanie obserwacji:

43 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania43 Korzystając z (5): Otrzymamy: Kuchnia naszego zadania: Pomiary generowane były z wykorzystaniem następujących wartości prawdziwych Symulacja błędu pomiaru: generator szumu gaussowskiego o zerowej wartości średniej i odchyleniu standardowym σ = 0.08

44 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania44 Metoda ważonych najmniejszych kwadratów Poprzednie podejście: jednakowe znaczenie wszystkich pomiarów Ważniejsze te pomiary, które wykonywane są z mniejszym błędem – dołączenie wag pomiarów do metody najmniejszych kwadratów minimalizujące gdzie Znaleźć wartości nieznanych parametrów - symetryczna macierz wag

45 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania45 Warunek konieczny pierwszego rzędu: (6) Warunek dostateczny drugiego rzędu: dodatnio określona (7) W dodatnio określona

46 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania46 Jawne rozwiązanie optymalnej estymaty (8) Przykład 5: (nawiązanie do Przykład 1 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie 31 pomiarów spośród 91 zebranych w okresie 6 miesięcy Powzięto informację, że 3 pierwsze pomiary są obarczone mniejszym błędem niż pozostałe Nie ma informacji o dokładności wartości par pomiarów

47 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania47 Proponowana macierz wag: Wykorzystujemy Model1: - czas [miesiące – m] - stałe współczynniki – parametry Modelu 1 Pierwsza estymacja: 31 pomiarów Wyniki gorsze niż przy wykorzystaniu dostępnych 91 pomiarów

48 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania48 Zestawienie wyników estymacji: 1x10 0 1x10 1 1x10 2 1x10 5 1x10 7 1x x10 15 (1.0278, , ) (1.0388, , ) (1.0258, , ) (0.9047, , ) (0.9060, , ) (0.9932, , ) (0.9970, , ) Norma błędów resztkowych wymuszanych 3.21x x x x x x x10 -9 Zastosowanie ważonej metody najmniejszych kwadratów może poprawić jakość estymacji

49 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania49 Poprzednie podejścia: jednakowe znaczenie wszystkich pomiarów – wszystkie pomiary wykonywane z jednakową dokładnością (jednakowo wiarygodne) różne znaczenie poszczególnych pomiarów – część pomiarów charakteryzuje się większą dokładnością (większą wiarygodnością) inne mniejszą dokładnością (mniejszą wiarygodnością Rozważymy jeszcze jedną możliwość: część pomiarów jest dokładna (wykonywana z błędem pomijalnie małym w stosunku do innych pomiarów)

50 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania50 Wszystkie obserwacje-pomiary o liczebności m podzielimy na dwie kategorie: - wektor wartości y mierzonych z ograniczoną dokładnością - wektor wartości y mierzonych dokładnie m 1 pomiarów-obserwacji wykonanych z ograniczoną dokładnością m 2 pomiarów-obserwacji dokładnych m 1 + m 2 = m m1m1 m2m2 Pomiary-obserwacje w obrębie tej kategorii mogą być zróżnicowane – wprowadzenie macierzy W 1

51 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania51 Dla wszystkich przeprowadzonych pomiarów określane są macierze wartości funkcji bazowych, odpowiednio H 1, dla pomiarów niedokładnych i H 2, dla pomiarów dokładnych Macierze wartości funkcji bazowych m1m1 m2m2 n n

52 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania52 Dla pierwszej kategorii pomiarów: m1m1 Dla drugiej kategorii pomiarów: m2m2

53 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania53 Równanie obserwacji będzie miało postać: (1) lub (2) (3) Przyjmiemy z naturalnych powodów:

54 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania54 - wektor estymowanych wartości parametrów Poszukujemy wektora wartości estymowanych nieznanych parametrów Zadanie poszukiwania tego wektora możemy sformułować: Znaleźć wektor, który minimalizuje sumę kwadratów błędów resztkowych (residuów) pomiarów niedokładnych spełniając ograniczenia równościowe pomiarów dokładnych (4) (5)

55 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania55 Rozwiązanie postawionego zadania estymacji metodą nieoznaczonych mnożników Lagrangea Przedstawienie metody: wprowadzamy wektor dodatkowych zmiennych nazywanych nieoznaczonymi mnożnikami Lagrangea λ; wymiar wektora jest równy liczbie ograniczeń równościowych ograniczenia równościowe przemnożone przez wektor mnożników Lagrangea włączone zostają jako składnik do rozszerzonej funkcji celu wartości optymalne oryginalnych zmiennych oraz mnożników Lagrangea wyznaczane są drogą rozwiązania układu równań będących zapisem warunku koniecznego pierwszego rzędu minimum rozszerzonej funkcji celu

56 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania56 Rozszerzona funkcja celu zagadnienia (4) – (5): Wektor nieoznaczonych mnożników Lagrangea dla zagadnienia (4) – (5): Warunki konieczne minimum rozszerzonej funkcji celu zagadnienia (4) – (5): (6) (7) (8) (9)

57 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania57 Rozwiązujemy (8) względem (10) Wynik (10) podstawiamy do (9) (11)

58 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania58 Wynik (11) podstawiamy do (10) Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (patrz (8) z poprzedniego wykładu) Macierz zależna od wartości funkcji bazowych (wejść) i wag pomiarów – macierz stała

59 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania59 Możemy podać wynik rozwiązania zadania (4)-(5): gdzie: K – macierz wzmocnień Optymalne wartości estymowane nieznanych parametrów wyznaczone w oparciu o pomiary niedokładne (12) (13) (14) Wartości y mierzone dokładnie Predykcja wartości y z wykorzystaniem wartości estymowanych nieznanych parametrów wyznaczonych w oparciu o niedokładne pomiary

60 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania60 Przykład 1: (nawiązanie do Przykład 1 z W9 oraz Przykład 5 w W10 (aproksymacja szeregu czasowego) Szereg czasowy y(t) Wykorzystanie 31 pomiarów spośród 91 zebranych w okresie 6 miesięcy Trzy przypadki: Przypadek 1: Przypadek 2: Przypadek 3:

61 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania61 Zestawienie wyników estymacji: (1.0261, , ) (1.0233, , ) (1.0192, , ) (1.0406, , ) (0.9970, , ) (0.9039, , ) Zastosowanie metody najmniejszych kwadratów z ograniczeniami może poprawić jakość estymacji Przypadek

62 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania62 Dodatek A Przypomnienie z rachunku różniczkowego oraz podanie wybranych faktów z teorii optymalizacji

63 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania63 Mamy funkcjonał: Rozwinięcie funkcjonału F w szereg Taylora w otoczeniu punktu x* ma postać:

64 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania64 W najprostszym przypadku: Rozwinięcie funkcjonału F w szereg Taylora w otoczeniu punktu x* ma postać:

65 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania65 Przykład 1 - skalarny: Rozwinięcie w szereg Taylora w otoczeniu : Aproksymacja skończoną liczbą wyrazów szeregu Taylora:

66 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania66 Ilustracja graficzna:

67 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania67 Rozwinięcie w szereg Taylora w otoczeniu Aproksymacja skończoną liczbą wyrazów szeregu Taylora: Przykład 2 – skalarny:

68 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania68 Ilustracja graficzna:

69 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania69 Jeżeli przyjąć oznaczenia: jakobian - gradient funkcjonału Warto pamiętać, że: Kierunek gradientu w punkcie x pokrywa się z kierunkiem normalnej do powierzchni stałej wartości funkcjonału przechodzącej przez punkt x. Zwrot gradientu w punkcie x odpowiada zwrotowi najszybszego wzrostu wartości funkcjonału w otoczeniu punktu x. hessian funkcjonału

70 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania70 Postać macierzowa szeregu Taylora: Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż osi : - i-ty element gradientu Druga pochodna (krzywizna) funkcjonału wzdłuż osi : - (i,i)-ty element hessianu

71 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania71 Druga pochodna (krzywizna) funkcjonału wzdłuż wektora : Pierwsza pochodna (nachylenie) funkcjonałuwzdłuż wektora :

72 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania72 Przykład 3:

73 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania73 Ilustracja graficzna: Pochodne kierunkowe: Pochodne kierunkowe:

74 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania74 Przykład 4:

75 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania75 Ilustracja graficzna: Pochodne kierunkowe: 2. 4

76 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania76 Minimum globalne: Punkt jest unikatowym minimum globalnym funkcjonału jeżeli zachodzi, dla wszystkich Minimum silne (lokalne): Punkt jest minimum silnym (lokalnym) funkcjonału jeżeli istnieje skalar, taki, że zachodzi, dla wszystkich takich, że Minimum słabe (lokalne): Punkt jest minimum słabym (lokalnym) funkcjonału a istnieje skalar, jeżeli taki, że zachodzi, dla wszystkich takich, że nie jest minimum silnym, Optymalność

77 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania77 Przykład 5: Minimum silne Maksimum silne Minimum globalne Optymalność Minima lokalne silne Minimum globalne Maksimum lokalne silne

78 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania78 Przykład 6 - wektorowy: Minimum globalne Minimum silne Punkt siodłowy Minima lokalne silne Minimum globalne Punkt siodłowy Optymalność

79 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania79 Minima lokalne silne Minimum globalne Przykład 7 - wektorowy: Optymalność

80 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania80 Przykład 8 - wektorowy: Minimum słabe Minimum lokalne słabe wzdłuż prostej x 1 = 0 Optymalność

81 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania81 Warunki konieczne minimum Rozwinięcie, takiego, że w szereg Taylora w otoczeniu Optymalność

82 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania82 Warunki konieczne minimum Warunek pierwszego rzędu: Jeżeli x * jest punktem lokalnego minimum i F jest różniczkowalne w sposób ciągły w otwartym otoczeniu x *, wówczas Optymalność

83 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania83 Warunek drugiego rzędu: Jeżeli x * jest punktem lokalnego minimum i 2 F jest ciągłe w pewnym otwartym otoczeniu x *, wówczas dla dowolnych Optymalność

84 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania84 Przykład 9: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego Optymalność

85 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania85 Punkt x * =0 spełnia warunki konieczne pierwszego i drugiego rzędu dla minimum Optymalność

86 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania86 Warunki określoności macierzy hessianu można badać przez sprawdzenie wartości własnych tej macierzy Macierz hessianu jest dodatnio określona, jeżeli wszystkie jej wartości własne są dodatnie Macierz hessianu jest dodatnio półokreślona, jeżeli wszystkie jej wartości własne są nieujemne Optymalność

87 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania87 Optymalność Przykład 10: Warunek punkt stacjonarnego Punkt stacjonarny - jedyny Sprawdzenie warunków rzędu drugiego

88 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania88 Pozyskanie informacji o określoności macierzy hessianu Nie można stwierdzić czy macierz hessianu jest dodatnio określona lub dodatnio półokreślona Optymalność

89 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania89 Optymalność Wartości własne hessianu

90 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania90 Optymalność Minimum silne w

91 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania91 Warunki wystarczające minimum Warunek drugiego rzędu: Jeżeli dla pewnego x *, 2 F jest ciągłe w pewnym otwartym jego otoczeniu i F(x * ) = 0 i 2 F(x * ) jest dodatnio określona, wówczas x * jest silnym minimum lokalnym Warunek globalnego minimum Jeżeli F jest funkcją wypukłą (a nawet tylko pseudowypukłą), wówczas każde minimum lokalne jest minimum globalnym. Jeżeli dodatkowo F jest różniczkowalna, wówczas każdy punkt stacjonarny jest globalnym minimum Optymalność

92 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania92 Forma kwadratowa gdzie: A - macierz symetryczna; (jeżeli macierz A nie jest symetryczna, to może być zastąpiona przez macierz symetryczną dającą te same wartości F(x) - to samo przekształcenie F(x)) Pożyteczne właściwości gradientu: gdzie jest stałym wektorem dla symetrycznych

93 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania93 Gradient formy kwadratowej Hessian formy kwadratowej Forma kwadratowa

94 Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów Sterowania94 Jeżeli wartości własne hessianu są wszystkie dodatnie – forma posiada pojedyncze silne minimum Jeżeli wartości własne hessianu są wszystkie ujemne – forma posiada pojedyncze silne maksimum Jeżeli pewne wartości własne hessianu są dodatnie, a inne ujemne – forma posiada pojedynczy punkt siodłowy Jeżeli wszystkie wartości własne hessianu są nieujemne, ale niektóre są równe zeru – forma albo posiada słabe minimum albo nie ma punktu stacjonarnego Jeżeli wszystkie wartości własne hessianu są niedodatnie, ale niektóre są równe zeru – forma albo posiada słabe maksimum albo nie ma punktu stacjonarnego Słuszne są twierdzenia: Forma kwadratowa


Pobierz ppt "Modelowanie i podstawy identyfikacji 2012/2013Identyfikacja – metoda najmniejszych kwadratów Kazimierz Duzinkiewicz, dr hab. inż.Katedra Inżynierii Systemów."

Podobne prezentacje


Reklamy Google