Gry różniczkowe i ich zastosowania w Automatyce i Robotyce

Prezentacja na temat: "Gry różniczkowe i ich zastosowania w Automatyce i Robotyce"— Zapis prezentacji:

1 Gry różniczkowe i ich zastosowania w Automatyce i Robotyce
Patryk Kołacki

2 Wprowadzenie Co to jest ten system dynamiczny?

3 Wprowadzenie Co to jest ten system dynamiczny?
Jest to model matematyczny rzeczywistego zjawiska przyrody, którego ewolucja jest wyznaczona jednoznacznie przez stan początkowy; najczęściej jest opisany wektorowym równaniem różniczkowym, zwanym równaniem stanu. Co to jest ten system dynamiczny?

4 Definicje czasu Dwie możliwe definicje czasu:
czas dyskretny: czas przybiera wartości ze zbioru {0,1,2,…}. może być rozumiany jako kolejne kroki/iteracje czasowe dobry model do opisu komputerów i systemów cyfrowych czas ciągły: czas przybiera wartości ze zbioru modele systemów wynikające ze zjawisk fizycznych przykłady: samoloty, samochody, temperatura w pokoju, ruch planet wokół słońca Dyskretne systemy dynamiczne są opisywane równaniami różnicowymi: Ciągłe systemy dynamiczne są opisywane równaniami różniczkowymi:

5 Sterowanie systemem dynamicznym
Prawie wszystkie systemy dynamiczne posiadają pewien zbiór wejść sterujących. Zachowanie się systemu jest zdeterminowane przez obecny stan oraz stan wejść. Równanie różnicowe systemu dynamicznego czasu dyskretnego: Równanie różniczkowe systemu dynamicznego czasu ciągłego: Od teraz będziemy rozważać tylko systemy dynamiczne czasu ciągłego…

6 Definicja gry różniczkowej
Zdefiniujmy grę różniczkową. Ustalmy przedział [0, T], zbiory przy czym , oraz funkcję lipschitzowską Określmy ponadto zbiory: nazywane zbiorami sterowań graczy P1 i P2.

7 Definicja gry różniczkowej cd.
Niech będzie absolutnie ciągłym rozwią- zaniem równania różniczkowego: gdzie:

8 Definicja gry różniczkowej cd.
Ustalmy funkcje i zdefiniowane tak, że dobrze określone są funkcjonały: dla i = 1, 2, dane wzorami: gdzie: i-ty funkcjonał L jest nazywany funkcjonałem kosztu i-tego gracza. Czas T wyznaczający czas końca gry może być nieskoń- czony. Problemem optymalizacyjnym jest takie znalezienie stero- wania u(t) (rozumianego tutaj jako wektor sterowań) aby zmini- malizować funkcjonał (każdy gracz minimalizuje swój własny funkcjonał).

9 Przykład - pościg i ucieczka
Rozważmy obiekt latający (np. dron lub quadrocopter) opisany następującym wektorowym równaniem różniczkowym: i pocisk który próbuje „złapać” nasz obiekt latający: Wprowadzamy opis w przestrzeni stanów: That’s my game! Definiujemy: , jeżeli Funkcjonały kosztu obu graczy definiujemy jako:

10 Typy gier różniczkowych
Gry różniczkowe klasyfikujemy ze względu na wzorzec informacji jaki jest dostępny dla i-tego gracza w czasie t. Oznaczamy go przez , istnieją cztery typy gier: wzorzec informacji w tzw. pętli otwartej: każdy gracz obserwuje warunki początkowe innych graczy i wybiera na początku swoje sterowanie: podczas ewolucji stanu systemu gracze nie mogą (!) zmieniać swoich sterowań wzorzec informacji w tzw. pętli zamkniętej: każdy gracz wybiera swoje sterowanie na początku w każdej chwili czasu można zmienić sterowanie w zależności od stanu systemu czy też reakcji innego gracza

11 Typy gier różniczkowych cd.
memoryless perfect state: feedback perfect state: Powyższe typy wzorców informacyjnych stanowią niejako „mixy” dwóch poprzednich, są jednak spotykane w opisach realnych układów sterowania dlatego zostały tu przed- stawione.

12 Gry o sumie zerowej O danej grze różniczkowej możemy mówić, że jest grą o sumie zerowej jeżeli spełniony jest poniższy warunek: przy czym C może być dowolną stałą. Oczywiście powyższą definicję można łatwo rozszerzyć na grę w której występuje N graczy.

13 Punkt równowagi Nasha Koncepcja punktu równowagi Nasha w grach różniczkowych przedstawia się nas- tępująco: „żaden z graczy nie może zmniejszyć swojego kosztu (zwiększyć wypła- ty) poprzez jednostronną zmianę swojej strategii”. Formalna definicja ma następu- jącą treść: Mówimy, że para sterowań , (i =1,2), jest strategią równowagi Nasha jeżeli dla każdego i spełnione są nierówności:

14 Punkt siodłowy Idea punktu siodłowego w grach różniczkowych opiera się na 3 stwierdzeniach: punkt siodłowy jest osiągany tylko w grach o sumie zerowej mamy do czynienia z jedną funkcją kosztu/wypłaty L gracz I chce zmaksymalizować funkcję L, a gracz 2 zminimalizować L. Przy takich założeniach definiujemy jako punkt siodłowy jeżeli: Uwaga! Ta definicja nie może być rozszerzona na grę w której uczestniczy większa niż 2 liczba graczy.

15 Twierdzenie weryfikacyjne - Założenia
Załóżmy, że istnieją sterowania oraz funkcje , spełniające układ równań różniczkowych cząstkowych: gdzie funkcje są ciągłe i ponadto są nieujemne dla

16 Twierdzenie weryfikacyjne - Teza
Jeżeli spełnione są wszystkie przedstawione wcześniej zało- żenia, to para sterowań jest strategią równowagi Nasha i ponadto:

17 Gry liniowo - kwadratowe
Grę różniczkową nazywamy liniowo – kwadratową jeżeli: , oraz: gdzie: macierze odpowiednich wymiarów, symetrycznie i nieujemnie określone, a dodat- nio określona.

18 Wartość gry Przypuśćmy, że istnieje pewna funkcja, określająca wartość gry; wartość gry różni- czkowej, która rozpoczyna się w punkcie , będziemy oznaczać przez . Załóżmy, że w czasie t = 0 gracz I wybiera sterowanie , a gr. II – sterowanie Po bardzo małym interwale czasu dt zauważymy, że wektor stanu będzie w przybliżeniu równy , gdzie lub w skła- dowych: (*) oraz ogólna wypłata równa się w przybliżeniu: (**) Następnie gra rozpoczyna się z punktu , wyznaczonego przez równanie (*), z osiągniętą już wypłatą (**). Jeżeli rozpoczynając grę od chwili dt, nadal stosowane są optymalne strategie, to ogólna funkcja wypłaty będzie równa: Wiadomo jednak, że: , gdzie:

19 Wartość gry cd. Mamy zatem:
Zatem zakładając, że i są optymalnymi strategiami wybranymi w czasie t = 0, otrzymujemy [na mocy definicji: wartość gry = sup inf (funkcja wypłaty)]: lub, kładąc , mamy: (+) albo w postaci równoważnej: (++) Równanie (+) lub równoważne mu równanie (++) nazywamy równaniem podstawo- wym. Jest to równanie o pochodnych cząstkowych rzędu pierwszego na wartość gry Różniczkowej W(x). W(x) jest oczywiście funkcją stanu początkowego x(0). W równa- niu (++) na ogół można zmieniać kolejność działania dwóch operatorów sup i inf, cho- ciaż w praktyce mogą występować powierzchnie o małych rozmiarach, na których nie musi zachodzić równość.

20

21 Bibliografia J. Zabczyk, „Zarys matematycznej teorii sterowania”, Wydawnictwo Naukowe PWN, Warszawa 1991 A. Myślicki, „Gry różniczkowe i całkowe w przestrzeniach fizycznych”, Państwowe Wydawnictwo Naukowe, Warszawa 1974 D. Fundenberg, „Game Theory”, MIT Press, 1991 Wykład autorstwa S. Karamana, MIT, 8.XII.2010 z przedmiotu „Principles of Autonomy and Decision Making”