Hipoteza cegiełek, k-ramienny bandyta, minimalny problem zwodniczy

Prezentacja na temat: "Hipoteza cegiełek, k-ramienny bandyta, minimalny problem zwodniczy"— Zapis prezentacji:

1 Hipoteza cegiełek, k-ramienny bandyta, minimalny problem zwodniczy
Algorytmy Genetyczne Hipoteza cegiełek, k-ramienny bandyta, minimalny problem zwodniczy

2 Algorytmy genetyczne podstawowe definicje
Niech : Ciągi kodowe składają się z symboli alfabetu V={0,1} oraz niech wielkie litery oznaczają ciągi kodowe a ich elementy niech będą oznaczone przez małe litery z indeksami dolnymi określającymi pozycje w ciągu. Np. A= symbolicznie: A=a1a2a3a4a5a6a7 . lub A’= a3a6a4a1a2a5a7 . A(t) oznacza populację złożoną z ciągów Aj, j=1,2,…,n w chwili (pokoleniu) t. H oznacza schemat złożony z symboli alfabetu V+={0,1,*}

3 Algorytmy genetyczne podstawowe definicje
Rzędem schematu H, oznaczonym przez o(H) nazywamy liczbę ustalonych pozycji we wzorcu. Rozpiętością schematu H, oznaczoną przez (H) nazywamy odległość między dwoma skrajnymi pozycjami ustalonymi.

4 Przykład Przykład H=011*1** o(H)=4, (H)=5-1=4 H=0******

5 Oczekiwana liczba reprezentantów schematu
Załóżmy, że w chwili t w populacji A(t) znajduje się m=m(H,t) reprezentantów danego schematu H. Podczas reprodukcji ciągi podlegają replikacji z prawdopodobieństwem pi= W chwili t+1 można oczekiwać obecności m(H,t+1) reprezentantów schematu H. Zachodzi wzór: E[m(H,t+1)]=m(H,t)*n*f(H)/∑fi

6 Oczekiwana liczba reprezentantów schematu
f(H) to średnie przystosowanie ciągów będących reprezentantami schematu H w chwili t. Jeśli przyjmiemy, że średnie przystosowanie całej populacji to to powyższy związek można zapisać jako:

7 Oczekiwana liczba reprezentantów schematu
Załóżmy, że pewien schemat H przewyższa średnią o wielkość c , gdzie c jest stałą. Wówczas równanie schematów wygląda następująco: Zaczynając od t=0 i zakładając, że c nie zmienia się w czasie otrzymujemy zależność:

8 Oczekiwana liczba reprezentantów schematu
Dolne oszacowanie prawdopodobieństwa przeżycia schematu podczas krzyżowania wynosi: ps=1-(H)/(l-1) gdzie l-1 to liczba możliwych położeń. Jeżeli pc to prawdopodobieństwo krzyżowania to wówczas prawdopodobieństwa przeżycia schematu H spełnia równość: Zakładając niezależność operacji reprodukcji i krzyżowania otrzymujemy oszacowanie:

9 Oczekiwana liczba reprezentantów schematu
Dany schemat przeżyje mutację z prawdopodobieństwem (1-pm)o(H). Dla małych wartości prawdopodobieństwo można aproksymować za pomocą wyrażenia 1-o(H)*pm Zatem oczekiwana liczba reprezentantów schematu H w następnym pokoleniu otrzymany w wyniku operacji reprodukcji, krzyżowania i mutacji, spełnia następującą nierówność

10 Twierdzenie o schematach
Podstawowe twierdzenie algorytmów genetycznych Wąskie, niskiego rzędu i dobrze przystosowane schematy rozprzestrzeniają się w kolejnych pokoleniach zgodnie z wykładniczym prawem wzrostu.

11 Przykład [1]

12 Dwu-ramienny bandyta Załóżmy, że istnieje dwuramienny automat do gry, którego ramiona są oznaczone jako Lewe i Prawe oraz wiadomo, iż jedno z ramion zapewnia średnią wygraną 1 przy wariancji 12, a drugie średnią wygraną 2 przy wariancji 22 , przy czym 1 2 .

13 Dwu-ramienny bandyta Strategia wygranej
Przypuśćmy, że mamy do wykonania łącznie N prób, które należy podzielić między oba ramiona. Na początek wykonujemy po n prób (2n<N) z każdym z ramion. Po zakończeniu eksperymentu pozostałe N-2n prób wykonujemy z ramieniem o najwyższej zrealizowanej (średniej) wypłacie. Zakładając, że znamy N, 1, 2, 1, 2, oczekiwana strata będzie dana wzorem: L(N,n)=| 1- 2|*[(N-n)q(n)+n(1-q(n))] Gdzie q(n) oznacza prawdopodobieństwo, że po wykonaniu n prób z każdym z urządzeń gorsze ramię dało empirycznie lepszy wynik.

14 Dwu-ramienny bandyta Strategia wygranej
Prawdopodobieństwo q(n) można oszacować za pomocą rozkładu normalnego: , gdzie Straty jakie można ponieść to: Wykonanie n prób ze złym ramieniem w fazie eksperymentalnej oraz wybór ramienia dającego niższą średnią wygraną po zakończeniu eksperymentu

15 Optymalna wielkość eksperymentu n*
Holland podaje oszacowanie: , gdzie b=1/(1- 2)

16 k-ramienny bandyta Zasady wygranej podobne jak w 2-raminnym bandycie z tą różnicą, że teraz mamy k ramion. k-ramienny bandyta to zbiór konkurujących schematów Definicja Dwa schematy A i B o elementach odpowiedni a­i i bi konkurują, jeżeli dla każdej pozycji i=1,2,…,l albo ai=bi=*, albo ai*, bi*, aibi – przy czym ostatni przypadek zachodzi przynajmniej dla jednego i.

17 Przykład Dany jest zbiór schematów o długości 7, konkurujących na pozycjach 2, 3 i 5 *00*0** *00*1** *01*0** *01*1** *10*0** *10*1** *11*0** *11*1**

18 Przykład Dla trzech ustalonych pozycji w ciągu długości 7 mamy zagadnień ośmioramiennych (23=8) bandytów. Ogólnie dla schematów rzędu j i długości l istnieje różnych zagadnień kj- ramiennych, gdzie kj=2j bandytów Jednak nie wszystkie z zagadnień są rozwiązywane z jednakową sprawności,.

19 Hipoteza cegiełek (bloków budujących)
Algorytm genetyczny poszukuje rozwiązań optymalnych przez zestawianie schematów o małej rozpiętości i niskiego rzędu a o dużej wydajności działania, zwanych cegiełkami (blokami budującymi) [1],[2].

20 Hipoteza cegiełek (bloków budujących) – Przykład [1]

21 Hipoteza cegiełek (bloków budujących) – Przykład [1]

22 Minimalny problem zwodniczy
Problem zwodniczy- przypadek kiedy algorytm genetyczny szuka optimum w innym miejscu dając fałszywe wyniki (dążąc do punktów suboptymalnych).

23 Minimalny problem zwodniczy
Niech będą dane 4 schematy rzędu 2, ze współczynnikami przystosowania: ***0*****0* f00 ***0*****1* f01 ***1*****0* f10 ***1*****1* f11 Współczynniki przystosowania odpowiadają średnim dla schematów względem populacji. Załóżmy, że są one stałe, zerowej wariancji oraz, że f11 jest globalnym optimum: f11>f00, f11>f01, f11>f10.

24 Minimalny problem zwodniczy
Niech dany będzie element zwodniczości, f(0*)>f(1*); f(*0)>f(*1) Zatem powinny zachodzić równości: Nie mogą one być jednak jednocześnie spełnione (bo punkt 11 nie byłbym globalnym optimum)

25 Minimalny problem zwodniczy
Załóżmy, że prawdziwa jest pierwsza nierówność. Wówczas problem zwodniczy rzędu 2 jest wyznaczony przez warunek globalności (maksimum równe f11) oraz jeden warunek zwodniczości (wybraliśmy tu przypadek f(0*)>f(1*) ). Wszystkie współczynniki przystosowania względem f00 (współczynnik przystosowania „dopełnienia” globalnego optimum) można znormalizować:

26 Minimalny problem zwodniczy
Warunek globalności w znormalizowanej postaci to: r>c; r>1; r>c’ Warunek zwodniczości r<1+c-c’ Stąd wynika c’<1; c’<c Można wyróżnić dwa typy problemów zwodniczych rzędu 2. Typ I: f01>f00 (c>1). Typ II: f00f01 (c1).

27 Epistaza Pojęcie zwodniczości połączone jest z epistazą. Można dowieść, że żaden problem rzędu 1 nie może być zwodniczy, więc problem zwodniczy rzędu 2 jest najmniejszym możliwym, czyli minimalnym problemem zwodniczym (MPD).

28 Wzorce podobieństwa - hiperpłaszczyzny
Niech będą dane ciągi i schematy o długości l=3. Można je przedstawić w przestrzeni, gdzie punktami będą ciągi kodowe lub schematy rzedu 3, linie proste to będą schematy rzędu 2, płaszczyzny – schematami rzędu 1, natomiast całej przestrzeni odpowiada schemat rzędu 0, czyli ***. x1 x2 x3 000 010 001 100 101 111 011 110 *1* Płaszczyzna 1** Płaszczyzna 0*1 Prosta

29 Bibliografia [1] D. Goldberg, Algorytmy genetyczne i ich zastosowania,
WNT, Warszawa 1998 [2] Z. Michalewicz, Algorytmy genetyczne+struktury danych = programy ewolucyjne WNT, Warszawa 1999