Metody analizy decyzji Wykład 7 – sekwencyjne problemy decyzyjne

Cele dzisiejszego wykładu Specyfika sekwencyjnych problemów decyzyjnych Model sekwencyjnego problemu decyzyjnego Parametryzacja modelu Rozwiązywanie problemów sekwencyjnych (indukcja wsteczna)

Sekwencyjne sytuacje decyzyjne Problemy decyzyjne są często częścią większych problemów Wybór dotyczy ciągu działań odseparowanego w czasie Akcje spotykają się z reakcjami środowiska trudno podjąć wszystkie decyzje na zapas zależności strukturalne (dostępność akcji zależy od reakcji) – trudno postrzegać „jednocześnie” Akcje podejmowane po to, żeby zbadać stan świata (nawet bez 100% pewności)

Przykład Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi. Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu. Koszt upublicznienia jest równy 1, zaś śledztwa 5.

Przykład – pytania Jakie warianty decyzyjne są dostępne, ile ich jest? Jakie są możliwe konsekwencje dla poszczególnych wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia? Jaka jest optymalna decyzja? Jakie zachowania przewiduje? Jak wpływa wzrost prawdopodobieństwa przecieku ze śledztwa? Ile jest warta możliwość przeprowadzenia śledztwa? Ile maksymalnie warto zapłacić za informację o skali problemu?

Model sekwencyjnego problemu decyzyjnego – złe podejście Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania wyjdą na jaw … Zignoruj problem Prowadź badania, jeśli uda się utrzymać sekret i okaże się, że …, to … Brak uwidocznienia struktury Trudność odgadnięcia niezbędnych parametrów Trudność reewaluacji Niewidoczne współzależności między parametrami

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny) korzeń reprezentuje początek sytuacji decyzyjnej wierzchołki reprezentują moment oczekiwania lub zakończenie problemu wierzchołki: decyzyjne, losowe, końcowe krawędzie między wierzchołkami reprezentują działania/reakcje odległość wierzchołków od korzenia reprezentuje następstwo czasowe

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d. Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: … Parametry: miary prawdopodobieństwa dla wierzchołków losowych …

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d. Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: … Parametry: miary prawdopodobieństwa dla wierzchołków losowych wypłaty dla wierzchołków końcowych koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich węzłów)

Przyjęte uproszczenia modelu Stałość parametrów Czas tylko porządkowo (tylko następstwo czasowe) Jeden decydent Jedno kryterium Liniowa f. użyteczności (ew. wypłaty w węzłach końcowych jako użyteczność)

Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y” Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik Ile jest wariantów decyzyjnych w naszym problemie?

Przykładowe warianty decyzyjne

Konsekwencje Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik Każdy wariant ma tyle konsekwencji, ile węzłów końcowych Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)

Przykładowe konsekwencje

Konsekwencje, c.d. Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik Każdy wariant ma tyle konsekwencji, ile węzłów końcowych Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa) Ta sama konsekwencja może wynikać z kilku różnych wariantów (różniących się po reakcjach, które nie zaszły) – wtedy ma takie same wypłaty i prawdopodobieństwa dla każdego wariantu

Ocena wariantu i wybór Każdej konsekwencji odpowiada: koszt – suma kosztów na ścieżce konsekwencji wypłata – z węzła końcowego prawdopodobieństwo – iloczyn prawdopodobieństw Każdemu wariantowi przypisać można rozkład prawdopodobieństwa zysku (wypłat pomniejszonych o koszty) Przy porównywaniu można stosować metody poznane na poprzednim wykładzie,… …w dalszej części będziemy wykorzystywać wartość oczekiwaną zysku (liniowa funkcja użyteczności)

Wybór metodą indukcji wstecznej W dużych problemach łatwiej wybrać metodą indukcji wstecznej: przesuwamy się od węzłów końcowych do wierzchołka dla węzłów końcowych mamy zdefiniowaną wypłatę z każdym węzłem losowym utożsamiamy wypłatę jako wartość oczekiwaną wypłaty dla jego następników z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą wypłatę dla któregoś następnika pomniejszoną o koszt działania Uwaga: dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują wariant decyzyjny, który jest rozwiązaniem! wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy wybraniu rozwiązania – to jest także wartość całego problemu

Podsumowanie rozwiązania Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $ Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $

Przykład 2 – czarne złoto Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast. Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe) Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%). Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.

Ustal strukturę drzewa

Wpisz wypłaty i koszty

Podaj prawdopodobieństwa

Prawdopodobieństwo warunkowe Bayes Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku

Paradox Monty Hall’a http://www.math.ucsd.edu/~crypto/Monty/montybg.html

Przykład z testowaniem wirusa HIV Prawdopodobieństwo, że dana osoba jest zakażona wirusem HIV w danej populacji jest 0,1% Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%) Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%) Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”? Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?

Probability tree flipping 0,099% 0,001% 4,995% 94,905% 0,099% 4,995% 0,001% 94,905%

Czarne złoto – prawdopodobieńśtwa Oznaczenia: hipotezy: H1 – jest ropa H2 – nie ma ropy zdarzenie A – pozytywny wynik testu Dane: P(H1)= 50% P(H2)= 50% P(A|H1)= 90% P(A|H2)= 30% P(~A|H1)= 10% P(~A|H2)= 70% Potrzebujemy: P(A)=… P(H1|A)=… P(H1|~A)=… Obliczenia: P(A) = P(A|H1)P(H1)+P(A|H2)P(H2)= =90%*50%+30%*50%=60% P(H1|A)=P(A|H1)P(H1)/P(A)= 90%*50%/60% = 75% P(H1|~A)=P(~A|H1)P(H1)/P(~A)= 10%*50%/40% = 12,5%

Prawdopodobieństwa warunkowe intuicyjnie Pr(test + | wiersz) Pr(test - | wiersz) Pr. wiersza jest ropa 90% 10% 50% nie ma 30% 70% SUMA n.a. 100% test + test - SUMA jest ropa 45% 5% 50% nie ma 15% 35% 60% 40% 100% test + test - SUMA Pr(jest ropa | kolumna) 75% 12,5% n.a. Pr(nie ma | kolumna) 25% 87,5% Pr. kolumny 60% 40% 100%

Podaj prawdopodobieństwa

Rozwiąż metodą indukcji wstecznej

Podsumowanie rozwiązania Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $ Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $

Narzędzia Darmowe (do celów niekomercyjnych): InsightTree: http://www.visionarytools.com/License.htm Płatne, wiele funkcji, dostępna wersja testowa: TreeAge: http://www.treeage.com/

Podsumowanie Drzewo decyzyjne jako model sekwencyjnego problemu decyzyjnego (to nie to samo co drzewo klasyfikacyjne z data miningu!) Drzewo decyzyjne ułatwia strukturyzację modelu, ale wciąż występują pułapki (jak zawsze) – trzeba zachować perspektywę decydenta Parametryzacja często wymaga metod bayesowskich Do rozwiązywania można podejść globalnie (wypisanie wariantów) albo rekurencyjnie (indukcja wsteczna) – w ramach modelu i ograniczeń stosowanych dzisiaj podejścia te są równoważne