Sekwencyjne problemy decyzyjne Wykład 7

Przykład Firma zdała sobie sprawę, że wypuściła na rynek wadliwy produkt. Nie jest pewna skali zjawiska – może być duża (40%) lub mała. Jeśli firma nie da po sobie znać, to wina za duży problem na 25% nie zostanie przypisana firmie (za mały na pewno nie). Firma może zignorować problem, upublicznić sprawę lub wszcząć wewnętrzne śledztwo. Wewnętrzne śledztwo na 80% faktycznie pozostanie w ukryciu i da pewną informację nt. skali problemu. Wtedy firma będzie mogła ponownie podjąć decyzję o upublicznieniu lub zignorowaniu przy zachowaniu ww. prawdopodobieństw. Jeśli śledztwo się wyda, pozostaje jedynie niepewność co do skali problemu i reakcji ludzi. Straty – konieczność rekompensat i wymiany sprzętu – wynikające z dużego problemu wynoszą 100 [wszystkie kwoty w mln $], z małego 30. Jeśli problem jest duży, to dodatkowa strata wyniesie: 100 – jeśli firma ignorowała problem, 50 – jeśli firma badała kwestię, ale w ukryciu. Koszt upublicznienia jest równy 1, zaś śledztwa 5.

Przykład – pytania Jakie warianty decyzyjne są dostępne, ile ich jest? Jakie są możliwe konsekwencje dla poszczególnych wariantów? Jakie są związane z nimi wypłaty i prawdopodobieństwa wystąpienia? Jaka jest optymalna decyzja? Jakie zachowania przewiduje? Jak wpływa wzrost prawdopodobieństwa przecieku ze śledztwa? Ile jest warta możliwość przeprowadzenia śledztwa? Ile maksymalnie warto zapłacić za informację o skali problemu?

Model sekwencyjnego problemu decyzyjnego – złe podejście Skala jest duża, ale sama z siebie nie wyjdzie; sekretne badania wyjdą na jaw … Zignoruj problem Prowadź badania, jeśli uda się utrzymać sekret i okaże się, że …, to … Brak uwidocznienia struktury Trudność odgadnięcia niezbędnych parametrów Trudność reewaluacji Niewidoczne współzależności między parametrami

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: drzewo decyzyjne – graf (nieskierowany, spójny, acykliczny) korzeń reprezentuje początek sytuacji decyzyjnej wierzchołki reprezentują moment oczekiwania lub zakończenie problemu wierzchołki: decyzyjne, losowe, końcowe krawędzie między wierzchołkami reprezentują działania/reakcje odległość wierzchołków od korzenia reprezentuje następstwo czasowe

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d. Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: … Parametry: miary prawdopodobieństwa dla wierzchołków losowych …

Model sekwencyjnego problemu decyzyjnego – drzewa decyzyjne, c.d. Elementy modelu: struktura (dostępne działania, następstwo czasowe) parametry (prawdopodobieństwa, koszty, wypłaty) Struktura: … Parametry: miary prawdopodobieństwa dla wierzchołków losowych wypłaty dla wierzchołków końcowych koszty dla działań i reakcji (krawędzi wychodzących z odpowiednich węzłów)

Przyjęte uproszczenia modelu Stałość parametrów Czas tylko porządkowo (tylko następstwo czasowe) Jeden decydent Jedno kryterium Liniowa funkcja użyteczności

Model sekwencyjnych problemów decyzyjnych – warianty decyzyjne Wariant decyzyjny jednoznacznie określa zachowanie decydenta poprzez podanie reguł: „jeśli wystąpi stan świata X, podejmij działanie Y” Wariant decyzyjny to maksymalny spójny podgraf, w którym każdy wierzchołek decyzyjny ma dokładnie jeden następnik Ile jest wariantów decyzyjnych w naszym problemie?

Przykładowe warianty decyzyjne

Konsekwencje Każdemu wariantowi odpowiada co najmniej jedna konsekwencja, tj. ścieżka działań i reakcji, która może zajść w wyniku wybrania tego wariantu Konsekwencje reprezentowane są przez maksymalne spójne podgrafy, w których każdy węzeł (poza końcowymi) ma jeden następnik Każdy wariant ma tyle konsekwencji, ile węzłów końcowych Konsekwencjom odpowiadają wypłaty dla decydenta oraz prawdopodobieństwo (przy założeniu wybrania wariantu, dla którego dana konsekwencja możliwa)

Przykładowe konsekwencje

Wybór metodą indukcji wstecznej W dużych problemach łatwiej wybrać metodą indukcji wstecznej: przesuwamy się od węzłów końcowych do wierzchołka dla węzłów końcowych mamy zdefiniowaną wypłatę z każdym węzłem losowym utożsamiamy wypłatę jako wartość oczekiwaną wypłaty dla jego następników z każdym węzłem decyzyjnym utożsamiamy wypłatę jako najwyższą wypłatę dla któregoś następnika pomniejszoną o koszt działania Uwaga: dla każdego węzła decyzyjnego dokonaliśmy wyboru – te wybory definiują wariant decyzyjny, który jest rozwiązaniem! wartość obliczona w korzeniu drzewa definiuje oczekiwaną wypłatę przy wybraniu rozwiązania – to jest także wartość całego problemu

Podsumowanie rozwiązania Optymalny wariant przewiduje prowadzenie badań i upublicznienie wyników (o ile samoistnie nie nastąpił przeciek), jeśli okaże się, że skala problemu jest duża Oczekiwana strata w tej sytuacji decyzyjnej dla optymalnego wariantu wynosi 58,6 mln $ Druga najlepsza opcja to natychmiastowe upublicznienie wyników – oczekiwana strata jest wówczas równa 59 mln $

Przykład 2 – czarne złoto Rockefeller ma pole w umiarkowanie roponośnej okolicy. Zgłosił się do niego oferent, proponując mu za to pole od ręki 750 tys. $, jeśli do transakcji dojdzie natychmiast. Rockefeller może jednak próbować zarobić większe pieniądze. Wiadomo, że połowa pól w tej okolicy rzeczywiście obfituje w ropę. Można (za 250 tys. $) zbudować instalację pozwalającą na wydobycie. Jeśli pod polem znajdują się złoża, przychód wyniesie 2,5 mln. $. Jeśli nie, przychód wyniesie 0$. Co więcej, wykonanie odwiertu uniemożliwia sprzedaż pola (wszyscy wiedzą, że oznaczać to może wyłącznie to, że pole jest bezwartościowe) Alternatywnie można zdecydować się na próbne odwierty połączone z badaniami geologicznymi, które kosztują 100 tys. $. Wyniki takich badań są mylne w 10%, jeśli pole jest roponośne (sensitivity = 90%), i w 30%, jeśli ropy nie ma (specificity = 70%). Po wykonaniu badania można podjąć decyzję o budowaniu instalacji na powyższych warunkach lub sprzedaży pola. Co więcej, uzyskanie pozytywnego sygnału daje możliwość sprzedaży za wyższą kwotę, bo za 1 mln. $ (dostaje się odpowiedni certyfikat). Uzyskanie negatywnego wyniku można ukryć i sprzedać pole za 500 tys. $.

Ustal strukturę drzewa

Wpisz wypłaty i koszty

Podaj prawdopodobieństwa

Prawdopodobieństwo warunkowe Bayes Prawdopodobieństwo zdarzenia pod warunkiem innego zdarzenia Prawdopodobieństwo całkowite zdarzenia w zależności od zajścia którejś z rozłącznych możliwości Prawdopodobieństwo zajścia hipotezy pod warunkiem zajścia skutku

Paradox Monty Hall’a http://www.math.ucsd.edu/~crypto/Monty/montybg.html Drzwi: Które otwiera Monty Które wybrałem Które kryją samochód

Przykład z testowaniem wirusa HIV Prawdopodobieństwo, że dana osoba jest zakażona wirusem HIV w danej populacji jest 0,1% Test się myli w 1% przypadków, jeśli osoba jest zakażona (sensitivity = 99%) Test się myli w 5% przypadków, jeśli osoba jest niezakażona (specificity = 95%) Jakie jest prawdopodobieństwo, że dana osoba jest zakażona pod warunkiem, że test wskazał „positive”? Jakie jest prawdopodobieństwo, że dana osoba nie jest zakażona pod warunkiem, że test wskazał „negative”?

Probability tree flipping 0,099% 0,001% 4,995% 94,905% 0,099% 4,995% 0,001% 94,905%

Podaj prawdopodobieństwa

Rozwiąż metodą indukcji wstecznej

Podsumowanie rozwiązania Optymalny wariant przewiduje prowadzenie badań i sprzedaż pola dla negatywnego wyniku oraz budowanie instalacji dla pozytywnego Oczekiwany zysk dla optymalnego wariantu wynosi 1,075 mln $ Druga najlepsza opcja to natychmiastowe budowanie instalacji – oczekiwany zysk jest wówczas równy 1 mln $

Wartość opcji 1 Jaka wartość możliwości prowadzenia badań? Ile maksymalnie warto zapłacić za badania? 75 tysięcy $

Wartość opcji 2 Jaka wartość możliwości ukrycia negatywnych wyników i sprzedaży pola?

Wartość opcji 2 Strategia – rozwiąż bez opcji i porównaj oczekiwane wypłaty

Narzędzia Darmowe (do celów niekomercyjnych): InsightTree: http://www.visionarytools.com/License.htm Płatne, wiele funkcji, dostępna wersja testowa: TreeAge: http://www.treeage.com/

Oczekiwana wartość doskonałej informacji Rockefeller policzyliśmy, ile warta jest możliwość prowadzenia badań a ile warta jest możliwość przeprowadzenia doskonałego testu? Strategia: zapiszmy problem reprezentujący dostępność pewnej wiedzy od początku rozwiążmy nowy problem porównajmy oczekiwane wypłaty dla optymalnych wariantów Jak reprezentować pewną wiedzę? rozwiązanie niepewności (ropa jest – nie ma) na początku drzewa dalsza część reprezentuje wcześniejszą strukturę (czasem można uprościć) należy zaktualizować parametry drzewa

EVPI – prosty przykład

EVPI – ćwiczenie 2 Jaka jest EVPI dot. występowania ropy? (przypomnienie: czułość testu = 90%, swoistość = 70%)