Wspomaganie decyzji nie zwalnia od decyzji... formalnie: Zastosowanie sieci neuronowych do wspomagania decyzji biznesowych Dorota Cendrowska nieformalnie: Wspomaganie decyzji nie zwalnia od decyzji... dc@pjwstk.edu.pl
Plan wykładu Zastosowania sieci neuronowych: klasyfikacja aproksymacja prognozowanie filtrowanie asocjacje grupowanie
zagadnienie klasyfikacji wymagania: znane kategorie zbiór uczący (reprezentatywny) decyzja do podjęcia: kodowanie wyjścia stosowane sieci: jednokierunkowe sieci neuronowe przykład: klasyfikacja formacji giełdowych
kodowanie wyjścia ?
kodowanie wyjścia
kodowanie wyjścia kodowanie „jeden na jeden”
kodowanie wyjścia kodowanie „binarne”
zagadnienie klasyfikacji (przykład) wspomaganie decyzji biznesowych z wykorzystaniem sieci neuronowych wymaga m.in.: decyzji dotyczącej wyboru elementów analizy technicznej określenie okna czasowego stworzenie odpowiedniego zbioru uczącego źródło rysunków: http://www.newtrader.pl/kliny,953,techniczna.html http://bossa.pl/index.jsp?layout=2&page=0&news_cat_id=204
zagadnienie aproksymacji klasyczna aproksymacja metodami numerycznymi napotyka na trudności, gdy: próbujemy przybliżyć funkcję znaną tylko dla ograniczonej liczby ustalonych punktów (zbyt mała liczba punktów próbkowania) gwałtowne zwroty wartości funkcji między tymi punktami. stosowane sieci: jednokierunkowe sieci neuronowe
zagadnienie prognozowania prognozowanie jako szczególny rodzaj aproksymacji stosowane sieci: jednokierunkowe sieci neuronowe przykład: prognozowanie notowań giełdowych
zagadnienie prognozowania (przykład) wspomaganie decyzji biznesowych z wykorzystaniem sieci neuronowych wymaga m.in.: decyzji dotyczącej wyboru szeregu czasowego liczby punktów z przeszłości (opóźnień) liczby punktów z przyszłości (np. prognozowanie na podstawie danych miesięcznych tego, co będzie się działo za rok) w przypadku notowań giełdowych: określenie okna czasowego eliminacja trendu
zagadnienie filtrowania danych Sieć Hopfielda sieć jednowarstwowa ze sprzężeniem zwrotnym sygnał wejściowy dyskretny: -1, 1 funkcja aktywacji: uczenie jednoetapowe uruchamianie asynchroniczne
Sieć Hopfielda — uczenie uczenie jednoetapowe:
Sieć Hopfielda — uczenie uczenie jednoetapowe: lub (zapis macierzowy):
Sieć Hopfielda — uczenie (przykład) obrazy do zapamiętania w sieci:
Sieć Hopfielda — uczenie (przykład) obrazy do zapamiętania w sieci:
Sieć Hopfielda — uczenie (przykład) obrazy do zapamiętania w sieci:
Sieć Hopfielda — uczenie (przykład) obrazy do zapamiętania w sieci:
Sieć Hopfielda — uczenie (przykład) macierz wag: symetryczna zera na przekątnej wagi neuronu (wiersz/kolumna) (przykład) wagi drugiego neuronu:
Sieć Hopfielda — uczenie (przykład) macierz wag: symetryczna zera na przekątnej wagi neuronu (wiersz/kolumna) (przykład) wagi drugiego neuronu:
Sieć Hopfielda — uruchamianie uruchamianie wieloetapowe: synchroniczne (?) asynchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (?) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ?
Uruchamianie synchroniczne (NIE!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia z którym z zapamiętanych obrazów „kojarzy się” ? never ending story :(
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia
Uruchamianie asynchroniczne (TAK!) kryterium stopu: żaden z neuronów nie zmienia wartości swego wyjścia asynchroniczne — jeden neuron uaktualnia wartość wyjścia ?
Co „pamięta” sieć Hopfielda? przynajmniej część obrazów intencjonalnie „zapamiętanych” + negatywy tych obrazów „skojarzenie”: wzorzec najbliższy wg miary Hamminga !
Co i ile „pamięta” sieć Hopfielda? przynajmniej część obrazów intencjonalnie „zapamiętanych” + negatywy tych obrazów „skojarzenie”: wzorzec najbliższy wg miary Hamminga pojemność pamięci autoasocjacyjnej: P — liczba zapamiętanych obrazów z prawdopodobieństwem bliskim jedności
Hopfield — po co pamiętać? zastosowanie pamięci autoasocjacyjnych: filtrowanie (odszumianie) uzupełnianie
sieć BAM (Kosko): asocjacje architektura: dwuwarstwowa uczenie jednoetapowe uruchamianie synchroniczne dwa tryby: wejście: a, wyjście: b wejście: b, wyjście: a pojemność pamięci:
sieć BAM (Kosko): asocjacje uczenie jednoetapowe:
sieć BAM (Kosko): asocjacje uczenie jednoetapowe:
BAM: uczenie (przykład) uczenie jednoetapowe:
BAM: uczenie (przykład) uczenie jednoetapowe:
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
BAM: uruchamianie (przykład) uruchamianie synchroniczne kryterium stopu: żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia
zagadnienie grupowania danych Sieć Kohonena sieć jednowarstwowa neurony o ciągłej funkcji aktywacji interpretacja geometryczna wag zdolność grupowania danych na N grup podobieństwo zdefiniowane jako: „jak najmniejsze różnice poszczególnych składowych wejściowych w stosunku do (?)”
Uruchamianie sieci Kohonena interpretacja wag neuronu: „charakterystyczny” reprezentant grupy dane wejściowe zostają zaklasyfikowane do grupy reprezentowanej przez neuron o największej wartości wyjścia
Uruchamianie sieci Kohonena interpretacja wag neuronu: „charakterystyczny” reprezentant grupy dane wejściowe zostają zaklasyfikowane do grupy reprezentowanej przez neuron o największej wartości wyjścia 58
Uruchamianie sieci Kohonena interpretacja wag neuronu: „charakterystyczny” reprezentant grupy dane wejściowe zostają zaklasyfikowane do grupy reprezentowanej przez neuron o największej wartości wyjścia Jak teoria mijała się z prawdą 59
Wagi sieci Kohonena wymagana jest normalizacja wag:
Uczenie sieci Kohonena reguła WINNER TAKES ALL korekcie wag podlega tylko neuron „zwycięzca” korekcie wag podlega nie tylko neuron „zwycięzca”, ale również neuronów należących do sąsiedztwa
Sieć Kohonena, problemy wymagana znajomość maksymalnej liczby grup sieć „nie zna” odpowiedzi NIE WIEM każdy z obrazów wejściowych zostanie zaklasyfikowany do jednej z N grup
Sieć Kohonena, zaskakujące (?) własności Kto tak naprawdę zwycięża i skąd to się bierze?
Sieć Kohonena, zaskakujące (?) własności Kto tak naprawdę zwycięża i skąd to się bierze?
Sieć Kohonena, zaskakujące (?) własności Kto tak naprawdę zwycięża i skąd to się bierze? 65
Sieci neuronowe (podsumowanie) architektura: jednowarstowe/wielowarstwowe z/bez sprzężenia zwrotnego uczenie z/bez nauczyciela zastosowania: klasyfikacja aproksymacja, prognozowanie filtrowanie (auto/heteroasocjacja) grupowanie (detekcja regularności)
Nauka... jako konsekwencja decyzji paradygmat naukowy rewolucja naukowa (Thomas Kuhn)
Nauka... jako konsekwencja decyzji paradygmat naukowy rewolucja naukowa (Thomas Kuhn)
Nauka... jako konsekwencja decyzji paradygmat naukowy rewolucja naukowa (Thomas Kuhn)
Nauka... jako konsekwencja decyzji paradygmat naukowy rewolucja naukowa (Thomas Kuhn)
Nauka... jako konsekwencja decyzji paradygmat naukowy rewolucja naukowa (Thomas Kuhn)
Problemy... rzeczywistość Rozwiązywanie problemów vs podejmowanie decyzji
Strategie podejmowania decyzji
Problemy... sztuczne sieci neuronowe Rozwiązywanie problemów vs podejmowanie decyzji