Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Systemy wspomagania decyzji Sieci neuronowe – neurony typu Adaline i Hebba.

Podobne prezentacje


Prezentacja na temat: "Systemy wspomagania decyzji Sieci neuronowe – neurony typu Adaline i Hebba."— Zapis prezentacji:

1 Systemy wspomagania decyzji Sieci neuronowe – neurony typu Adaline i Hebba

2 1 x1x1 x2x2 xnxn w1w1 w2w2 wnwn w0w0 x 0 =1 w(t+1)=w(t)+ x(t) d y =delta. Pojawia sie tu tzw. reguła delta.

3 Neuron typu adaline Model neuronu typu adaline (ang. Adapitive Linear Neuron) został zaproponowany przez Bernarda Widrowa. Schemat ogólny jest pokazany na rysunku. Funkcja aktywacji przyjmowana jest zazwyczaj jako bipolarna (zwana też signum od słowa znak): gdzie Wyrażenie na czasami zapisujemy w sposób zwarty wprowadzając rozszerzony wektor wag tak, aby zawierał próg b oraz rozszerzony wektor wejściowy zawierający dodatkowo jeden impuls x 0 =1: Wtedy

4 Budowa tego neuronu jest bardzo podobna do modelu perceptronu, a jedyna różnica dotyczy algorytmu uczenia. Sposób obliczania sygnału wyjściowego jest taki sam jak w klasycznym perceptronie, natomiast przy uczeniu neuronu adaline porównuje się sygnał wzorcowy d z sygnałem s na wyjściu części liniowej neuronu, co daje następujący błąd Uczenie (dobór wag) sprowadza się do minimalizacji funkcji błędu zdefiniowanej wzorem (średni błąd kwadratowy):

5 Zgodnie z algorytmem – zaproponowanym przez Widrowa – do minimalizacji funkcji błędu stosuje się metodę największego spadku (podobnie jest dla neuronu sigmoidalnego). Tak więc wagi w neuronie typu adaline modyfikujemy następująco w którym jest współczynnikiem uczenia, E(w) to zdefiniowana poprzednio funkcja błędu. Współczynnik na ogół dobiera się eksperymentalnie. Pamiętajmy, że w powyższym wzorze występuje rozszerzony wektor wag, a zatem mamy w 0 =b.

6 Gradientowa metoda największego spadku w1w1 w2w2 E(w 1,w 2 )

7 Obliczamy pochodną Zatem wzór na modyfikację wag przybiera postać Powyższa reguła jest szczególnym przypadkiem tzw. reguły delta (w tym przypadku nie uwzględniamy funkcji aktywacji neuronu).

8 Do uczenia neuronu będziemy potrzebowali ciągu uczącego gdzie x (t) to wektor sygnałów wejściowych, d t to oczekiwane wartość wyjście ( 1). Podstawowy krok modyfikacji wag, tj. przejście od wektora uczącego t do t+1, ma postać (w zapisie wektorowym) W zapisie dla poszczególnych składowych mamy (pamiętajmy, że w 0 =b, x 0 =1)

9 Schemat blokowy algorytmu uczenia neuronu typu adaline.

10 x1x1 x2x2 x3x3 d Przykład. Zastosować procedurę uczenia neuronu typu adaline o trzech wejściach (n=3). Posłużyć się danymi z poniższej tabeli. Optymalny dobór wag w 1, w 2, w 3 i progu b=w 0 jest następujący: -0,25; -0,25; 0,75; 0,25. Wypisywać wartości po każdej epoce. Przetestować współczynnik uczenia =0,1 oraz =0,001.

11 Model adaline (podsumowanie) Dany jest ciąg uczący W ciągu tym x(t) oznacza wektor sygnałów wejściowych, a d t oznacza żądaną wartość wyjścia z neuronu. Algorytm uczenia (wersja reguły delta) ma postać

12 Wynik działania metody adaline: liczba epok=1000, =0,1: Wpływ współczynnika uczenia na jakość wag W obu przypadkach wagi początkowe były zerowe (w i =0, b=0). Wynik działania metody adaline: liczba epok=1000, =0,01:

13 Model neuronu sigmoidalnego x1x1 x2x2 xnxn w1w1 w2w2 wnwn w0w0 x 0 =1 w w + ( d-f(s) )f(s)x d s f(s)

14 Neuron sigmoidalny Funkcja aktywacji jest następująca Zatem wartość sygnału wyjściowego jest dana wzorem gdzie jest zadanym parametrem.

15 Wyrażenie na s możemy zapisać w sposób bardziej zwarty wprowadzając rozszerzony wektor wag tak, aby zawierał próg b (czasami oznaczany też literką theta, oraz rozszerzony wektor wejściowy zawierający dodatkowo jeden impuls x 0 =1: Wtedy

16 Miarę błędu E(w) definiujemy jako kwadrat różnicy wartości wzorcowej i wartości otrzymanej na wyjściu przy aktualnych wagach Do uczenia używa się reguły największego spadku. Ale teraz – w odróżnieniu od modelu adaline – uwzględniamy także funkcję aktywacji. Wagi uaktualniamy zgodnie ze wzorem metody największego spadku gdzie to gradient funkcji wielu zmiennych E(w)=E(w 0,…,w n ).

17 Rozpisując wzór na modyfikacje wag na poszczególne składowe otrzymujemy w którym jest współczynnikiem uczenia, E(w) to zdefiniowana poprzednio funkcja błędu. Współczynnik na ogół dobiera się eksperymentalnie. Pamiętajmy, że w powyższym wzorze występuje rozszerzony wektor wag, a zatem mamy w 0 =b (czasami oznaczany przez.

18 Obliczamy pochodną Pochodna funkcji sigmoidalnej (liczyliśmy na wykładzie 01) f(s) wyraża się przez samą funkcję f (s) następującym wzorem

19 Ostatecznie wzór na modyfikację wag przybiera postać Powyższa reguła jest szczególnym przypadkiem tzw. reguły delta (w tym przypadku uwzględniamy funkcję aktywacji neuronu).

20 Do uczenia neuronu dany jest ciąg uczący gdzie x (t) to wektor sygnałów wejściowych, d t to oczekiwana wartość wyjścia. Podstawowy krok modyfikacji wag, tj. przejście od wektora uczącego t do t+1, ma postać (w zapisie wektorowym) W zapisie dla poszczególnych składowych mamy (pamiętajmy, że w 0 =b, x 0 =1) Podsumowanie (uczenie neuronu sigmoidalnego)

21 x1x1 x2x2 xnxn w1w1 w2w2 wnwn w0w0 x 0 =1 w(t+1)=w(t)+ yx(t) y y Model neuronu Hebba

22 Budowa neuronu Hebba jest podobna jak w przypadku adaline czy sigmoidalnego, ale charakteryzuje się specyficzną metodą uczenia, znaną jako reguła Hebba. Reguła ta występuje w wersji z nauczycielem i bez nauczyciela. Donald O. Hebb badając działanie komórek nerwowych zauważył, że powiązanie dwóch komórek jest wzmacniane, jeśli obie są pobudzane w tym samym czasie. Sformułował to tak: Jeżeli akson komórki A bierze systematycznie udział w pobudzaniu komórki B powodującym jej aktywację, to wywołuje to zmianę metaboliczną w jednej lub obu tych komórkach, która prowadzi do wzrostu skuteczności pobudzania komórki B przez komórkę A. Szczególnie interesująca jest wersja uczenia bez nauczyciela (czasami mówi się bez nadzoru od ang. unsupervised). Oznacza to, że na wejście neuronu podawane są tylko zadania – bez wskazówek dotyczących rozwiązania.

23 Zgodnie z regułą Hebba modyfikacja wagi w i czyli w i jest proporcjonalna do iloczynu sygnału wejściowego x i propagującego się wzdłuż tego połączenia oraz sygnału wyjściowego y: Tak więc podstawowy krok procedury uczenia metodą Hebba bez nauczyciela ma postać We wzorach jak zwykle dodatni parametr oznaczą stałą uczenia wpływającą na szybkość jak i dokładność procesu uczenia.

24 Przykład Współczynnik uczenie przyjmujemy =1, a funkcję aktywacji bipolarną, f(s)=sgn(s). W tym przykładzie nie uwzględniamy progu b (bias), tak więc nie ma wagi w 0 =b oraz wejścia x 0 =1.

25 Wykonując kolejne kroki algorytmu Hebba otrzymujemy w pierwszej epoce następujące wektory (kolumny) wag: Po wykonaniu powyższego przykładu widzimy, że w przypadku bipolarnej funkcji aktywacji i współczynnika uczenia =1 reguła Hebba sprowadza się do dodawania lub odejmowania wektora sygnałów wejściowych od aktualnie obowiązujących wag. Wykonać analogiczny trening ale z sigmoidalną funkcją aktywacji (przyjąć =1).

26 Pewnym problemem w podstawowej metodzie Hebba jest to, że wagi mają tendencję do przyjmowania dużych wartości, gdyż w każdym cyklu uczącym dodajemy przyrosty w: Jedną z metod poprawy tej reguły jest użycie tzw. współczynnika zapominania 0, który zmniejsza znaczenie aktualnych wag. Zmodyfikowana reguła Hebba ma postać: Współczynnik zapominania stanowi najczęściej niewielki procent stałej uczenia. Typowe wartości to <0,1.

27 Neuron Hebba występuje także w wersji z nauczycielem. Wtedy modyfikacja wag w cyklu uczenia ma postać Tak więc podstawowy krok procedury uczenia ma wtedy postać gdzie d oznacza sygnał wzorcowy.

28 Przykład Przykład dotyczy uczenia neuronu z wykorzystaniem reguły Hebba z nauczycielem. Zadanie polega na modyfikacji wag, aby rozpoznawać cyfry 1 i 4. Białym pikselom przypisujemy -1, a czarnym +1.

29 Otrzymujemy następujące dwa wektory ciągu uczącego: Jako funkcję aktywacji użyjemy funkcji typu signum współczynnik uczenia =0,2, a wagi początkowe zerowe (w 1 =w 2 =0).


Pobierz ppt "Systemy wspomagania decyzji Sieci neuronowe – neurony typu Adaline i Hebba."

Podobne prezentacje


Reklamy Google