Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Systemy wspomagania decyzji Sieć Kohonena, sieć Hamminga.

Podobne prezentacje


Prezentacja na temat: "Systemy wspomagania decyzji Sieć Kohonena, sieć Hamminga."— Zapis prezentacji:

1 Systemy wspomagania decyzji Sieć Kohonena, sieć Hamminga

2 Omówimy teraz prosty typ sieci Kohonena, która będzie klasyfikowała wektory wejściowe na p kategorii wykrywanych podczas grupowania zbioru uczącego. W wyniku rywalizacji podczas procesu uczenia sieć podlega procesowi samoorganizacji. W każdym kroku korygowany jest tylko wektor wag najbardziej podobny do aktualnie wprowadzonego.

3 gdzie jest wektorem wierszowym wag prowadzącym do i-tego neuronu. Norma jest euklidesowa: Przed rozpoczęciem uczenia wektory wag są normalizowane

4 Do korekcji wybierany jest taki neuron i=z ( z zwycięzca), dla którego odległości jest najmniejsza. Spełniona jest zatem następująca równość: albo Korekta wag zwycięzcy ( w z ) ma na celu zbliżenie go do typowego reprezentanta, zatem Stałą uczenia wybiera się zazwyczaj w przedziale [0.1, 0.7] 1) zwykłej odległości: 2) iloczynu skalarnego (typow dla sieci Kohonena):

5 Podsumowanie reguły Kohonena

6 Przykład Ciąg uczący: Początkowe wagi Początkowe wagi po pierwszym kroku dla =0.5 są

7 Po wielu iteracjach wagi ustawiają się wg następujących zależności Oznacza to, że wskazują one środki ciężkości wykrytych grup.

8 Schemat blokowy sieci Hamminga (model dwuwarstwowy)

9 Schemat połączeń w sieci Hamminga (model trójwarstwowy z dodatkową warstwą wyjścia) warstwa MAXNET x1x1 xNxN y1y1 yMyM w (1) = w H w (m) w (2) 1 P 1 P 1 M warstwa wejściowawarstwa wyjściowa

10 1)Do sieci prowadzi n sygnałów wejściowych. 2)Z sieci wychodzi m sygnałów wyjściowych. 3)Sieć posiada trzy warstwy lub dwie (w zależności od modelu). 4)Warstwa pierwsza zawiera p neuronów. 5)Warstwa druga też zawiera p neuronów. Jest to tzw. warstwa MAXNET. 6)Warstwa wyjściowa (trzecia) zawiera m neuronów. 7)Warstwa MAXNET (środkowa) zawiera sprzężenia wewnętrzne każdy z każdym. Sprzężenia pomiędzy różnymi neuronami tej warstwy są ujemne, a sprzężenia samych ze sobą są dodatnie i takie same w całej warstwie (na ogół: w ii (m) =1). Elementy sieci Hamminga:

11 Wagi Warstwa wejściowa (warstwa Hamminga): Warstwa MAXNET: Warstwa wyjściowa:

12 Uczenie sieci Hamminga Podobnie jak dla sieci Hopfielda uczenie jest procesem stosunkowo prostym i polega na użyciu pewnych wzorów, które nadają wartości wagom w jednym cyklu, bez konieczności iteracji. Dany jest ciąg uczący, składający się z par wektorów: Definiujemy wagi następująco: Wektory x (i) oraz d (i) są bipolarne, tzn. składowe są równe 1 lub -1 (w niektórych wersjach 0 lub 1).

13 Uczenie sieci Hamminga (c.d.) Warstwa MAXNET: wagi dobieramy tak, aby zachodziły relacje Na przykład w metodzie Lippmana przyjmujemy gdzie ij jest wartością losową o dostatecznie małej amplitudzie. Natomiast w metodzie Pao przyjmujemy z kolei

14 W działaniu sieci Hamminga można wyróżnić trzy etapy. 1)Etap I - wprowadzany jest na wejście sieci N-elementowy wektor x. Na wyjściu neuronów warstwy pierwszej generowane są sygnały inicjalizujące stan początkowy neuronów warstwy drugiej (MAXNET). 2)Etap II - Rozpoczyna się proces iteracyjny w warstwie MAXNET'u, zainicjowany stanem początkowym, wynikającym z fazy pierwszej. Proces iteracyjny trwa do chwili, aż wszystkie neurony z wyjątkiem jednego osiągną stan zerowy. Neuron o niezerowym sygnale wyjściowym (zwycięzca) reprezentuje klasę, do której należy wektor wejściowy. 3)Etap III - neuron zwycięzca za pośrednictwem wag łączących go z neuronem warstwy wyjściowej wytwarza na wyjściu sieci odpowiedź stanowiącą wektor y, skojarzony z wektorem pobudzającym x. Działanie sieci Hamminga

15 Działanie sieci Hamminga (c.d.) Wartości sygnałów wyjściowych pierwszej warstwy są określone poprzez odległość Hamminga i wyrażają się wzorem: gdzie d H oznacza odległość Hamminga. Odległość ta jest równa liczbie składowych, którymi różnią się oba wektory. Na przykład dla x =(1,1,-1,1,-1), y =(1,-1,-1,1,1) mamy d H ( x, y )=2. Zauważmy, że tak określone sygnały wyjściowe mieszczą się w przedziale [0, 1]. Wynika to stąd, że wektory x(i) oraz x mają N składowych (współrzędnych), więc d H ( x, y ) {0,1,…,N}.

16 Działanie sieci Hamminga (c.d.) Sygnały neuronów warstwy pierwszej stają się stanami początkowymi neuronów warstwy MAXNET, po czym zostają usunięte. Zadaniem tej warstwy jest wyłonienie zwycięzcy, czyli neuronu, którego pobudzenie jest najbliższe wartości 1. Proces wyłaniania zwycięzcy jest procesem rekurencyjnym, przebiegającym wg schematu z wartością startową

17 Funkcja aktywności neuronów warstwy MAXNET jest postaci Proces iteracyjny w warstwie MAXNET jest powtarzany do momentu, w którym stan neuronów przestanie ulegać zmianie. Wtedy też jeden neuron powinien być aktywny a pozostałe powinny zwracać zero. Neuron aktywny nazywamy zwycięzcą. Teraz poprzez wagi w (2) warstwa trzecia wytwarza wektor y (i) skojarzony z wektorem uczącym x (i).

18 Przykład

19 Będziemy testować następujący wektor Odpowiedź warstwy Hamminga Wyjście z warstwy Hammiga jest określone wzorem

20 Teraz przechodzimy do warstwy MaxNet i wykonujemy kolejne iteracje: Krok 1:

21 Krok 2: Wykonując jeszcze dwie iteracje otrzymujemy y k+1 = y 4 dla k4


Pobierz ppt "Systemy wspomagania decyzji Sieć Kohonena, sieć Hamminga."

Podobne prezentacje


Reklamy Google