Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

1 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE.

Podobne prezentacje


Prezentacja na temat: "1 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE."— Zapis prezentacji:

1 1 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE WYKŁAD 12 Dr hab. inż. Barbara Dębska, prof. PWSZ KROSNO SZTUCZNE SIECI NEURONOWE

2 2 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SZTUCZNE SIECI NEURONOWE Od dawna tajemnica działania mózgu intryguje ludzi. Podejmowane są próby wyjaśnienia zasad neurofizjologii i neuroanatomii mózgu. Powstało wiele naukowych prac zmierzających do interpretacji takich zjawisk jak inteligencja, myślenie koncepcyjne itp. Z drugiej strony naukowcy w swoich poczynaniach próbują wykorzystać wiedzę o funkcjonowaniu i budowie układu nerwowego w technice. Pomocne w powyższych poszukiwaniach okazują się sztuczne sieci neuronowe bazujące na uproszczonych modelach komórek nerwowych – modelach neuronów. Bardzo cenną cechą tych sieci jest, nabywana trakcie treningu, ich zdolność do adaptacji i samoorganizacji, co jest pożądane przy realizacji takich zadań, w których pojawiają się nieprzewidziane sytuacje. Automatyczna klasyfikacja, optymalizacja, rozpoznawanie i predykcja lub filtracja sygnału, to tylko niektóre z zagadnień, w których metody przetwarzania danych przez sieci neuronowe odgrywają coraz większą rolę.

3 3 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Działanie sztucznych sieci neuronowych oparte jest na prostych modelach komórek neuronowych. neuron x1 x2 x3 sygnał aktywacja 0 1 w i x i

4 4 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno W roku 1943 McCulloch i Pitts opracowali matematyczny model komórki nerwowej – neuronu. Istotnym elementem tego modelu jest sumowanie sygnałów wejściowych z odpowiednią wagą i poddanie otrzymanej sumy działaniu nieliniowej funkcji aktywacji f. Model neuronu przedstawia rysunek: SZTUCZNE SIECI NEURONOWE

5 5 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Sygnał wyjściowy neuronu y i jest określony w postaci: gdzie: x j (j = 1, 2,...,N) – reprezentują sygnały wejściowe, W i – reprezentuje odpowiednie współczynniki wagowe, (waga dodatnia – przekazuje sygnał pobudzający, waga ujemna – przekazuje sygnał gaszący). Funkcja aktywacji f( ) może mieć różną postać. W modelu McCullocha-Pittsa była to funkcja typu skoku jednostkowego (a). Może być również funkcją typu rozmytego (b).

6 6 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Odpowiednikami biologicznymi tego modelu neuronu są: dendryty wraz z kolbkami synaptycznymi, ciało komórki oraz akson. Sztuczny neuron składa się z ważonych wejść, jednostki przetwarzającej oraz jednego wyjścia. Jedno połączenie synaptyczne jest wyróżnione: wartość na jego wejściu jest stała i wynosi 1, natomiast wartość jego wagi zwana jest wartością progową W O. neuron y x1 x2 x3 f(s) s = w i x i w1w1 w2w2 w3w3 w0w0 1 Wartość sygnału wyjściowego y neuronu jest określona poprzez: W - wektor wag (ważonych połączeń synaptycznych), x - wektor wartości sygnałów wejściowych, oraz funkcję f, która nazywana jest funkcją aktywacji neuronu.

7 7 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno O zgromadzonej przez pojedynczy neuron, a w konsekwencji przez sieć neuronową, informacji decydują wartości wagowe połączeń synaptycznych. Zatem metoda doboru tych współczynników wagowych jest kluczowa z punktu widzenia jakości działania sieci. Istotną rolę w pracy systemów opartych na sieciach neuronowych pełni faza treningu, zwana również fazą nauki. Jest ona charakterystyczną cechą tych sieci, w trakcie której uczy się taka sieć poprawnie reagować na wzorce znajdujące się w zbiorze uczącym (treningowym). treningowy testowy monotoringowy YXYX

8 8 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Ucząc się, sieć nabywa zdolności generalizacji, czyli oczekiwanego reagowania na wektory wejściowe, które nie były zawarte w zbiorze uczącym (monitoringowe i testowe). Można zatem stwierdzić, że struktura neuronowa nabiera doświadczenia w procesie treningu (uczenia) a więc odpowiedzi sieci zależą w dużym stopniu od zawartości zbioru uczącego. Analogicznie do systemów biologicznych, proces nauki jest długi i można rozróżnić podstawowe dwie metody treningu: nadzorowaną (z nauczycielem) oraz nienadzorowaną (bez nauczyciela). uczenie z nadzorem y = f(X) X = f(L) Xy uczenie bez nadzoru

9 9 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Teorię uczenia wag (doboru wag W i neuronów) opracował Hebb. Założył on, że przyrost wagi W i w procesie uczenia jest proporcjonalny do iloczynu sygnałów wyjściowych neuronów i współczynnika uczenia: gdzie: k oznacza kolejny cykl uczenia, jest współczynnikiem uczenia.

10 10 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno W 1962 roku Rosenblatt zaprezentował teorię dynamicznych systemów neuronowych modelujących mózg, opartą na modelu perceptronowym komórki nerwowej. W modelu tym przyjmuje się taki opis neuronu, w którym funkcja aktywacji przyjmuje dwie wartości binarne: 0 lub 1: W dzisiejszych rozwiązaniach sieciowych przyjmuje się że funkcja aktywacji jest opisana funkcja nieliniową postaci: przy czym zakłada się, że x jest wektorem wejściowym, a y realizowaną funkcją skalarną wielu zmiennych.

11 11 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno NAJCZĘŚCIEJ SPOTYKANE FUNKCJE AKTYWACJI NEURONU Funkcja liniowa W przypadku tej funkcji suma ważona jest bezpośrednio przekazywana na wyjście: y=x 'Obcięta' funkcja liniowa Funkcja ta zapewnia, że sygnał wyjściowy nigdy nie będzie mniejszy niż -1 ani większy od jedynki. Zakłada się, że: jeżeli x 1 to y=1, w pozostałych przypadkach y=x

12 12 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno FUNKCJE AKTYWACJI NEURONU c.d. Funkcja progowa unipolarna Tą funkcją było aktywowane wyjście w jednym z pierwszych modeli - modelu McCullocha i Pittsa. Funkcja ta jest opisana wzorem: y=0 gdy x =0 Funkcja progowa bipolarna Funkcja w zasadzie taka sama jak powyższa - zmienia się tylko zakres wartości: y=-1 gdy x =0

13 13 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno FUNKCJE AKTYWACJI NEURONU c.d. Funkcja sigmoidalna unipolarna Funkcja ta jest najczęściej wykorzystywana przy budowie sieci. Opisana jest następującym wzorem: y=1/(1+exp(- *x)) Funkcja sigmoidalna bipolarna Funkcja o rozszerzonym przedziale wartości wyjścia do (-1,1): y=2/(1+exp(- *x))-1 Tangens hiperboliczny Funkcja opisana wzorem: y=(1-exp(- *x))/(1+exp(- *x))

14 14 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Rozwój sieci neuronowych związany jest z rozwojem technologii układów elektronicznych o wielkim stopniu scalenia (VLSI) ponieważ możliwe stało się wtedy równoległe przetwarzanie informacji. Rozwój zastosowań sieci datuje się od opublikowanych w 1982 roku prac Hopfielda, który zastosował do uczenia sieci zasadę propagacji wstępnej. Postęp w teorii i zastosowaniach praktycznych osiągnięto dzięki zainwestowaniu, w tą dziedzinę nauki, dużych środków finansowych. Obszary zastosowań sztucznych sieci neuronowych: aproksymacja (sieć jest uniwersalnym aproksymatorem funkcji wielu zmiennych), klasyfikacja i rozpoznawanie wzorców (sieć uczy się podstawowych cech wzorców, takich jak np. odwzorowania geometryczne układu pikselowego wzorca; podczas uczenia dodatkowo wyszukiwane są różnice występujące w różnych wzorcach, stanowiące podstawę podjęcia odpowiedniej decyzji klasyfikacyjnej),

15 15 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Obszary zastosowań sztucznych sieci neuronowych c.d.: predykcja (w tej dziedzinie zadaniem sieci jest określenie przyszłych zachowań się systemu na podstawie ciągów wartości z przeszłości. Mając informację o wartościach zmiennej x w chwilach poprzedzających predykcję x(k-1), x(k-2),..., x(k-N) sieć podejmuje decyzję, jaka będzie estymowana wartość x(k) badanego ciągu w chwili aktualnej k. Błąd predykcji = x(k) – x(k) jest minimalizowany przez adaptację wag.) sterowanie (w zagadnieniach sterowania sieć identyfikuje parametry procesu niezbędne do uzyskania właściwego sygnału wyjściowego, monitoruje proces i adaptuje się do zmian warunków, natomiast w robotyce może pełnić rolę neuroregulatora). Sieci neuronowe cechuje zdolność do uczenia się i uogólniania nabytej wiedzy. Sieć ma właściwość sztucznej inteligencji - sieć wytrenowana na wybranej grupie danych potrafi skojarzyć nabytą wiedzę i wykazać dobre działanie na danych nie uczestniczących w procesie uczenia.

16 16 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno y x x y PRZYKŁAD WYKORZYSTANIA SIECI NEURONOWYCH DO APROKSYMACJI FUNKCJI

17 17 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno wejście =(w 1 x + w 0 ) wyjście = 1/(1+exp(-wejście)) w1w1 w0w0 y x bias x y

18 18 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno - = y y r2r2 2 r w1w1 w0w0 y x bias x y

19 19 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno w1w1 w0w0 y x bias x y

20 20 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

21 21 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

22 22 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

23 23 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno PODSTAWOWE ARCHITEKTURY SIECI NEURONOWYCH 1.Sieć jednokierunkowa jednowarstwowa Właściwości sieci: - neurony ułożone w jednej warstwie zasilanej z węzłów wejściowych, - połączenie węzłów wejściowych i wyjściowych jest pełne (każdy węzeł jest połączony z każdym neuronem, - przepływ sygnałów występuje w jednym kierunku, od wejścia do wyjścia, - węzły wejściowe nie tworzą warstwy neuronów, gdyż nie zachodzi w nich żaden proces obliczeniowy, - sieć tego rodzaju nazywa się perceptronem jednowarstwowym.

24 24 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno PODSTAWOWE ARCHITEKTURY SIECI NEURONOWYCH c.d. 2.Sieć jednokierunkowa wielowarstwowa Właściwości sieci: - występuje co najmniej jedna warstwa ukryta neuronów, pośrednicząca w przekazywaniu sygnałów między węzłami wejściowymi a warstwą wyjściową, - sygnały wejściowe są podawane na pierwszą warstwę ukrytą neuronów, a te stanowią sygnały źródłowe dla kolejnej warstwy, - pewne połączenia międzyneuronowe mogą nie wystąpić, - wykorzystują funkcję aktywacji o nieliniowości typu sinusoidalnego, - sieć tego rodzaju nazywana jest perceptronem wielowarstwowym.

25 25 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno PODSTAWOWE ARCHITEKTURY SIECI NEURONOWYCH c.d. 3.Sieci rekurencyjne Właściwości sieci: - występuje sprzężenie zwrotne między warstwami wyjściową i wejściową, - mogą posiadać jedną warstwę neuronów wyjściowych (rys. a ) lub mają dodatkową warstwę ukrytą (rys. b), - w sieci tej występują jednostkowe operatory opóźnienia z -1, - w sieci jednowarstwowej nie występuje sprzężenie zwrotne neuronu od własnego sygnału wyjściowego (rys. a), - sygnały warstwy wyjściowej (numerowane od 1.. M) i ukrytej (numerowane od 1.. K) łącznie z sygnałami wejściowymi x 1,..., x N stanowią wektor wejściowy sieci do następnego cyklu obliczeniowego, - proces ustalania sygnałów wyjściowych sieci jest procesem dynamicznym ze względu na występowanie jednostkowych operatorów opóźnienia, - funkcja aktywacji neuronu jest również nieliniowa.

26 26 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno PODSTAWOWE ARCHITEKTURY SIECI NEURONOWYCH c.d. 3.Sieci rekurencyjne c.d.

27 27 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno PRZEGLĄD PODSTAWOWYCH METOD UCZENIA SIECI Podstawowa właściwość sieci neuronowej to: zdolność adaptacyjna sieci umożliwiająca zaprojektowanie struktury i dobór parametrów sieci do wykonania określonego zadania. Główny cel procesu uczenia sieci: adaptacyjny dobór wag, który umożliwia dostosowanie działania sieci do warunków środowiskowych określonych w postaci odpowiednich wymagań co do odwzorowania danych wejściowych w wyjściowe. Adaptacja wag odbywa się w kolejnych cyklach i może być zapisana w postaci: przy czym: k oznacza numer cyklu uczącego, W ij (k) jest starą, a W ij (k+1) jest nową wagą synaptyczną łączącą neuron i-ty z j-tym (tzn. określa połączenie od neuronu i-tego do j-tego).

28 28 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno RODZAJE UCZENIA 1.Uczenie pod nadzorem Uczenie odbywa się pod nadzorem zewnętrznego nauczyciela. W tym trybie wejściowym sygnałom uczącym towarzyszą wartości żądane na wyjściu sieci. Typowym przykładem takiego uczenia jest proces minimalizacji funkcji celu, definiowanej każdorazowo do określonego zadania. Wektor wejściowy:x(k) = [x 1 (k), x 2 (k),..., x N (k)] T Wektor wyjściowy:d(k) = [d 1 (k), d 2 (k),..., d N (k)] T Dane uczące: pary(x(k), d(k)), dla k = 1,2,..., p gdzie: p – oznacza liczbę wzorców uczących. T – zbiór treningowy (uczący)

29 29 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie pod nadzorem c.d. Dla każdej pary uczącej można zdefiniować funkcję błędu postaci: przy czym: y(k) jest aktualną odpowiedzią sieci na wymuszenie a postaci wektora wejściowego x(k). Najczęściej przyjmowaną postacią funkcji celu jest błąd średnio kwadratowy (celem jest minimalizacja tego błędu, co zapewnia najlepsze dopasowanie wartości aktualnych odpowiedzi neuronów wyjściowych - wektor y, do wartości żądanych - wektor d) wyliczany dla wszystkich M neuronów wyjściowych i wszystkich p par uczących:

30 30 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie pod nadzorem c.d. Ogólny schemat procesu uczenia schemat procesu uczenia się pod nadzorem przedstawia rysunek: e(k) y(k) _ d(k) + x(k) Nauczyciel Sieć neuronowa

31 31 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie pod nadzorem c.d. Uczenie przebiega zgodnie z algorytmem: 1.dla zadanego wektora uczącego i zadanych wstępnie wartości wag W ij oblicza się wartość sygnału wyjściowego y i 2.jeśli wartość y i równa się wartości żądanej d i to waga W ij zostaje nie zmieniona 3.jeśli wartość y i nie równa się wartości żądanej d i to waga W ij zostaje obliczona zgodnie z zależnością: 4.następnie wprowadza się nową parę wektorów x i oraz d i i powtarza cykl tak długo, aż uzyska się minimalizację różnic między wartościami y i i d i. : przy czym: p oznacza liczbę zadanych wzorców uczących

32 32 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie pod nadzorem - podsumowanie Istotną cechą tego procesu jest istnienie sprzężenia zwrotnego, umożliwiającego korekcję wartości wag sieci, prowadzącą do minimalizacji różnic między aktualną odpowiedzią układu wyrażoną przez wektor y, a wartościami żądanymi reprezentowanymi przez wektor d.

33 33 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno RODZAJE UCZENIA c.d. 2.Uczenie z krytykiem Uczenie z krytykiem polega na doborze wartości wag sieci metodą prób i błędów w taki sposób, aby zminimalizować wskaźnik jakości uczenia, zależny od postaci jednego sygnału, zwanego krytykiem, generowanego w procesie adaptacji. Podstawą tego uczenia jest przyjęcie, że jeśli podjęta przez sieć akcja daje rezultat pozytywny, to wagi sieci należy wzmocnić do działania w danym kierunku. W przeciwnym przypadku należy tak zmodyfikować wartości wag, aby tę tendencję osłabić. 1.Uczenie pod nadzorem

34 34 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie z krytykiem c.d. Schemat blokowy sieci neuronowej z krytykiem przedstawia rysunek: Sygnał sterujący ŕ Sygnał sterujący pierwotny r Wektor stanu x Podjęta akcja a Układ uczący ŚrodowiskoKrytyk Element uczący Baza wiedzy Człon wykonawczy

35 35 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie z krytykiem c.d. Podjęta przez układ uczący w chwili k akcja a(k) wpływa na środowisko zmieniając jego stan z x(k) na x(k+1). Po zmianie stanu środowiska układ uczący otrzymuje od krytyka sygnał sterujący r(k +1), zależny w określony sposób od poprzedniego stanu x(k) oraz podjętej akcji a, której optymalność będzie oceniana z punktu widzenia zmian zachodzących w środowisku. Wskaźnik jakości uczenia jest określany najczęściej w postaci: gdzie: E jest wartością oczekiwaną w sensie wyboru strategii przez system uczący, współczynnik jest parametrem z przedziału 0 1, jeśli = 0 to w sterowaniu jest jedynie uwzględniany sygnał r(1) jako wynik pierwszej akcji a(0).

36 36 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie z krytykiem c.d. Głównym elementem układu krytyka jest predykcja sygnału sterującego : Uczenie systemu polega na doborze wag wg. zależności: w której jest współczynnikiem uczenia, a e ij jest uśrednionym parametrem dopasowania, określonym wg. zależności rekurencyjnej: gdzie: e aij jest parametrem dopasowania wagi W ij, parametr należy do przedziału [0, 1] i jest nazywany współczynnikiem zapominania. Gdy wartość jest bliska 1 to aktualnie podjęta akcja mało wpływa na dobór wagi; gdy maleje do zera, odpowiedzialność podjętej akcji na zmianę wag wzrasta.

37 37 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno RODZAJE UCZENIA c.d. 2.Uczenie z krytykiem 1.Uczenie pod nadzorem 3.Uczenie samoorganizujące się W tym przypadku nie występuje ani nauczyciel ani krytyk. Dla neuronu: uczenie opiera się na algorytmie stowarzyszenia zmian sygnałów wyjściowych sieci z odpowiedziami sieci po stronie wyjściowej: W ij (k+1) = W ij (k) + W ij (k)

38 38 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie samoorganizujące się c.d. Przykłady sieci samoorganizujących proces uczenia: uczenie Hebba – wykorzystuje się tutaj wynik obserwacji neurobiologicznych, zgodnie z którymi waga powiązań pomiędzy dwoma neuronami wzrasta przy jednoczesnym stanie pobudzenia obu neuronów, w przeciwnym wypadku maleje. Na tej podstawie założono, że: W ij (k) = F(x j (k), y i (k)), gdzie: F( ) – jest funkcją stanu presynaptycznego (wejściowego – x j ) i postsynaptycznego (wyjściowego - y i ) adaptacja wagi W ij zależy od stanu aktywności neuronów x j i y i połączonych daną wagą i dla modelu uczenia bez nauczyciela wyraża się wzorem: W ij (k) = x j (k) y i (k), lub dla uczenia z nauczycielem: W ij (k) = x j (k) d i (k), jest współczynnikiem uczenia określającym stopień w jakim sygnały uczące w chwili k wpływają na dobór wartości wag.

39 39 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie samoorganizujące się c.d. Przykłady sieci samoorganizujących proces uczenia: c.d. uczenie Kohonena - wykorzystuje konkurencję (współzawodnictwo) między neuronami do wyłonienia zwycięzcy, dopasowującego swoje wagi do danych wejściowych, dla których aktywność jest największa. W tym procesie uczenia tylko jeden neuron może być aktywny, a pozostałe pozostają w stanie spoczynkowym. Takie uczenie nosi nazwę WTA (Winner Takes All – Zwycięzca bierze wszystko). Grupa neuronów współzawodniczących otrzymuje te same sygnały wejściowe x j. W zależności od aktualnych wartości wag sygnały wyjściowe neuronów u i = W ij x j różnią się między sobą. W wyniku porównania tych sygnałów zwycięża ten neuron, którego wartość u i jest największa. Neuron zwycięzca przyjmuje na swoim wyjściu stan 1, a pozostałe (przegrywające) stan 0. Sieci Kahonena są stosowane najczęściej do klasyfikacji wektorów. Aktualizacja wag wynika z wyznaczonego przyrostu: W ij (k) = [x j (k) -W ij (k)].

40 40 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SIECI KOMÓRKOWE Topologia sieci komórkowych oparta jest na dowolnej regularnej strukturze geometrycznej, najczęściej będącą płaską siatką prostokątną. Utworzona na niej sieć składa się z neuronów zgrupowanych w i wierszach i j kolumnach, jak pokazano na rysunku poniżej. Dowolna komórka c ij w i -tym wierszu i w j -tej kolumnie połączona jest bezpośrednio tylko z neuronami leżącymi w odpowiednio zdefiniowanym promieniu sąsiedztwa, zaznaczonymi na rysunku linią przerywaną.

41 41 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Przykład. Sieć była uczone dla zbioru wektorów wejściowych postaci: Chcemy, aby sieć klasyfikowała dany w przestrzeni 2D zbiór wektorów. Zakładamy zatem, że powinien nastąpić podział elementów tego zbioru na 4 klasy. Dana jest sieć neuronowa mająca 2 neurony w warstwie wejściowej i 4 neurony WTA w warstwie wyjściowej:

42 42 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Przebieg procesu uczenia przedstawia rysunek: Kółkami zaznaczono kolejne położenia wektorów wag neuronów warstwy wyjściowej, zwyciężających we współzawodnictwie. Trzy neurony zwyciężały w procesie uczenia, natomiast czwarty neuron pozostał martwy ( nigdy nie zwyciężył).

43 43 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno Uczenie sieci, ze współczynnikiem uczenia = 0.05 umożliwiło po 320 cyklach uczenia uzyskanie wag trzech pierwszych neuronów w postaci: Odpowiadają one 3 zbiorom wektorów wejściowych: (x 1, x 2 ), (x 3, x 4, x 5 ) oraz (x 6, x 7, x 8 ) na które samoczynnie został podzielony zbiór wejściowy.

44 44 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno


Pobierz ppt "1 Wykład 12 SZTUCZNA INTELIGENCJA Sieciowe Systemy Informatyczne Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE."

Podobne prezentacje


Reklamy Google