Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

SZTUCZNE SIECI NEURONOWE dr hab.inż. Krzysztof Zaremba Instytut Radioelektroniki Politechnika Warszawska.

Podobne prezentacje


Prezentacja na temat: "SZTUCZNE SIECI NEURONOWE dr hab.inż. Krzysztof Zaremba Instytut Radioelektroniki Politechnika Warszawska."— Zapis prezentacji:

1 SZTUCZNE SIECI NEURONOWE dr hab.inż. Krzysztof Zaremba Instytut Radioelektroniki Politechnika Warszawska

2 Historia dziedziny Prehistoria Początki –1943 – W.McCulloch, W.Pitts – pierwszy formalny model neuronu; –1949 – Donald Hebb – The organization of behaviour – reguła uaktualniania wag połączeń neuronów.

3 Historia dziedziny Pierwsze sukcesy – – F.Rosenblatt, Ch. Wightman – PERCEPTRON; –1960 – B.Widrow, M.Hoff – ADALINE; –1965 – N.Nillson – publikacja Learning Machines

4 Historia dziedziny Okres zastoju –1969 – M.Minsky, S.Papert – publikacja Perceptrons –1972, 1977 – Sun Ichi Amari – matematyczny opis sieci; – K. Fukushima – NEOCOGNITRON; – T.Kohonen – pamięć skojarzeniowa –1977 – J.A.Anderson – pamięć skojarzeniowa. –1974,82 – S.Grossberg, G.Carpenter – teoria sieci rezonansowych.

5 Historia dziedziny Ponowny rozkwit –??????????????????????????? – – prace Johna Hopfielda; – James McCleeland, David Rumelhard Parallel Distributed Processing – odkrycie metody uczenia perceptronów wielowarstwowych.

6 Historia dziedziny Ponowny rozkwit –??????????????????????????? – – prace Johna Hopfielda; – James McCleeland, David Rumelhard Parallel Distributed Processing – odkrycie metody uczenia perceptronów wielowarstwowych. Metoda opublikowana wcześniej w pracy doktorskiej Paula Werbosa (1974 – Harvard).

7 Historia dziedziny Ponowny rozkwit –DARPA (Defense Advanced Research Project Agency) – dr Ira Skurnick – finansowanie badań; – – prace Johna Hopfielda; – James McCleeland, David Rumelhard Parallel Distributed Processing – odkrycie metody uczenia perceptronów wielowarstwowych. Metoda opublikowana wcześniej w pracy doktorskiej Paula Werbosa (1974 – Harvard).

8 Przykłady zastosowań: Rozpoznawanie obrazów; Rozpoznawanie i synteza mowy; Analiza sygnałów radarowych; Kompresja obrazów; Prognozowanie sprzedaży; Prognozowanie giełdy; Interpretacja badań biologicznych i medycznych; Diagnostyka układów elektronicznych; Typowania w wyścigach konnych; Dobór pracowników; Selekcja celów śledztwa w kryminalistyce; Typowanie w wyścigach konnych.....

9 KILKA PODSTAWOWYCH CECH MÓZGU ODPORNY NA USZKODZENIA; ELASTYCZNY – ŁATWO DOSTOSOWUJE SIĘ DO ZMIENNEGO OTOCZENIA; UCZY SIĘ - NIE MUSI BYĆ PROGRAMOWANY; POTRAFI RADZIĆ SOBIE Z INFORMACJĄ ROZMYTĄ, LOSOWĄ, ZASZUMIONĄ LUB NIESPÓJNĄ; W WYSOKIM STOPNIU RÓWNOLEGŁY; MAŁY, ZUŻYWA BARDZO MAŁO ENERGII.

10 KILKA PODSTAWOWYCH CECH MÓZGU Komputer widzi inaczej

11 KILKA PODSTAWOWYCH CECH MÓZGU Komputer widzi inaczej

12 KILKA PODSTAWOWYCH CECH MÓZGU LICZBA POŁĄCZEŃ SYNAPTYCZNYCH W MÓZGU: – ; GĘSTOŚĆ POŁĄCZEŃ SYNAPTYCZNYCH: ~ 10 4 /NEURON; CZĘSTOTLIWOŚĆ GENERACJI SYGNAŁÓW PRZEZ NEURON: ~ 1 – 100 Hz; SZACUNKOWA SZYBKOŚĆ PRACY: ~ OPERACJI/S (DLA PORÓWNANIA NAJSZYBSZE KOMPUTERY ~ OPERACJI/S.

13 PRZYSZŁOŚĆ - SZTUCZNY MÓZG ????? If the human brain were so simple that we could undrestand it, we would be so simple that we couldnt - Emerson Pugh -

14 INSPIRACJE NEUROFIZJOLOGICZNE Neuron (komórka nerwowa)

15 INSPIRACJE NEUROFIZJOLOGICZNE Neuron (komórka nerwowa)

16 Model neuronu McCullocha-Pittsa T... x0x0 x1x1 x2x2 xnxn y W i = 1 i=1,2,....,n Reguła pobudzenia neuronu: w1w1 w2w2 w3w3 wnwn

17 Model neuronu McCullocha-Pittsa PRZYKŁADY ELEMENTARNYCH FUNKTORÓW LOGICZNYCH T=1 x0x0 x1x1 x2x2 T= y NOR T=0 x0x0 x1x1 x2x2 T= y NAND

18 SZTUCZNA SIEĆ NEURONOWA Zbiór prostych elementów przetwarzających informację (sztucznych neuronów), które komunikują się między sobą za pomocą dużej liczby połączeń o zróżnicowanych wagach, zmienianych w procesie uczenia GŁÓWNE ASPEKTY MODELOWANIA SIECI NEURONOWYCH: Architektura (topologia) sieci Strategia (reguła) uczenia sieci

19 SZTUCZNY NEURON... x1x1 x2x2 xnxn F(net i ) yiyi net i – efektywny stan wejścia neuronu i - zewnętrzne wzbudzenie (offset, bias) i yjyj w ij

20 TYPY NEURONÓW (TOPOLOGIA): - wejściowe; - ukryte; - wyjściowe. SPOSÓB AKTUALIZACJI STANÓW NEURONÓW : - SYNCHRONICZNY – wszystkie neurony uaktualniają stan równocześnie; - ASYNCHRONICZNY: - w każdym kroku aktualizujemy stan jednego, losowo wybranego neuronu; - każdy neuron aktualizuje swój stan w sposób niezależny od innych, z pewnym, z reguły stałym, prawdopodobieństwem modyfikacji w czasie t.

21 FUNKCJA WZBUDZENIA NEURONU Przykładowe funkcje wzbudzenia: Funkcja progowa (a) i funkcja aktywacji perceptronu (b) (a)(b)

22 FUNKCJA WZBUDZENIA NEURONU Przykładowe funkcje wzbudzenia: Funkcja logistyczna (sigmoidalna): f(x) = 1/(1+e - x ) x y

23 FUNKCJA WZBUDZENIA NEURONU Przykładowe funkcje wzbudzenia: Funkcja tangens hiperboliczny (a) i przeskalowany arcus tangens (b) (a)(b) x x y y

24 TOPOLOGIE (ARCHITEKTURY SIECI) X1X1 XnXn h1h1 hkhk y1y1 YmYm SIECI JEDNOKIERUNKOWE (FEEDFORWARD)

25 TOPOLOGIE (ARCHITEKTURY SIECI) SIECI REKURENCYJNE I1I1 I2I2 I3I3 InIn 1 123n

26 TOPOLOGIE (ARCHITEKTURY SIECI) Podział ze względu na liczbę warstw: Jednowarstwowe, dwuwarstwowe,.... Jednowarstwowe, wielowarstwowe

27 METODY UCZENIA SIECI Uczenie z nauczycielem (nadzorowane, asocjacyjne) Uczenie bez nauczyciela (bez nadzoru) GŁÓWNE REGUŁY MODYFIKACJI WAG: REGUŁA HEBBA: w ij = y i y j REGUŁA DELTA (WIDROWA-HOFFA): w ij = (d i – y i )y j

28 ADALINE X1X1 X2X2 X3X3 XnXn X0X0 w1w1 w2w2 w3w3 w4w4 w0w0 +1 y Y=sgn(y) Błąd odpowiedzi sieci: L – liczba wektorów w zbiorze uczącym;

29 ADALINE – metoda gradientowa uczenia Kształt powierzchni błędu i zasada maksymalnego spadku

30 ADALINE – metoda gradientowa uczenia Estymacja gradientu E:

31 ADALINE – metoda gradientowa uczenia ALGORYTM UCZENIA SIECI: 1.Inicjalizuj wagi sieci jako niewielkie liczby losowe; 2.Oblicz wartość kwadratu błędu k (t); k (t) = (d k -w T x k ); 3.Oblicz zmianę wag w: w(t) = 2 k (t)x k; 4.Uaktualnij wektor wag w(t+1): w(t+1)=w(t)+ w(t); 5.Powtarzaj kroki 1-4 dopóki błąd nie osiągnie akceptowalnej wartości.

32 ADALINE – metoda gradientowa uczenia (a) (b) Idealna (a) i rzeczywista (b) trajektoria końca wektora wag w procesie uczenia sieci.

33 PERCEPTRONY JEDNOWARSTWOWE..... x w y

34 PERCEPTRONY JEDNOWARSTWOWE Jednostki progowe: y i =sgn(net i + i ) Dla i =0: y i =sgn(w i T x) Płaszczyzna decyzyjna: w x1x1 x2x2 i = 0: i 0: w x1x1

35 FUNKCJE SEPAROWALNE LINIOWO nLiczba możliwych funkcji Liczba funkcji separowalnych liniowo 144 (100%) (87,5%) (40,6%) (2,9%) 5 4, (2, %) 6 1, (2, %)

36 REGUŁA UCZENIA PERCEPTRONU Jednostki nieliniowe: Funkcja błędu (kosztu):

37 FORMY NIELINIOWOSCI NEURONU Funkcja logistyczna: Bipolarna funkcja sigmoidalna: Funkcja tangens hiperboliczny:

38 PERCEPTRONY WIELOWARSTWOWE..... x h y w hj w ih wskaźnik j wskaźnik h wskaźnik k

39 REGUŁA UCZENIA WARSTWY WYJŚCIOWEJ: REGUŁA UCZENIA WARSTWY UKRYTEJ:

40 PROBLEMY UCZENIA SIECI: Minima lokalne Paraliż sieci Wolna zbieżność lub brak zbieżności; Przetrenowanie sieci

41 Minima lokalne: Przykładowy krajobraz funkcji kosztu Rozwiązania: Wprowadzenie bezwładności; Metoda symulowanego wyżarzania; Uczenie genetyczne.....

42 Paraliż sieci: Typowa nieliniowa charakterystyka neuronu Rozwiązanie: Właściwa inicjalizacja wag Niekorzystny punkt pracy

43 Wolna zbieżność lub brak zbieżności: (a)– zbyt mała wartość współczynnika szybkości uczenia sieci; (b)- zbyt duża wartość współczynnika szybkości uczenia; (c)- prawidłowa wartość współczynnika szybkości uczenia.

44 Przetrenowanie sieci: Rozwiązanie: Właściwa struktura sieci oraz zbiorów: uczącego i testowego

45 Przykładowe zastosowanie: NETtalk

46 Przykładowe zastosowanie: autopilot Parametry analizowane przez siećStruktura sieci

47 UCZENIE BEZ NADZORU Przykładowe zadania stawiany sieciom uczonym bez nadzoru: Klasyfikacja (grupowanie); Redukcja wymiarowości (kompresja); Wyodrębnianie cech znaczących;

48 UCZENIE Z RYWALIZACJĄ (SIECI WTA – Winner Takes All)..... x1x1 x2x2 x3x3 xnxn y1y1 y2y2 ymym W Neuron zwycięski Wektory wejść x i wag w znormalizowane do długości jednostkowej

49 Pobudzenie neuronu i: net i = w i T ·x = cos( ) gdzie - kąt pomiędzy wektorami w i i x. Zwycięża neuron najsilniej pobudzony i na jego wyjściu pojawia się stan 1, na wyjściach pozostałych – stan 0. Uczony jest wyłącznie neuron zwycięski: W i*j (t+1) = W i*j (t) + [x j k - W i*j (t)] (reguła Grossberga)

50 Idea uczenia konkurencyjnego: Uczenie konkurencyjne: (a) początkowe i (b) końcowe położenia końców wektorów wag. - koniec wektora danych; - koniec wektora wag.

51 Sieci zachowujące topologię bodźców – wzorzec biologiczny Homunculus – obraz rozmieszczenia obszarów mózgu odpowiedzialnych za funkcje motoryczne

52 Sieci zachowujące topologię bodźców – wzorzec biologiczny Połączenia miedzyneuronowe realizujące oddziaływania boczne (lateralne) Funkcja meksykańskiego kapelusza opisująca oddziaływania lateralne

53 Algorytm Kohonena (rozszerzenie metody WTA) w i (t+1) = w i (t) + (t)h(i,i * ) [x(t) – w i (t)] gdzie: (t) – współczynnik szybkości uczenia (zmienny w czasie); x(t) – wektor wejściowy; h(i,i * ) – funkcja sąsiedztwa; i * - indeks neuronu zwycięskiego. FUNKCJA SĄSIEDZTWA: h(i,i * ) = exp(-|r i – r i* | 2 / 2 (t) 2 ) gdzie: r i, r i* – wektory określające położenia neuronów i, i * ; (t) – wariancja rozkładu, determinująca zasięg działania funkcji sąsiedztwa.

54 Algorytm Kohonena – przykład zastosowania

55 Algorytm Kohonena – przykłady zastosowań Mapa fonemów Problem podróżującego komiwojażera

56 Przyszłość ??????


Pobierz ppt "SZTUCZNE SIECI NEURONOWE dr hab.inż. Krzysztof Zaremba Instytut Radioelektroniki Politechnika Warszawska."

Podobne prezentacje


Reklamy Google