Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 „Grizzly”

Podobne prezentacje


Prezentacja na temat: "Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 „Grizzly”"— Zapis prezentacji:

1

2 Neuro- komputery Ryszard Tadeusiewicz

3 Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 „Grizzly”

4 Wciąż jednak nawet najdoskonalsze z posiadanych przez nas komputerów daleko ustępują niewielkiemu narządowi, który każdy posiada, a niektórzy nawet używają...

5 ludzkiego mózgu Nic dziwnego, że chcąc doskonalić systemy informatyczne zaczynamy obecnie coraz odważniej budować maszyny wzorowane na budowie i działaniu ludzkiego mózgu

6 neurokomputery Współcześnie budowane neurokomputery noszą zwykle nazwę Sieci Neuronowych i pod taką nazwą będą w tym referacie przedstawiane.

7

8 Sieci neuronowe są narzędziem którego zakres zastosowań stale się poszerza. Należą do tego zakresu między innymi takie zadania, jak: Tworzenie modeli złożonych systemów Automatyczne metody przetwarzania, analizy i klasyfikacji złożonych sygnałów Predykacja szeregów czasowych i liczne, liczne inne...

9 Cechy charakterystyczne zadań, przy rozwiązywaniu których sieci neuronowe mają przewagę nad innymi technikami: N i e z n a j o m o ś ć r e g u ł r z ą d z ą c y c h p r o b l e m e m Stopień złożoności problemu Pełna znajomość reguł Mała i średnia złożoność Częściowa znajomość reguł Mała i średnia złożoność Częściowy lub całkowity brak znajomości reguł Duża złożoność Dokładne algorytmy Modele statystyczne Systemy ekspertowe Metody dedukcyjne Sieci neuronowe Metody indukcyjne

10 Zasadnicze zalety, warunkujące używanie sieci neuronowych są następujące: Możliwość rozwiązywania problemów niezbyt dobrze sformułowanych formalnie Możliwość zastępowania procesu „ręcznego” tworzenia modelu procesem uczenia sieci Brak konieczności jawnego formułowania założeń dla modeli Możliwość pracy współbieżnej

11 Zalety te mogą być wykorzystane jedynie wtedy, gdy typ sieci zostanie właściwie dopasowany do charakteru rozwiązywanego zadania

12 Omówimy teraz elementy, determinujące różne dostępne typy sieci neuronowych

13 Sieci neuronowe są wzorowane na faktach, które udało się ustalić w trakcie wieloletnich badań ludzkiego mózgu

14  Pavlov I.P. - teoria odruchów warunkowych  Golgi C., - badanie struktury układu nerwowego  Ramón Y Cajal S. - odkrycie, że mózg składa się z sieci oddzielnych neuronów  Krogh S.A. - opisanie funkcji regulacyjnych w organizmie  1932 – Sherrington Ch. S. - badania sterowania nerwowego pracy mięśni  1936 – Dale H., Hallett L.O. - odkrycie chemicznej transmisji impulsów nerwowych  Erlanger J., Gasser H. S. - procesy w pojedynczym włóknie nerwowym  Hess W.R. - odkrycie funkcji śródmózgowia  Eccles J.C., Hodgkin A.L., Huxley A.F. - mechanizm elektrycznej aktywności neuronu  1969 – Granit R., Hartline H.K., Wald G. – fizjologia widzenia  1970 – Katz B., Von Euler U., Axelrod J. - transmisja informacji humoralnej w komórkach nerwowych  1974 – Claude A., De Duve Ch., Palade G. - badania strukturalnej i funkcjonalnej organizacji komórki.  1977 – Guillemin R., Schally A., Yalow R. - badania hormonów mózgu  1981 – Sperry R. - odkrycia dotyczące funkcjonalnej specjalizacji półkul móżdżku  1981 – Hubel D.H., Wiesel T. - odkrycie zasad przetwarzania informacji w systemie wzrokowym  1991 – Neher E., Sakmann B. - funkcje kanałów jonowych w komórkach nerwowych Nagrody Nobla związane z badaniami układu nerwowego, których wyniki wykorzystano w sieciach neuronowych:

15 Dzięki wieloletnim badaniom anatomia i fizjologia mózgu jest dzisiaj doskonale znana

16 Badania te na początku pozwoliły jedynie na ustalenie lokalizacji najbardziej podstawowych funkcji mózgu

17 Towarzyszyły temu mniej lub bardziej uzasadnione spekulacje na temat zadań, jakie pełnia poszczególne struktury mózgowe

18 Doskonalenie technik analizy działania mózgu pozwoliło na dokładniejsze określenie tego, w jaki sposób on działa

19 Dokładniejsze badania pozwoliły zidentyfikować i zlokalizować podstawowe funkcje mózgu

20 podglądanie myśli Co ciekawe – technika ta pozwala wykryć i opisać nawet tak subtelne zmiany, jakie wywołuje w mózgu np. romantyczna miłość Zasadnicze funkcje mózgu bada się obecnie głównie przy użyciu techniki PET, która bez mała umożliwia „podglądanie myśli”

21 Przy użyciu tej techniki można prześledzić nawet zakłopotanie, jakie sprawiają w trakcie percepcji tak zwane obrazy dwuznaczne

22 Przykład obrazu dwuznacznego, będącego źródłem konfuzji objawiającej się także w aktywności mózgu

23 Współczesne techniki analityczne pozwoliły sięgnąć nawet w najgłębsze zakamarki mózgu

24 systemamineurocybernetycznymi Wzajemne relacje pomiędzy różnymi systemami neurocybernetycznymi

25 Jak wynikało z poprzedniego slajdu istnieją różne techniczne realizacje sieci neuronowych, najczęściej jednak stosowana jest symulacja z wykorzystaniem typowych komputerów i specjalnego oprogramowania.

26 Przykład programu symulującego sieci neuronowe

27 Sztuczna sieć neuronowa, podobnie jak sieci rzeczywiste, zbudowana jest z neuronów

28 Komórka nerwowa ma wyraźnie zdefiniowany kierunek przepływu sygnałów, co pozwala wyróżnić jej wejścia (jest ich wiele) oraz wyjście.

29 Elementy, z których buduje się neuronowy model

30 Budowa wiernego modelu nawet pojedynczego neuronu (komórki Purkinjego) jest bardzo kosztowna (de Schutter’05) Do zbudowania modelu użyto: 1600 kompartmentów 8021 modeli kanałów jonowych 10 typów różnych złożonych opisów matematycznych kanałów zależnych od napięcia równań różniczkowych! parametrów do oszacowania przy dostrajaniu modelu Opisu morfologii zrekonstruowanej za pomocą mikroskopu

31 Obrazy wyników symulacji komputerowej modelu komórki Purkinjego uzyskane w badaniach de Schuttera: u góry aktywność elektryczna symulowanej komórki, u dołu zjawiska biochemiczne (przepływ jonów wapnia

32 Komórki nerwowe zwykle mają typowy rozgałęziony kształt, z dobrze wyróżnionym drzewkiem dendrytów i z aksonem dającym odgałęzienia do następnych neuronów

33 Najczęściej da się wtedy wyraźnie wyróżnić obszar wejściowych i wyjściowych połączeń komórki

34 Chociaż nie jest to wcale regułą

35 Innym razem liczne rozgałęzienia na aksonie zacierają różnicę między drzewem wejść, a gwiazdą wyjść

36 Zwykle jednak można wyraźnie wskazać skąd i dokąd przepływają sygnały

37 Zwykle na wejściu neuron zbiera informacje z raczej małego obszaru poprzedniej warstwy sieci, natomiast rozsyła swój sygnał do większej liczby neuronów kolejnej warstwy

38 Od reguły tej są jednak wyjątki

39 Niekiedy neurony są zaskakująco mało rozgałęzione

40 Innym razem rozgałęzień jest bardzo dużo

41 Czasem rozgałęzienia wyraźnie „szukają” swojego docelowego połączenia na wejściu...

42 ... lub na wyjściu.

43 Czasem cała struktura komórki ma wyraźnie kierunkowy charakter

44 Bywają komórki o takiej budowie, że trudno orzec, gdzie jest ich wejście, a gdzie wyjście

45 Najciekawsze procesy toczą się na złączach pomiędzy neuronami

46 Neuron - podstawowy element sieci x1x1 x2x2 xnxn w1w1 w2w2 wnwn y agregacja danych wejściowych obliczenie wartości funkcji aktywacji Zadania ??? Jak zróżnicować te sygnały?

47 Przy stosowaniu sieci neuronowych zasadnicze korzyści odnosi się z procesów uczenia zachodzących w obrębie tak zwanych synaps.

48 Pojęcie „wagi” synaptycznej jest w sztucznym neuronie bardzo uproszczone, podczas gdy w rzeczywistych komórkach odpowiada mu dosyć skomplikowana struktura anatomiczna i bardzo złożone procesy elektrochemiczne

49 Własności neuronu determinują: przyjęta agregacja danych wejściowych oraz założona funkcja wyjścia x1x1 x2x2 xnxn w1w1 w2w2 wnwn y neuron liniowy Agregacja radialna neuron nieliniowy y = s Agregacja liniowa

50 W przypadku neuronu liniowego jego zachowanie daje się łatwo zinterpretować

51 W przypadku neuronu nieliniowego nie jest tak łatwo, ponieważ zagregowany (w taki lub inny sposób) sygnał wejściowy może być przetworzony przy użyciu funkcji nieliniowej o teoretycznie dowolnym kształcie.

52 Funkcje aktywacji neuronu może być dowolna, ale najczęściej stosowane są niżej podane kształty.

53 Nieliniowe funkcje aktywacji też bywają różne:

54 Dobierając współczynniki wagowe wejść neuronu można wpływać na kształt jego nieliniowej charakterystyki!

55 Taka forma funkcji aktywacji neuronu powoduje, że w przestrzeni sygnałów wejściowych zachowanie neuronu opisuje tak zwane „urwisko sigmoidalne”

56 RBF) Odmiennie działającym elementem używanym w niektórych typach jest tzw. neuron radialny (RBF) Agregacja sygnałów wejściowych w tym typie neuronu polega na obliczaniu odległości pomiędzy obecnym wektorem wejściowym X a ustalonym podczas uczenia centroidem pewnego podzbioru T Również nieliniowa funkcja przejścia w tych neuronach ma odmienną formę - „dzwonu” gaussoidy - czyli jest funkcją niemonotoniczną.

57 Sztuczny neuron jest więc w sumie dosyć prostą strukturą, dzięki czemu stosunkowo łatwo jest stworzyć sieć takich elementów

58 Przy budowie sztucznych sieci neuronowych najczęściej przyjmuje się, że ich budowa jest złożona z warstw, podobnie jak na przykład struktury neuronowe zlokalizowane w siatkówce oka

59 Trzeba jednak dodać, że sieci neuronowe w mózgu miewają też znacznie bardziej skomplikowaną strukturę

60 Przykład: schemat móżdżku

61 Zajmiemy się sieciami o niezbyt złożonej strukturze, bo ilość połączeń w dużej sieci neuronowej jest tak duża, że ich pełna prezentacja jest praktycznie nieczytelna

62 W dodatku duże sieci często mają strukturę trójwymiarową

63 Schemat sztucznej sieci neuronowej (uproszczonej) Działanie sieci zależy od: przyjętego modelu neuronu, topologii (struktury) sieci, wartości parametrów neuronu, ustalanych w wyniku uczenia Warstwa wejściowa Warstwa ukryta (jedna lub dwie) Warstwa wyjściowa

64 Najbardziej typowa struktura: sieć MLP Podstawowe właściwości: wiele wejść i wiele wyjść jedna (rzadziej dwie) warstwy ukryte nieliniowe charakterystyki neuronów ukrytych w formie sigmoid W warstwie wyjściowej neurony mogą być liniowe lub także mogą mieć charakterystyki sigmoidalne Uczenie najczęściej przeprowadzane metodą wstecznej propagacji błędów

65 A tak wygląda struktura innej praktycznie użytecznej sieci klasy GRNN warstwa wejściowa służy do wprowadzania danych do sieci warstwa radialna każdy z neuronów reprezentuje skupienie występujące w danych warstwa regresyjna wyznacza elementy niezbędne do obliczenia wartości wyjściowej warstwa wyjściowa wyznacza odpowiedź sieci

66 Idea działania sieci realizujących regresję uogólnioną (GRNN -Generalized Regression Neural Network) Wejściowe wektory uczące dzielone są na skupienia - w szczególnym przypadku każdy wektor tworzy oddzielne skupienie, Dla każdego skupienia znana jest wartość zmiennej objaśnianej, wartość zmiennej objaśnianej dla dowolnego wektora wejściowego szacowana jest jako średnia ważona z wartości tej zmiennej dla skupień - wagi uzależnione są od odległości od skupień.

67 Określenie wag neuronów radialnych metodą K-średnich Elementy zbioru uczącego dzielone są na grupy elementów podobnych (metodą k-średnich). W charakterze wag stosowane są środki ciężkości każdej wyróżnionej grupy.

68 Możliwości zastosowań sieci: opis zależności regresyjnych Y=NN(X 1, X 2,..., X N ) powierzchnia, garaż, wiek, ogrzewanie, położenie, piętro,.... Cena rynkowa Y - zmienna ciągła X i - zmienne ciągłe lub dyskretne Przykład: Wycena mieszkań

69 Przy modelowaniu dowolnego systemu za pomocą sieci używa się metodologii „czarnej skrzynki”

70 Działanie modelu regresyjnego wytworzonego za pomocą sieci

71 Możliwości zastosowań sieci: klasyfikacja wzorcowa Y=NN(X 1, X 2,..., X N ) Y - zmienna dyskretna X i - zmienne ciągłe lub dyskretne dochody, zabezpieczenie, wiek, stan cywilny, oszczędności, zatrudnienie.... przyznać czy nie przyznać ? ? ? Przykład: Udzielanie kredytu

72 Przykład klasyfikacji binarnej

73 Istota procesu uczenia sieci przy klasyfikacji binarnej (dychotomii) polega na tym, żeby rozgraniczyć w przestrzeni sygnałów odpowiednie obszary

74 Przykład klasyfikacji wieloklasowej

75 Możliwości zastosowań sieci: prognozowanie szeregów czasowych $/Zł (t+1) $/Zł(t) $/Zł(t-1) DM/Zł(t) WIG(t) WIG(t-1).... Y t+1 =NN(Y t, Y t-1,..., Y t-k, X t,..., X t-1 ) Przykład: Prognoza kursu waluty

76 Przykładowa struktura sieci przewidującej przyszłe wartości wskaźnika WIG Y(t) Y(t-1) Y(t-2)... Y(t-k) Y(t+1)

77 Możliwości zastosowań sieci: klasyfikacja bezwzorcowa Dane charakte- ryzujące obiekty (kraje Europy) Badanie struktury zbioru obiektów

78 Wynik automatycznego grupowania danych Struktura wzajemnego podobieństwa krajów Unii Europejskiej

79 Rozwiązywanie problemów przy pomocy sieci neuronowej identyfikacja problemu; wybór typu sieci neuronowej (liniowa, MLP, RBF, PNN, GRNN, Kohonena); określenie struktury sieci (liczba warstw, liczba neuronów w warstwach); uczenie sieci (określenie wartości parametrów neuronów).

80 Uczenie sieci neuronowej estymacjiuczenie jest to w istocie iteracyjny proces estymacji optymalnych wartości parametrów sieci; początkowepoczątkowe wartości tych parametrów są zwykle wartościami losowymi; ocenyw trakcie uczenia sieci neuronowej prezentowane są przypadki uczące i w zależności od oceny reakcji sieci modyfikowane są jej parametry (najczęściej wagi synaptyczne). 

81

82 Na procesy pamięciowe duży wpływ mają zapewne receptory NMDA, spotykane w strukturach hipokampa aktywowane przez kwas N-metylo-D-asparaginowy

83 Mechanizmy biochemiczne zaangażowane w proces zapamiętywania wiedzy są raczej skomplikowane

84 Dla uczenia sztucznych sieci neuronowych cała ta skomplikowana wiedza biochemiczna nie jest konieczna, bo praktyczne metody uczenia sieci oparte są na prostej intuicji: poszukiwania minimum funkcji błędu

85 E Algorytm wstecznej propagacji błędów polega na szukaniu kierunku spadku E i na takim zmienianiu wartości wag w 1, w 2, żeby zmniejszać wartość funkcji błędu w kierunku jej najszybszego spadku Nowy (lepszy) wektor wag Stary (gorszy) wektor wag Odpowiadająca mu wartość błędu Kierunek najszybszego spadku błędu Przemieszczenie po powierzchni błędu Migracja w przestrzeni wag

86 Poszerzenie zakresu analizy pozwala wykryć, że znalezione ekstremum (tu: maksimum) ma charakter lokalny, a nie globalny

87 Można przy tym rozważać otoczenia o różnym zasięgu.

88 nie wykazujenie jest globalne W zależności od tego, jaki rozmiar otoczenia jeszcze nie wykazuje, że ekstremum nie jest globalne - możemy mówić o ekstremach różnych rzędów.

89 Uczenie z nauczycielem X1X2 DX1X2 D x 11 x 12 d 1 x 21 x 22 d x n1 x n2 d n Zbiór uczący: X1X1 X2X2 Y Czy y i = d i ? Jeśli nie, to zmień wagi w taki sposób, aby te dwie wartości zbliżyły się do siebie. Epoka - Jednokrotna prezentacja wszystkich przypadków uczących zmiany wag metody uczenia. Sposób zmiany wag neuronów w sieci w celu uzyskania dobrej zgodności rzeczywistych odpowiedzi neuronów z odpowiedziami wzorcowymi, podanymi w zbiorze uczącym, stanowi istotę wybranej metody uczenia.

90 Przykładowy zbiór uczący pozwalający rozwiązać problem regresyjny zmienne objaśniające: cylindry, pojemność, moc, masa, przyspieszenie, rok, pochodzenie zmienna objaśniana:zużycie paliwa w l/100 km.

91 Uczenie sieci polega na takim doborze jej parametrów, żeby zminimalizować błąd, jaki popełnia sieć; Na wejście sieci podawane są dane wskazane w zbiorze jako wejściowe podaje swoje rozwiązanie Sieć na tej podstawie oblicza i podaje swoje rozwiązanie (na ogół początkowo błędne) poprawne wartości rozwiązań W zbiorze uczącym podane są poprawne wartości rozwiązań dla tych danych można to zrobić przetwarzając dane ze zbioru uczącego Oto sieć neuronowa, którą trzeba uczyć

92 Uczenie sieci polega teraz na takim doborze jej parametrów, żeby zminimalizować błąd, jaki popełnia sieć przetwarzając dane ze zbioru uczącego Błąd Robi to algorytm uczenia Na podstawie błędu zmienia się wagi wszystkich neuronów w sieci, tak żeby malał błąd Porównanie zawartej w danych wzorcowej odpowiedzi z wynikiem obliczonym przez sieć daje błąd

93 Kształtowanie się błędu sieci w trakcie uczenia X1X2 DX1X2 D x 11 x 12 d 1 x 21 x 22 d x n1 x n2 d n Zbiór uczący: X1X1 X2X2 Y Najczęściej stosowana formuła opisująca błąd popełniany przez sieć: Jeśli proces uczenia ma zakończyć się sukcesem, to błąd powinien maleć I rzeczywiście zwykle błąd maleje! Najpierw szybko Potem wolniej

94 W trakcie uczenia sieci błąd przez nią popełniany zmienia się w charakterystyczny i zwykle podobny sposób: szybko maleje na początku procesu i znacznie wolniej później. Dla tej samej sieci i dla tych samych danych uczących przebiegi procesu uczenia mogą się nieco różnić jeden od drugiego. Zależy to głównie od tego, jak wybrany został punkt startowy, to znaczy wartości wag na początku procesu uczenia.

95 Przeuczenie sieci czyli zanik zdolności do generalizacji X1X2 DX1X2 D x 11 x 12 d 1 x 21 x 22 d x k1 x k2 d k Zbiór uczący: X1X2 DX1X2 D x (k+1)1 x (k+1)2 d k x n1 x n2 d n Zbiór walidacyjny: Zdolność do aproksymacji: Zdolność do generalizacji: X1X1 X2X2 Y Tutaj przerwać uczenie!

96 Dzięki użyciu zbioru danych walidacyjnych można wykryć moment „przeuczenia” sieci Błąd dla zbioru uczącego Błąd dla zbioru walidacyjnego Tu zaczyna się przeuczenie

97 Strukturę sieci trzeba tak dobrać, żeby otrzymać aproksymację danych uczących nie za bardzo skomplikowaną, ale i nie nazbyt uproszczoną

98 Działanie sieci posiadającej zdolność do aproksymacji i do generalizacji Y

99 Działanie (na tych samych danych) sieci nie posiadającej zdolności do generalizacji

100 Efekty uczenia sieci - 1

101 Efekty uczenia sieci - 2

102 Efekty uczenia sieci - 3

103 Kwestia wyboru struktury modelu neuronowego Nie istnieje Nie istnieje ogólna recepta, każdy przypadek musi być rozważany indywidualnie!

104 Najbardziej istotny problem wiąże się z ustaleniem, ile elementów powinna mieć warstwa ukryta? Mała może się okazać zbyt prymitywna, żeby sobie poradzić z trudnością rozwiązywanego zadania duża z pewnością sprawi więcej kłopotów podczas uczenia ?

105 Przyjrzyjmy się, jak rozwiązują problem uczenia sieci o różnej architekturze Wyobraźmy sobie przestrzeń percepcyjną pewnego zwierzaka. Postrzega on otoczenie za pomocą wzroku i słuchu, więc każde środowisko stanowi dla niego punkt na płaszczyźnie dźwięku i światła. Dźwięk Światło A tu są dane dla konkretnego środowiska w którym umieszczamy naszego zwierzaka. Tu jest cicho i ciemno (sypialnia) Tu jest głośno i ciemno (dyskoteka) Tu jest jasno i gwarno Tu jest cicho i jasno (plaża) Przedmiotem uczenia będzie to, w jakim środowisku zwierzak się dobrze czuje

106 „Samopoczucie” zwierzaka będzie sygnalizowane przez kolor odpowiednich punktów w przestrzeni sygnałów wejściowych Dźwięk Światło Tu zwierzak jest zadowolony Tu zwierzak jest nieszczęśliwy

107 Przykładowa mapa „samopoczucia” zwierzaka Dźwięk Światło Mapę taką będziemy dalej rysowali zwykle w postaci wygładzonej:

108 Informację o tym, jak się powinien zachowywać, zwierzak dostawać będzie w postaci zbioru uczącego, składającego się z przypadkowo wylosowanych punktów („środowisk”) do których przypisane będą wymagane przez nauczyciela stany samopoczucia (sygnalizowane kolorem) Oto przykładowy zbiór uczący......wygenerowany dla tej mapy

109 Zakładamy, że pomiędzy stanami: pełnego szczęścia: i całkowitej depresji: szczytami (entuzjazmu) dnem (melancholii). Możliwe są jeszcze stany pośrednie, które będziemy oznaczać kolorami podobnymi, jak na mapach geograficznych pośrednie wysokości pomiędzy szczytami (entuzjazmu) a dnem (melancholii). Przykładowa mapa:

110 Wyposażmy naszego zwierzaka w „mózg” w postaci bardzo prostej jednowarstwowej sieci neuronowej i spróbujmy przeprowadzić jego uczenie Zaczniemy od próby wyuczenia zwierzaka, żeby lubił gwarne śródmieście w samo południe: Zwierzak początkowo wcale nie ma na to ochoty, bo jego zachowanie wynikające z początkowych (przypadkowych!) wartości wag neuronów obrazuje mapa: zwierzak Jest to jak widać zwolennik dyskoteki i sypialni (?) Ale zwierzak nam się trafił ! Dźwięk Światło Jasno i bardzo głośno!

111 No to zaaplikujemy zwierzakowi uczenie Wzorzec Stan Początek Dalszy etap początkowyuczenia uczenia Widać, że na początku ma „opory”, ale powoli zaczyna się uczyć...

112 Po kolejnych kilku epokach uczenia zwierzak już wie, o co chodzi: Już się dostosował!

113 Poprzednie zadanie udało się rozwiązać, bo było bardzo proste, więc bardzo głupiutki zwierzak (sieć neuronowa bez warstw ukrytych) zdołał się go nauczyć. Zobaczmy jednak, jak ta sama sieć będzie się uczyć trudniejszego zadania.

114 Niech zadanie polega na stworzeniu preferencji dla „złotego środka”

115 Nasz zwierzak miota się i zmienia swoje upodobania, ale mimo dowolnie długiego uczenia nie zdoła wykryć, o co tym razem chodzi! Zauważmy: Ten „cyber-kretyn” nigdy się nie nauczy robić tego, czego się od niego wymaga, ale jego poglądy są zawsze bardzo kategoryczne (wszystko jest albo bardzo dobre, albo bardzo złe) – chociaż za każdym razem niestety błędne...

116 Wyposażmy go więc w bardziej skomplikowany „mózg” zawierający pewną liczbę neuronów ukrytych. Teraz proces uczenia przebiega zupełnie inaczej. Sieć startuje od stanu totalnego optymizmu (prawie wszystko się zwierzakowi podoba!).

117 Wystarczy jednak kilka niepowodzeń w trakcie procesu uczenia, by zwierzak popadł w stan totalnego pesymizmu Dostał kilka razy karę od nauczyciela i się załamał!

118 Potem jednak proces uczenia przebiega coraz skuteczniej i kończy się całkowitym sukcesem

119 Ta sama sieć wystartowana powtórnie (z innymi początkowymi wartościami wag) także dochodzi do właściwego rozwiązania, chociaż inną drogą.

120 Dzięki prostemu programowi symulacyjnemu można zebrać bardzo wiele podobnych historii uczenia.

121 Inny przykład Sieć z dwoma warstwami ukrytymi (powyżej) radzi sobie z problemem, który „przerasta” możliwości sieci z jedną warstwą ukrytą (na następnym slajdzie)

122 Porażka sieci z jedną warstwą ukrytą

123 Oto jeszcze jedna przykładowa historia uczenia sieci o większej złożoności Takie zabawy można kontynuować bez końca!

124 Całkiem poważnym problemem jest sposób reprezentacji danych w sieci neuronowej Jeśli dane mają od początku charakter numeryczny to problemu nie ma – najwyżej trzeba je przeskalować. cel skalowania: cel skalowania: dopasowanie zakresu wartości zmiennej do charakterystyki neuronu

125 jeden-z-N Gorzej, jeśli dane mają charakter jakościowy. Konieczne jest wtedy przekształcenie jeden-z-N Jeden-z-N – to sposób na przekształcenie wartości nominalnych do postaci numerycznej. Przykład: Pochodzenie ={Azja, Ameryka, Europa} Azja: {1, 0, 0} Ameryka: {0, 1, 0} Europa: {0, 0, 1} jedna zmienna – trzy neurony

126 Właściwej interpretacji wymagają też dane wyjściowe, otrzymywane z sieci jako rozwiązanie postawionego zadania Jeśli wymagane są wyniki numeryczne, to sprawa jest prosta, bo wystarczy je odczytać na wyjściach neuronów i tylko odpowiednio przeskalować. Trudności zaczynają się wtedy, gdy sieć pracuje jako klasyfikator, więc jej odpowiedzi trzeba interpretować jako decyzje.

127 Klasyfikacja wzorcowa Celem klasyfikacji wzorcowej jest przypisanie badanych obiektów do jednej ze znanych klas. Zaklasyfikowanie obiektu dokonywane jest na podstawie wartości opisujących go zmiennych.

128 Klasyfikacja w przypadku dwóch klas Warstwa wyjściowa - neuron z sigmoidalną funkcją aktywacji Wartość wyjściowa neuronu może być interpretowana jako prawdopodobieństwo przynależności do klasy 1 Reprezentacja klas: klasa 1 - wartość 1 klasa 2 - wartość 0

129 Klasyfikacja w przypadku większej liczby klas Każdej klasie odpowiada jeden neuron w warstwie wyjściowej. Aby obiekt został zaliczony do i-tej klasy: wartość wyjściowa i-tego neuronu - wyższa od poziomu akceptacji, wartości wyjściowe pozostałych neuronów - niższe od poziomu odrzucenia. Interpretacja wartości wyjściowych jako prawdopodobieństw przynależności do klas - konieczne jest ich sumowanie do jedności - zapewnia to funkcja aktywacji SoftMax

130 Przykład klasyfikacji binarnej i wieloklasowej

131 Problem praktyczny: Czy wszystkie dostępne zmienne objaśniające należy wprowadzać na wejścia sieci? Nie,ograniczaćNie, w miarę możliwości należy ograniczać liczbę zmiennych wejściowych, Dlaczego?Dlaczego? Bo stosując mniejszą liczbę zmiennych wejściowych uzyskujemy prostszą sieć, która: –posiada mniejszą liczbę parametrów nastawianych podczas uczenia, a to powoduje łatwiejsze uczenie i daje lepsze zdolności do generalizacji, –ma krótszy czas uczenia, gdyż mniej jest danych

132 Liniowa Liniowa sieć neuronowa nie jest konieczneIteracyjne uczenie sieci liniowej nie jest konieczne, gdyż może być zastąpione procedurą pseudo-inwersji macierzy x1x1 x2x2 xnxn w 11 w 21 y 1 = w 11 x 1 + w 21 x w n1 x n w n1 y1y1 ….. y k = w 1k x 1 + w 2k x w nk x n ykyk W zapisie macierzowym: Y = W X

133 najprostszy użyteczny Sieć liniowa jako najprostszy (ale użyteczny!) model regresyjny Przesłanki przemawiające za stosowaniem liniowej sieci neuronowej: –jest doskonałym narzędziem do opisu zależności liniowych, –stanowi punkt odniesienia przy ocenie modeli nieliniowych, –struktura i uczenie nie stwarza żadnych problemów.

134 Liniowa Liniowa sieć neuronowa nie posiada warstw ukrytychSieć liniowa z zasady nie posiada warstw ukrytych, bo nawet jeśli się je wprowadzi, to nie wzbogacą one zachowania sieci X W1W1 W2W2 P Y P = W 1 X Y = W 2 P Y = W 2 W 1 X Y = W X ; W = W 1 W 2 X W Y

135 Dlatego liniowa sieć neuronowa jest często przedstawiana w sposób przytoczony na tym obrazku

136 Perceptron wielowarstwowy XW1W1 W2W2 P Y    P =  [ W 1 X ] Y =  [ W 2 P ] Y =  [ W 2  [ W 1 X ] ] W perceptronie na skutek istnienia nieliniowości w neuronach ukrytych nie jest możliwe „zwinięcie”jego wielowarstwowej struktury 

137 Przykłady budowy modeli neuronowych z użyciem sieci typu perceptron Zwykle rozwiązywane rzeczywiste problemy są znacznie bardziej złożone, głównie ze względu na konieczność uwzględniania wielu wejść i wyjść sieci! UWAGA!

138 Rzeczywiste dane, które muszą być aproksymowane z pomocą sieci są zwykle wielowymiarowe.

139 Sieć neuronowa może dać model lepszy niż metody statystyczne Model statystycznySieć neuronowa

140 Niekorzystne jest zarówno użycie zbyt prostej, jak i zbyt skomplikowanej sieci Sieć zbyt prosta (jeden neuron)Sieć zbyt skomplikowana

141 Mało skomplikowane sieci szybko się uczą i wykazują powtarzalne zachowanie, chociaż jest to często zachowanie błędne Wyniki kolejnych prób uczenia za małej sieci

142 Sieć neuronowa buduje model poprzez tworzenie w poszczególnych neuronach kombinacji liniowych ich sygnałów wejściowych oraz nakładanie na to nieliniowych funkcji aktywacji neuronów

143 Działanie sieci MLP o większej liczbie warstw oraz sieci RBF MLP RBF

144 Sieci o radialnych funkcjach bazowych(sieci RBF)

145 Sieci RBF - schemat neuronu radialnego

146 Zastosowanie RBF (zamiast MLP) spowoduje, że sieć neuronowa znajdzie aproksymację lepiej dopasowaną do lokalnych właściwości zbioru danych, ale gorzej ekstrapolującą. Funkcja bazoweWynik dopasowania MLP RBF

147 Sieci RBF bywają nadmiernie wrażliwe na nawet nieliczne błędy w danych uczących

148 Przykład danych doświadczalnych (kółeczka) do aproksymacji z pomocą sieci neuronowej (linia kropkowana)

149 Kolejne eksperymenty uczenia tej samej sieci neuronowej na tych samych danych mogą dawać nieco różniące się wyniki.

150 Niekiedy sieć nadmiernie dopasowuje się do danych uczących (przeuczenie) i traci zdolność generalizacji

151 szczegółach bezpłatnie O szczegółach techniki sieci neuronowych można się więcej nauczyć z mojej książki dostępnej bezpłatnie w Internecie : W razie potrzeby służę konsultacją

152


Pobierz ppt "Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 „Grizzly”"

Podobne prezentacje


Reklamy Google