Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 Grizzly.

Podobne prezentacje


Prezentacja na temat: "Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 Grizzly."— Zapis prezentacji:

1

2 Neuro- komputery Ryszard Tadeusiewicz

3 Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 Grizzly

4 Wciąż jednak nawet najdoskonalsze z posiadanych przez nas komputerów daleko ustępują niewielkiemu narządowi, który każdy posiada, a niektórzy nawet używają...

5 ludzkiego mózgu Nic dziwnego, że chcąc doskonalić systemy informatyczne zaczynamy obecnie coraz odważniej budować maszyny wzorowane na budowie i działaniu ludzkiego mózgu

6 neurokomputery Współcześnie budowane neurokomputery noszą zwykle nazwę Sieci Neuronowych i pod taką nazwą będą w tym referacie przedstawiane.

7

8 Sieci neuronowe są narzędziem którego zakres zastosowań stale się poszerza. Należą do tego zakresu między innymi takie zadania, jak: Tworzenie modeli złożonych systemów Automatyczne metody przetwarzania, analizy i klasyfikacji złożonych sygnałów Predykacja szeregów czasowych i liczne, liczne inne...

9 Cechy charakterystyczne zadań, przy rozwiązywaniu których sieci neuronowe mają przewagę nad innymi technikami: N i e z n a j o m o ś ć r e g u ł r z ą d z ą c y c h p r o b l e m e m Stopień złożoności problemu Pełna znajomość reguł Mała i średnia złożoność Częściowa znajomość reguł Mała i średnia złożoność Częściowy lub całkowity brak znajomości reguł Duża złożoność Dokładne algorytmy Modele statystyczne Systemy ekspertowe Metody dedukcyjne Sieci neuronowe Metody indukcyjne

10 Zasadnicze zalety, warunkujące używanie sieci neuronowych są następujące: Możliwość rozwiązywania problemów niezbyt dobrze sformułowanych formalnie Możliwość zastępowania procesu ręcznego tworzenia modelu procesem uczenia sieci Brak konieczności jawnego formułowania założeń dla modeli Możliwość pracy współbieżnej

11 Zalety te mogą być wykorzystane jedynie wtedy, gdy typ sieci zostanie właściwie dopasowany do charakteru rozwiązywanego zadania

12 Omówimy teraz elementy, determinujące różne dostępne typy sieci neuronowych

13 Sieci neuronowe są wzorowane na faktach, które udało się ustalić w trakcie wieloletnich badań ludzkiego mózgu

14 Pavlov I.P. - teoria odruchów warunkowych Golgi C., - badanie struktury układu nerwowego Ramón Y Cajal S. - odkrycie, że mózg składa się z sieci oddzielnych neuronów Krogh S.A. - opisanie funkcji regulacyjnych w organizmie 1932 – Sherrington Ch. S. - badania sterowania nerwowego pracy mięśni 1936 – Dale H., Hallett L.O. - odkrycie chemicznej transmisji impulsów nerwowych Erlanger J., Gasser H. S. - procesy w pojedynczym włóknie nerwowym Hess W.R. - odkrycie funkcji śródmózgowia Eccles J.C., Hodgkin A.L., Huxley A.F. - mechanizm elektrycznej aktywności neuronu 1969 – Granit R., Hartline H.K., Wald G. – fizjologia widzenia 1970 – Katz B., Von Euler U., Axelrod J. - transmisja informacji humoralnej w komórkach nerwowych 1974 – Claude A., De Duve Ch., Palade G. - badania strukturalnej i funkcjonalnej organizacji komórki – Guillemin R., Schally A., Yalow R. - badania hormonów mózgu 1981 – Sperry R. - odkrycia dotyczące funkcjonalnej specjalizacji półkul móżdżku 1981 – Hubel D.H., Wiesel T. - odkrycie zasad przetwarzania informacji w systemie wzrokowym 1991 – Neher E., Sakmann B. - funkcje kanałów jonowych w komórkach nerwowych Nagrody Nobla związane z badaniami układu nerwowego, których wyniki wykorzystano w sieciach neuronowych:

15 Dzięki wieloletnim badaniom anatomia i fizjologia mózgu jest dzisiaj doskonale znana

16 Badania te na początku pozwoliły jedynie na ustalenie lokalizacji najbardziej podstawowych funkcji mózgu

17 Towarzyszyły temu mniej lub bardziej uzasadnione spekulacje na temat zadań, jakie pełnia poszczególne struktury mózgowe

18 Doskonalenie technik analizy działania mózgu pozwoliło na dokładniejsze określenie tego, w jaki sposób on działa

19 Dokładniejsze badania pozwoliły zidentyfikować i zlokalizować podstawowe funkcje mózgu

20 podglądanie myśli Co ciekawe – technika ta pozwala wykryć i opisać nawet tak subtelne zmiany, jakie wywołuje w mózgu np. romantyczna miłość Zasadnicze funkcje mózgu bada się obecnie głównie przy użyciu techniki PET, która bez mała umożliwia podglądanie myśli

21 Przy użyciu tej techniki można prześledzić nawet zakłopotanie, jakie sprawiają w trakcie percepcji tak zwane obrazy dwuznaczne

22 Przykład obrazu dwuznacznego, będącego źródłem konfuzji objawiającej się także w aktywności mózgu

23 Współczesne techniki analityczne pozwoliły sięgnąć nawet w najgłębsze zakamarki mózgu

24 systemamineurocybernetycznymi Wzajemne relacje pomiędzy różnymi systemami neurocybernetycznymi

25 Jak wynikało z poprzedniego slajdu istnieją różne techniczne realizacje sieci neuronowych, najczęściej jednak stosowana jest symulacja z wykorzystaniem typowych komputerów i specjalnego oprogramowania.

26 Przykład programu symulującego sieci neuronowe

27 Sztuczna sieć neuronowa, podobnie jak sieci rzeczywiste, zbudowana jest z neuronów

28 Komórka nerwowa ma wyraźnie zdefiniowany kierunek przepływu sygnałów, co pozwala wyróżnić jej wejścia (jest ich wiele) oraz wyjście.

29 Elementy, z których buduje się neuronowy model

30 Budowa wiernego modelu nawet pojedynczego neuronu (komórki Purkinjego) jest bardzo kosztowna (de Schutter05) Do zbudowania modelu użyto: 1600 kompartmentów 8021 modeli kanałów jonowych 10 typów różnych złożonych opisów matematycznych kanałów zależnych od napięcia równań różniczkowych! parametrów do oszacowania przy dostrajaniu modelu Opisu morfologii zrekonstruowanej za pomocą mikroskopu

31 Obrazy wyników symulacji komputerowej modelu komórki Purkinjego uzyskane w badaniach de Schuttera: u góry aktywność elektryczna symulowanej komórki, u dołu zjawiska biochemiczne (przepływ jonów wapnia

32 Komórki nerwowe zwykle mają typowy rozgałęziony kształt, z dobrze wyróżnionym drzewkiem dendrytów i z aksonem dającym odgałęzienia do następnych neuronów

33 Najczęściej da się wtedy wyraźnie wyróżnić obszar wejściowych i wyjściowych połączeń komórki

34 Chociaż nie jest to wcale regułą

35 Innym razem liczne rozgałęzienia na aksonie zacierają różnicę między drzewem wejść, a gwiazdą wyjść

36 Zwykle jednak można wyraźnie wskazać skąd i dokąd przepływają sygnały

37 Zwykle na wejściu neuron zbiera informacje z raczej małego obszaru poprzedniej warstwy sieci, natomiast rozsyła swój sygnał do większej liczby neuronów kolejnej warstwy

38 Od reguły tej są jednak wyjątki

39 Niekiedy neurony są zaskakująco mało rozgałęzione

40 Innym razem rozgałęzień jest bardzo dużo

41 Czasem rozgałęzienia wyraźnie szukają swojego docelowego połączenia na wejściu...

42 ... lub na wyjściu.

43 Czasem cała struktura komórki ma wyraźnie kierunkowy charakter

44 Bywają komórki o takiej budowie, że trudno orzec, gdzie jest ich wejście, a gdzie wyjście

45 Najciekawsze procesy toczą się na złączach pomiędzy neuronami

46 Neuron - podstawowy element sieci x1x1 x2x2 xnxn w1w1 w2w2 wnwn y agregacja danych wejściowych obliczenie wartości funkcji aktywacji Zadania ??? Jak zróżnicować te sygnały?

47 Przy stosowaniu sieci neuronowych zasadnicze korzyści odnosi się z procesów uczenia zachodzących w obrębie tak zwanych synaps.

48 Pojęcie wagi synaptycznej jest w sztucznym neuronie bardzo uproszczone, podczas gdy w rzeczywistych komórkach odpowiada mu dosyć skomplikowana struktura anatomiczna i bardzo złożone procesy elektrochemiczne

49 Własności neuronu determinują: przyjęta agregacja danych wejściowych oraz założona funkcja wyjścia x1x1 x2x2 xnxn w1w1 w2w2 wnwn y neuron liniowy Agregacja radialna neuron nieliniowy y = s Agregacja liniowa

50 W przypadku neuronu liniowego jego zachowanie daje się łatwo zinterpretować

51 W przypadku neuronu nieliniowego nie jest tak łatwo, ponieważ zagregowany (w taki lub inny sposób) sygnał wejściowy może być przetworzony przy użyciu funkcji nieliniowej o teoretycznie dowolnym kształcie.

52 Funkcje aktywacji neuronu może być dowolna, ale najczęściej stosowane są niżej podane kształty.

53 Nieliniowe funkcje aktywacji też bywają różne:

54 Dobierając współczynniki wagowe wejść neuronu można wpływać na kształt jego nieliniowej charakterystyki!

55 Taka forma funkcji aktywacji neuronu powoduje, że w przestrzeni sygnałów wejściowych zachowanie neuronu opisuje tak zwane urwisko sigmoidalne

56 RBF) Odmiennie działającym elementem używanym w niektórych typach jest tzw. neuron radialny (RBF) Agregacja sygnałów wejściowych w tym typie neuronu polega na obliczaniu odległości pomiędzy obecnym wektorem wejściowym X a ustalonym podczas uczenia centroidem pewnego podzbioru T Również nieliniowa funkcja przejścia w tych neuronach ma odmienną formę - dzwonu gaussoidy - czyli jest funkcją niemonotoniczną.

57 Sztuczny neuron jest więc w sumie dosyć prostą strukturą, dzięki czemu stosunkowo łatwo jest stworzyć sieć takich elementów

58 Przy budowie sztucznych sieci neuronowych najczęściej przyjmuje się, że ich budowa jest złożona z warstw, podobnie jak na przykład struktury neuronowe zlokalizowane w siatkówce oka

59 Trzeba jednak dodać, że sieci neuronowe w mózgu miewają też znacznie bardziej skomplikowaną strukturę

60 Przykład: schemat móżdżku

61 Zajmiemy się sieciami o niezbyt złożonej strukturze, bo ilość połączeń w dużej sieci neuronowej jest tak duża, że ich pełna prezentacja jest praktycznie nieczytelna

62 W dodatku duże sieci często mają strukturę trójwymiarową

63 Schemat sztucznej sieci neuronowej (uproszczonej) Działanie sieci zależy od: przyjętego modelu neuronu, topologii (struktury) sieci, wartości parametrów neuronu, ustalanych w wyniku uczenia Warstwa wejściowa Warstwa ukryta (jedna lub dwie) Warstwa wyjściowa

64 Najbardziej typowa struktura: sieć MLP Podstawowe właściwości: wiele wejść i wiele wyjść jedna (rzadziej dwie) warstwy ukryte nieliniowe charakterystyki neuronów ukrytych w formie sigmoid W warstwie wyjściowej neurony mogą być liniowe lub także mogą mieć charakterystyki sigmoidalne Uczenie najczęściej przeprowadzane metodą wstecznej propagacji błędów

65 A tak wygląda struktura innej praktycznie użytecznej sieci klasy GRNN warstwa wejściowa służy do wprowadzania danych do sieci warstwa radialna każdy z neuronów reprezentuje skupienie występujące w danych warstwa regresyjna wyznacza elementy niezbędne do obliczenia wartości wyjściowej warstwa wyjściowa wyznacza odpowiedź sieci

66 Idea działania sieci realizujących regresję uogólnioną (GRNN -Generalized Regression Neural Network) Wejściowe wektory uczące dzielone są na skupienia - w szczególnym przypadku każdy wektor tworzy oddzielne skupienie, Dla każdego skupienia znana jest wartość zmiennej objaśnianej, wartość zmiennej objaśnianej dla dowolnego wektora wejściowego szacowana jest jako średnia ważona z wartości tej zmiennej dla skupień - wagi uzależnione są od odległości od skupień.

67 Określenie wag neuronów radialnych metodą K-średnich Elementy zbioru uczącego dzielone są na grupy elementów podobnych (metodą k-średnich). W charakterze wag stosowane są środki ciężkości każdej wyróżnionej grupy.

68 Możliwości zastosowań sieci: opis zależności regresyjnych Y=NN(X 1, X 2,..., X N ) powierzchnia, garaż, wiek, ogrzewanie, położenie, piętro,.... Cena rynkowa Y - zmienna ciągła X i - zmienne ciągłe lub dyskretne Przykład: Wycena mieszkań

69 Przy modelowaniu dowolnego systemu za pomocą sieci używa się metodologii czarnej skrzynki

70 Działanie modelu regresyjnego wytworzonego za pomocą sieci

71 Możliwości zastosowań sieci: klasyfikacja wzorcowa Y=NN(X 1, X 2,..., X N ) Y - zmienna dyskretna X i - zmienne ciągłe lub dyskretne dochody, zabezpieczenie, wiek, stan cywilny, oszczędności, zatrudnienie.... przyznać czy nie przyznać ? ? ? Przykład: Udzielanie kredytu

72 Przykład klasyfikacji binarnej

73 Istota procesu uczenia sieci przy klasyfikacji binarnej (dychotomii) polega na tym, żeby rozgraniczyć w przestrzeni sygnałów odpowiednie obszary

74 Przykład klasyfikacji wieloklasowej

75 Możliwości zastosowań sieci: prognozowanie szeregów czasowych $/Zł (t+1) $/Zł(t) $/Zł(t-1) DM/Zł(t) WIG(t) WIG(t-1).... Y t+1 =NN(Y t, Y t-1,..., Y t-k, X t,..., X t-1 ) Przykład: Prognoza kursu waluty

76 Przykładowa struktura sieci przewidującej przyszłe wartości wskaźnika WIG Y(t) Y(t-1) Y(t-2)... Y(t-k) Y(t+1)


Pobierz ppt "Neuro- komputery Ryszard Tadeusiewicz Współczesne komputery są coraz większe i coraz doskonalsze Cyfronet AGH Superkomputer SGI 2800 Grizzly."

Podobne prezentacje


Reklamy Google