Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Sieci dynamiczne. Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 14 Włodzisław Duch Uniwersytet.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Sieci dynamiczne. Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 14 Włodzisław Duch Uniwersytet."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Sieci dynamiczne. Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2 2 Co było Teoria aproksymacji Funkcje radialne Sieci RBF

3 3 Co będzie Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej

4 4 Sieci dynamiczne W układach biologicznych neurony mają silne sprzężenia zwrotne. Dotychczas tylko model BAM wykorzystywał sprzężenia zwrotne. Najprostsze modele sieci z rekurencją: sieci Hopfielda, sieci uczone regułą Hebba, sieć Hamminga. Modele bardziej złożone: RTRN - Real Time Recurrent Network, przetwarzająca sygnały w czasie rzeczywistym; sieć Elmana i inne o uproszczonej strukturze rekurencji RCC - Recurrent Cascade Correlation W układach biologicznych neurony mają silne sprzężenia zwrotne. Dotychczas tylko model BAM wykorzystywał sprzężenia zwrotne. Najprostsze modele sieci z rekurencją: sieci Hopfielda, sieci uczone regułą Hebba, sieć Hamminga. Modele bardziej złożone: RTRN - Real Time Recurrent Network, przetwarzająca sygnały w czasie rzeczywistym; sieć Elmana i inne o uproszczonej strukturze rekurencji RCC - Recurrent Cascade Correlation

5 5 Reguła Hebba Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta. D. O. Hebb, 1949

6 6 Model Hopfielda John Hopfield (1982, 1984), model pamięci autoasocjacyjnej. Założenia: Wszystkie neurony są ze sobą połączone (fully connected network) z wagami synaps W ij. Macierz wag połączeń jest symetryczna, W i,i =0, W ij = W ji. Symetria jest wygodna z teoretycznego p. widzenia, pozwala wprowadzić f. energii; jest nierealistyczna z biologicznego p. widzenia. Dyskretny stan neuronu - potencjał V i = ±1 = sgn (I(V)) W późniejszych modelach stany rzeczywiste.

7 7 Model Hopfielda - dynamika Wektor potencjałów wejściowych V(0)=V ini, czyli wejście = wyjście. Dynamika (iteracje) sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie V ini (autoasocjacja). t - czas dyskretny (numer iteracji). Stany stacjonarne = atraktory punktowe.

8 8 Minimalizacja energii Dla sieci o symetrycznych wagach taka dynamika prowadzi do minimalizacji funkcji typu energii. W teorii układów dynamicznych - funkcji Lapunova, w fizyce statystycznej funkcji Hamiltona, w teorii optymalizacji funkcji celu lub kosztu, w obliczeniach ewolucyjnych funkcji przystosowania... Zmiana energii w czasie iteracji jest 0 Jeśli I i 0 to V i nie może zmaleć, więc energia zmaleje; Jeśli I i < 0 to V i < 0, energia również zmaleje.

9 9 AtraktoryAtraktory Dynamika: ruch po hiperpowierzchni energii, zależnej od potencjałów neuronów, aż do osiągnięcia lokalnego minimum na takiej powierzchni. Jeśli V i dyskretne to ruch po rogach hipersześcianu.

10 10 3 neurony

11 11 Stopniowe studzenie Atraktory punktowe - tylko dla symetrycznych połączeń. Stany stabilne: minima lokalne E(W) odpowiadające pamiętanym wzorcom V i - pamięć asocjacyjna. Prawdopodobieństwo aktywacji: sigmoidalne. Atraktory punktowe - tylko dla symetrycznych połączeń. Stany stabilne: minima lokalne E(W) odpowiadające pamiętanym wzorcom V i - pamięć asocjacyjna. Prawdopodobieństwo aktywacji: sigmoidalne. W wysokiej T przypadkowe błądzenie, stopniowe studzenie pozwala unikać płytkich minimów lokalnych. Duża aktywacja i niska temperatura prawie na pewno da V i =1

12 12 S.A. - wykres E

13 13 S.A. - wykres P

14 14 UczenieUczenie Warunek stabilności korzystając z reguły Hebba: Wystarczy zażądać by: Dla wielu wzorców korzystamy z reguły Hebba uśredniając:

15 15 Uczenie cd. Warunek stabilności prowadzi do wydzielenia przesłuchu: Jeśli korelacja pomiędzy wzorcami jest słaba to zbieżność. Lepsze rezultaty: metoda pseudoinwersji:

16 16 Pojemność modelu H Odwracania macierzy V można uniknąć iteracyjną metodą rzutowania: 2 N możliwych stanów sieci binarnej złożonej z N neuronów. Zbyt wiele wzorców chaos, zapominanie. L. poprawnie pamiętanych wzorców: dla p. błędów 0.37% wynosi /N= Około 7 neuronów/N-bitowy wzorzec lub 7 połączeń/bit. W praktyce gorzej, ale różnie dla różnych algorytmów! Liczba dobrze pamiętanych wzorców = f( ) 2 N możliwych stanów sieci binarnej złożonej z N neuronów. Zbyt wiele wzorców chaos, zapominanie. L. poprawnie pamiętanych wzorców: dla p. błędów 0.37% wynosi /N= Około 7 neuronów/N-bitowy wzorzec lub 7 połączeń/bit. W praktyce gorzej, ale różnie dla różnych algorytmów! Liczba dobrze pamiętanych wzorców = f( )

17 17 Diagramy fazowe Dla = p wzorców /N i różnych temperatur

18 18 Sprytna modyfikacja Co zrobić jeśli wzorce b. duże, np. dla obrazów N 10 6 ? Faktoryzacja macierzy wag W na m

19 19 Realizacja sprzętowa

20 20 Równania - sprzętowo Prosta realizacja sprzętowa, elektroniczna lub optyczna. W stanie stacjonarnym wejście=wyjście. Równania na sygnały wejściowe: Prosta realizacja sprzętowa, elektroniczna lub optyczna. W stanie stacjonarnym wejście=wyjście. Równania na sygnały wejściowe: U i - napięcie wejściowe i-tego wzmacniacza V i - napięcie wyjściowe i-tego wzmacniacza C- pojemność wejściowa I i - zewnętrzny prąd i-tego wzmacniacza U i - napięcie wejściowe i-tego wzmacniacza V i - napięcie wyjściowe i-tego wzmacniacza C- pojemność wejściowa I i - zewnętrzny prąd i-tego wzmacniacza

21 21 CAM, pamięć adresowalna kontekstowo Sieć Hopfielda może służyć jako pamięć adresowalna kontekstowo. Fragment epizodu pozwala odtworzyć całość. Sieć Hopfielda może służyć jako pamięć adresowalna kontekstowo. Fragment epizodu pozwala odtworzyć całość. Dla ortogonalnych prototypów i idealnej zgodności: Zbiór wzorców {P i }, i=1..m Funkcja kosztu: korelacja wzorców z osiąganymi minimami: Energia używając reg. Hebba

22 22 OptymalizacjaOptymalizacja Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. Funkcja kosztów: min. droga + 1 w wierszu + 1 w kolumnie Macierz n i i=1,2..N, nr. miasta - kolejność Jak dobrać W?

23 23 Dobór wag Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. + 1 w wierszu Odległość N miast + 1 w kolumnie

24 24 Spełnianie ograniczeń Rozwiązania mogą nie spełniać ograniczeń, obliczanie odbywa się wewnątrz hiperkostki, ma końcu osiągany jest stan poprawny. Metody optymalizacji - operacje dyskretne, zawsze poprawne. Zagadnienia wymagające spełniania ograniczeń i optymalizacji: Problem N królowych: umieścić je na szachownicy NxN tak, by się nie szachowały. Problem ustawienia skoczków, problem plecakowy... Problem rutowania pakietów w sieciach pakietowych. Dobór funkcji kosztu, metody minimalizacji - intensywnie badane. Metody wyspecjalizowane radzą sobie lepiej ale wyrafinowane wersje metod pola średniego dają doskonałe rezultaty. Porównanie metod SA bez i z modelem Hopfielda? Rozwiązania mogą nie spełniać ograniczeń, obliczanie odbywa się wewnątrz hiperkostki, ma końcu osiągany jest stan poprawny. Metody optymalizacji - operacje dyskretne, zawsze poprawne. Zagadnienia wymagające spełniania ograniczeń i optymalizacji: Problem N królowych: umieścić je na szachownicy NxN tak, by się nie szachowały. Problem ustawienia skoczków, problem plecakowy... Problem rutowania pakietów w sieciach pakietowych. Dobór funkcji kosztu, metody minimalizacji - intensywnie badane. Metody wyspecjalizowane radzą sobie lepiej ale wyrafinowane wersje metod pola średniego dają doskonałe rezultaty. Porównanie metod SA bez i z modelem Hopfielda?

25 25 Model Hopfielda i percepcja Interpretacja sygnałów dochodzących do mózgu nie jest jednoznaczna. Interpretacja musi spełniać ograniczenia: Interpretacja sygnałów dochodzących do mózgu nie jest jednoznaczna. Interpretacja musi spełniać ograniczenia: KOT Tylko jedna litera na danej pozycji. Obecność danej litery aktywizuje rozpoznanie słowa. Cecha na danej pozycji aktywizuje rozpoznanie litery. Tylko jedna litera na danej pozycji. Obecność danej litery aktywizuje rozpoznanie słowa. Cecha na danej pozycji aktywizuje rozpoznanie litery.

26 26 3 słowa K..Ą...A...T..P KATKATKĄTKAP

27 27 Faza snu Sen może być okresem, w którym mózg prowadzi optymalizację zużycia swoich zasobów, utrwalając pewne zdarzenia/fakty i usuwając z pamięci pozostałe. W modelu CAM Hopfielda szybkość ostatnio poznane są szybciej przypominane. Wzorce odpowiadające fałszywym minimom można wyeliminować pokazując antywzorce, związane z fałszywymi, płytkimi minimami. Przypadkowe błądzenie wśród zniekształconych wzorców - sen? Niektóre neurochipy do prawidłowej pracy muszą działać przez pewien czas bez żadnych sygnałów wejściowych - okres kalibracji. Sen może być okresem, w którym mózg prowadzi optymalizację zużycia swoich zasobów, utrwalając pewne zdarzenia/fakty i usuwając z pamięci pozostałe. W modelu CAM Hopfielda szybkość ostatnio poznane są szybciej przypominane. Wzorce odpowiadające fałszywym minimom można wyeliminować pokazując antywzorce, związane z fałszywymi, płytkimi minimami. Przypadkowe błądzenie wśród zniekształconych wzorców - sen? Niektóre neurochipy do prawidłowej pracy muszą działać przez pewien czas bez żadnych sygnałów wejściowych - okres kalibracji.

28 28 Zaburzenia pamięci Są eksperymentalne dowody na to, że za pamięć biologiczną odpowiedzialne są sieci atraktorowe. Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps. Jak wpłynie taka utrata na pojemność pamięci? Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza? Są eksperymentalne dowody na to, że za pamięć biologiczną odpowiedzialne są sieci atraktorowe. Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps. Jak wpłynie taka utrata na pojemność pamięci? Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza? d - stopień uszkodzenia k=k(d) funkcja kompensacji d - stopień uszkodzenia k=k(d) funkcja kompensacji Silne synapsy ulegają dalszemu wzmocnieniu. Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci. Silne synapsy ulegają dalszemu wzmocnieniu. Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci.

29 29 KompensacjaKompensacja

30 30 Model amnezji Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest więc w synapasch. Układ neuromodulacji reguluje plastyczność hipokampa i kory. Pamięć średnioterminowa zapisana jest w sieciach hipokampa.

31 31 Powstawanie trwałej pamięci

32 32 Amnezja wsteczna Główna przyczyna: utrata łączy do kory. Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane. Główna przyczyna: utrata łączy do kory. Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane.

33 33 Amnezja następcza Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą. Objawy: Brak możliwości zapamiętania nowych faktów. Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą. Objawy: Brak możliwości zapamiętania nowych faktów.

34 34 Amnezja semantyczna Główna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania.

35 35 Co dalej? Maszyna Boltzmana i sieci stochastyczne Samoorganizacja Klasteryzacja Wizualizacja Czyli modele Kohonena.

36 Koniec wykładu 12 Dobranoc !


Pobierz ppt "Inteligencja Obliczeniowa Sieci dynamiczne. Wykład 14 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch Wykład 14 Włodzisław Duch Uniwersytet."

Podobne prezentacje


Reklamy Google