Uniwersytet Mikołaja Kopernika

Slides:



Advertisements
Podobne prezentacje
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Advertisements

Inteligencja Obliczeniowa Sieci dynamiczne.
Sieci Hopfielda.
Temat 2: Podstawy programowania Algorytmy – 1 z 2 _________________________________________________________________________________________________________________.
Proces doboru próby. Badana populacja – (zbiorowość generalna, populacja generalna) ogół rzeczywistych jednostek, o których chcemy uzyskać informacje.
© IEn Gdańsk 2011 Technika fazorów synchronicznych Łukasz Kajda Instytut Energetyki Oddział Gdańsk Zakład OGA Gdańsk r.
Równowaga chemiczna - odwracalność reakcji chemicznych
EFEKT FOTOELEKTRYCZNY ZEWNĘTRZNY I WEWNĘTRZNY KRZYSZTOF DŁUGOSZ KRAKÓW,
1 Dr Galina Cariowa. 2 Legenda Iteracyjne układy kombinacyjne Sumatory binarne Sumatory - substraktory binarne Funkcje i układy arytmetyczne Układy mnożące.
Plan Czym się zajmiemy: 1.Bilans przepływów międzygałęziowych 2.Model Leontiefa.
Tworzenie odwołania zewnętrznego (łącza) do zakresu komórek w innym skoroszycie Możliwości efektywnego stosowania odwołań zewnętrznych Odwołania zewnętrzne.
Choroby związane ze złym odżywianiem.. Jakie są choroby związane ze złym odżywianiem się ?
GRUPY I ZESPOŁY © dr E.Kuczmera-Ludwiczyńska, mgr D.Ludwiczyński.
Mechanika płynów. Prawo Pascala (dla cieczy nieściśliwej) ( ) Blaise Pascal Ciśnienie wywierane na ciecz rozchodzi się jednakowo we wszystkich.
Rozliczanie kosztów działalności pomocniczej
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania 1 Metody optymalizacji - Energetyka 2015/2016 Metody programowania liniowego.
Excel 2007 dla średniozaawansowanych zajęcia z dnia
Elementy akustyki Dźwięk – mechaniczna fala podłużna rozchodząca się w cieczach, ciałach stałych i gazach zakres słyszalny 20 Hz – Hz do 20 Hz –
Ćwiczenia Zarządzanie Ryzykiem Renata Karkowska, ćwiczenia „Zarządzanie ryzykiem” 1.
Cel analizy statystycznej. „Człowiek –najlepsza inwestycja”
Przemiany energii w ruchu harmonicznym. Rezonans mechaniczny Wyk. Agata Niezgoda Projekt współfinansowany przez Unię Europejską w ramach Europejskiego.
Tydzień zdrowia i bezpieczeństwa pracy pod hasłem „Dźwigaj mniej” Październik 2007.
EWALUACJA PROJEKTU WSPÓŁFINANSOWANEGO ZE ŚRODKÓW UNII EUROPEJSKIE J „Wyrównywanie dysproporcji w dostępie do przedszkoli dzieci z terenów wiejskich, w.
OPTYMALNY CEL I PODSTAWY ROZWOJU SZKOŁY. PRZEDE WSZYSTKIM DZISIEJSZA SZKOŁA POWINNA PRZYGOTOWYWAĆ DO ŻYCIA W DRUGIEJ POŁOWIE XXI WIEKU.
Jak sobie z nim radzić ?.
Algorytmy Informatyka Zakres rozszerzony
1 Organizacje a kontrakt psychologiczny We współczesnym świecie człowiek otoczony jest szeregiem kontraktowych zobowiązań. To pewien rodzaj powiązań, zależności,
Zjawisko fotoelektryczne zewnętrzne i wewnętrzne
Założenia psychologii kognitywnej (poznawczej) jako innowacyjna forma pracy z uczniem realizowana w Zespole Szkół w Gębicach.
Analiza spektralna. Laser i jego zastosowanie.
Teoria masowej obsługi Michał Suchanek Katedra Ekonomiki i Funkcjonowania Przedsiębiorstw Transportowych.
Sieci dynamiczne Sieci Neuronowe Wykład 16 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch.
Czym jest gramofon DJ-ski?. Gramofon DJ-ski posiada suwak Pitch służący do płynnego przyspieszania bądź zwalniania obrotów talerza, na którym umieszcza.
Wieloaspektowa analiza czasowo- kosztowa projektów ze szczególnym uwzględnieniem kryterium jakości rozwiązań projektowych AUTOR: ANNA MARCINKOWSKA PROMOTOR:
Własności elektryczne materii
NAJCZĘSTSZYCH CHORÓB UKŁADU KRĄŻENA 5. Nadciśnienie tętnicze.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Perceptrony proste nieliniowe i wielowarstwowe © Kazimierz Duzinkiewicz, dr hab.
Zapotrzebowanie szpitali publicznych na środki finansowe w odniesieniu do zadłużenia sektora ochrony zdrowia - Raport Electus Forum Rynku Zdrowia Warszawa,
Renata Maciaszczyk Kamila Kutarba. Teoria gier a ekonomia: problem duopolu  Dupol- stan w którym dwaj producenci kontrolują łącznie cały rynek jakiegoś.
Formalnie: Pamięci asocjacyjne Dorota Cendrowska nieformalnie: (???) To miasto było na ‘K’... Na pewno na ‘K’! (???) Mam! To było Świnoujście...
Budżetowanie kapitałowe cz. III. NIEPEWNOŚĆ senesu lago NIEPEWNOŚĆ NIEMIERZALNA senesu strice RYZYKO (niepewność mierzalna)
Mikroprocesory.
STEROWANIE RUCHEM METODĄ OKNA – SIEĆ PAKIETOWA
Minimalizacja automatu
Zasady transmisji w sieciach TCP/IP
Schematy blokowe.
Od neuronow do populacji
mutacyjnego algorytmu ewolucyjnego
System wspomagania decyzji DSS do wyznaczania matematycznego modelu zmiennej nieobserwowalnej dr inż. Tomasz Janiczek.
formalnie: Sieci jednokierunkowe: architektura, uczenie, zastosowania
Sześciolatek w obliczu zmian
„Prawa Ceteris Paribus i socjo-ekonomiczne mechanizmy”
Podstawy automatyki I Wykład /2016
Podstawy Teorii Sygnałów (PTS) Wprowadzenie
Sieci o zmiennej strukturze
Git - system kontroli wersji
BADANIA ZUZYCIA BOCZNEGO SZYN W ROZJAZDACH KOLEJOWYCH
Katedra Informatyki Stosowanej UMK
Sterowanie procesami ciągłymi
Zaskakujące decyzje Lista symptomów i chorób: C (częsta), R (Rzadka),
Szybkość-zdolność do wykonywania ruchów w najkrótszych odcinkach czasu
Implementacja rekurencji w języku Haskell
Doskonalenie rachunku pamięciowego u uczniów
Wykład 10 Neuropsychologia komputerowa
Prawa ruchu ośrodków ciągłych c. d.
Program na dziś Wprowadzenie Logika prezentacji i artykułu
WYBRANE ZAGADNIENIA PROBABILISTYKI
Autor: Magdalena Linowiecka
dr Robert Kowalczyk, PWSZ Płock
Zapis prezentacji:

Uniwersytet Mikołaja Kopernika Sieci dynamiczne Sieci Neuronowe Wykład 10 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Co było MLP w różnych wersjach Głębokie uczenie (c) 1999. Tralvex Yeap. All Rights Reserved

Co będzie Sieci dynamiczne: sprzężenia zwrotne Model Hopfielda Modele pamięci asocjacyjnej (c) 1999. Tralvex Yeap. All Rights Reserved

Sieci dynamiczne W układach biologicznych neurony mają silne sprzężenia zwrotne. Dotychczas tylko model BAM wykorzystywał sprzężenia zwrotne. Najprostsze modele sieci z rekurencją: sieci Hopfielda, sieci uczone regułą Hebba, sieć Hamminga. Modele złożone: RTRN - Real Time Recurrent Network, przetwarzająca sygnały w czasie rzeczywistym; sieć Elmana i inne o uproszczonej strukturze rekurencji RCC - Recurrent Cascade Correlation LSTM, Long Short Term Memory (c) 1999. Tralvex Yeap. All Rights Reserved

Reguła Hebba “Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.” D. O. Hebb, 1949 (c) 1999. Tralvex Yeap. All Rights Reserved

Model Hopfielda John Hopfield (1982, 1984), model pamięci autoasocjacyjnej. Założenia: Wszystkie neurony są ze sobą połączone (fully connected network) z wagami synaps Wij. Macierz wag połączeń jest symetryczna, Wi,i=0, Wij = Wji. Symetria jest wygodna z teoretycznego p. widzenia, pozwala wprowadzić f. energii; jest nierealistyczna z biologicznego p. widzenia.   Dyskretny stan neuronu - potencjał Vi = ±1 = sgn (I(V)) W późniejszych modelach stany rzeczywiste. (c) 1999. Tralvex Yeap. All Rights Reserved

Model Hopfielda - dynamika Wektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście. Dynamika (iteracje) => sieć Hopfielda osiąga stany stacjonarne = odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja). t - czas dyskretny (numer iteracji). Stany stacjonarne = atraktory punktowe. (c) 1999. Tralvex Yeap. All Rights Reserved

Minimalizacja energii Dla sieci o symetrycznych wagach taka dynamika prowadzi do minimalizacji funkcji typu energii, a więc do atraktorów punktowych. W teorii układów dynamicznych - funkcji Lapunova, w fizyce statystycznej funkcji Hamiltona, w teorii optymalizacji funkcji celu lub kosztu, w obliczeniach ewolucyjnych funkcji przystosowania ... Zmiana energii w czasie iteracji jest 0 Jeśli Ii  0 to Vi nie może zmaleć, więc energia zmaleje; Jeśli Ii < 0 to D Vi < 0, energia również zmaleje. (c) 1999. Tralvex Yeap. All Rights Reserved

Atraktory Dynamika: ruch po hiperpowierzchni energii, zależnej od potencjałów neuronów, aż do osiągnięcia lokalnego minimum na takiej powierzchni. Jeśli Vi dyskretne to ruch po rogach hipersześcianu. (c) 1999. Tralvex Yeap. All Rights Reserved

3 neurony (c) 1999. Tralvex Yeap. All Rights Reserved

Stopniowe studzenie Atraktory punktowe - tylko dla symetrycznych połączeń. Stany stabilne: minima lokalne E(W) odpowiadające pamiętanym wzorcom Vi - pamięć asocjacyjna. Prawdopodobieństwo aktywacji: sigmoidalne. W wysokiej T przypadkowe błądzenie, stopniowe studzenie pozwala unikać płytkich minimów lokalnych. Duża aktywacja i niska temperatura prawie na pewno da Vi=1 (c) 1999. Tralvex Yeap. All Rights Reserved

S.A. - wykres E (c) 1999. Tralvex Yeap. All Rights Reserved

S.A. - wykres P (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie Wystarczy zażądać by: Warunek stabilności korzystając z reguły Hebba: Wystarczy zażądać by: Dla wielu wzorców korzystamy z reguły Hebba uśredniając: (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie cd. Warunek stabilności prowadzi do wydzielenia przesłuchu: Jeśli korelacja pomiędzy wzorcami jest słaba to zbieżność. Lepsze rezultaty: metoda pseudoinwersji: (c) 1999. Tralvex Yeap. All Rights Reserved

Pojemność modelu H Odwracania macierzy V można uniknąć iteracyjną metodą rzutowania: 2N możliwych stanów sieci binarnej złożonej z N neuronów. Zbyt wiele wzorców Þ chaos, zapominanie. L. poprawnie pamiętanych wzorców: dla p. błędów 0.37% wynosi a/N= 0.138 Około 7 neuronów/N-bitowy wzorzec lub 7 połączeń/bit. W praktyce gorzej, ale różnie dla różnych algorytmów! Liczba dobrze pamiętanych wzorców = f(e) (c) 1999. Tralvex Yeap. All Rights Reserved

Diagramy fazowe Dla a = pwzorców/N i różnych temperatur (c) 1999. Tralvex Yeap. All Rights Reserved

Sprytna modyfikacja Co zrobić jeśli wzorce b. duże, np. dla obrazów N106 ? Faktoryzacja macierzy wag W na m<N wektorów własnych S S - macierze N x m Ortogonalizacja nowego wektora Zamiast mnożenia wag przez wektory O(N2) wystarczy 2Nxm. Szybka zbieżność dla dużych rozmiarów. Jeśli f=I to warunek stabilności oznacza, że V to wektory własne. (c) 1999. Tralvex Yeap. All Rights Reserved

Realizacja sprzętowa (c) 1999. Tralvex Yeap. All Rights Reserved

Równania - sprzętowo Prosta realizacja sprzętowa, elektroniczna lub optyczna. W stanie stacjonarnym wejście=wyjście. Równania na sygnały wejściowe: Ui - napięcie wejściowe i-tego wzmacniacza Vi - napięcie wyjściowe i-tego wzmacniacza C - pojemność wejściowa Ii - zewnętrzny prąd i-tego wzmacniacza (c) 1999. Tralvex Yeap. All Rights Reserved

CAM, pamięć adresowalna kontekstowo Sieć Hopfielda może służyć jako pamięć adresowalna kontekstowo. Fragment epizodu pozwala odtworzyć całość. Zbiór wzorców {Pi}, i=1..m Funkcja kosztu: korelacja wzorców z osiąganymi minimami: Dla ortogonalnych prototypów i idealnej zgodności: Energia używając reg. Hebba (c) 1999. Tralvex Yeap. All Rights Reserved

Optymalizacja Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. Macierz nia i=1,2..N, nr. miasta a - kolejność Funkcja kosztów: min. droga + 1 w wierszu + 1 w kolumnie Jak dobrać W? (c) 1999. Tralvex Yeap. All Rights Reserved

Dobór wag Zagadnienia NP-trudne: jak zastosować sieć Hopfielda? Przykład: najkrótsza droga pomiędzy N miastami. Odległość + 1 w wierszu + 1 w kolumnie N miast (c) 1999. Tralvex Yeap. All Rights Reserved

Spełnianie ograniczeń Rozwiązania mogą nie spełniać ograniczeń, obliczanie odbywa się wewnątrz hiperkostki, ma końcu osiągany jest stan poprawny. Metody optymalizacji - operacje dyskretne, zawsze poprawne. Zagadnienia wymagające spełniania ograniczeń i optymalizacji: Problem N królowych: umieścić je na szachownicy NxN tak, by się nie szachowały. Problem ustawienia skoczków, problem plecakowy ... Problem rutowania pakietów w sieciach pakietowych. Dobór funkcji kosztu, metody minimalizacji - intensywnie badane. Metody wyspecjalizowane radzą sobie lepiej ale wyrafinowane wersje metod pola średniego dają doskonałe rezultaty. Książka: J. Mandziuk, Sieci neuronowe typu Hopfielda. Teoria i przykłady zastosowań. Exit 2000. (c) 1999. Tralvex Yeap. All Rights Reserved

Model Hopfielda i percepcja Interpretacja sygnałów dochodzących do mózgu nie jest jednoznaczna. Interpretacja musi spełniać ograniczenia: Tylko jedna litera na danej pozycji. Obecność danej litery aktywizuje rozpoznanie słowa. Cecha na danej pozycji aktywizuje rozpoznanie litery. KOT (c) 1999. Tralvex Yeap. All Rights Reserved

3 słowa K.. Ą.. .A. ..T ..P KAT KĄT KAP (c) 1999. Tralvex Yeap. All Rights Reserved

Faza snu Sen może być okresem, w którym mózg prowadzi optymalizację zużycia swoich zasobów, utrwalając pewne zdarzenia/fakty i usuwając z pamięci pozostałe. W modelu CAM Hopfielda szybkość ostatnio poznane są szybciej przypominane. Wzorce odpowiadające fałszywym minimom można wyeliminować pokazując antywzorce, związane z fałszywymi, płytkimi minimami. Przypadkowe błądzenie wśród zniekształconych wzorców - sen? Niektóre neurochipy do prawidłowej pracy muszą działać przez pewien czas bez żadnych sygnałów wejściowych - okres kalibracji. (c) 1999. Tralvex Yeap. All Rights Reserved

Zaburzenia pamięci Są eksperymentalne dowody na to, że za pamięć biologiczną odpowiedzialne są sieci atraktorowe. Degeneracja pamięci, np. w chorobie Alzheimera, może być związana z utratą słabych synaps. Jak wpłynie taka utrata na pojemność pamięci? Kompensacja - pozostałe synapsy mogą się zaadoptować do nowej sytuacji. Jaka kompensacja jest najlepsza? d - stopień uszkodzenia k=k(d) funkcja kompensacji Silne synapsy ulegają dalszemu wzmocnieniu. Samo d nie świadczy jeszcze o stopniu uszkodzenia pamięci. (c) 1999. Tralvex Yeap. All Rights Reserved

Kompensacja (c) 1999. Tralvex Yeap. All Rights Reserved

Model amnezji Układ neuromodulacji reguluje plastyczność hipokampa i kory. Pamięć średnioterminowa zapisana jest w sieciach hipokampa. Pamięć trwała jest rezultatem stanów atraktorowych minikolumn kory mózgu, zapisana jest więc w synapasch. (c) 1999. Tralvex Yeap. All Rights Reserved

Powstawanie trwałej pamięci (c) 1999. Tralvex Yeap. All Rights Reserved

Amnezja wsteczna Główna przyczyna: utrata łączy do kory. Objawy: gradienty Ribota czyli im starsze wspomnienia tym lepiej pamiętane. (c) 1999. Tralvex Yeap. All Rights Reserved

Amnezja następcza Główna przyczyna: uszkodzenie systemu neuromodulacji. Wtórnie: utrata łączy z korą. Objawy: Brak możliwości zapamiętania nowych faktów. (c) 1999. Tralvex Yeap. All Rights Reserved

Amnezja semantyczna Główna przyczyna: uszkodzenie łączy wewnątrzkorowych. Objawy: Trudności w znajdowaniu słów, rozumieniu, zapamiętanie nowych faktów wymaga ciągłego powtarzania. (c) 1999. Tralvex Yeap. All Rights Reserved

Model Leabra (Emergent) Leabra = Learning in an Error-driven and Associative, Biologically Realistic Algorithm. Architektura kognitywna, pozwalająca na symulację złożonych funkcji psychologicznych. Opiera się na 6 zasadach. 1. Model punktowego neuronu: całkuj i strzelaj (integrate & fire). 2. kWTA, czyli k zwycięzców bierze wszystko (hamowanie/konkurencja). 3. Rzadkie rozproszone reprezentacje. 4. Wiele warstw transformujących 5. Sprzężenia zwrotne 6. Uczenie korelacyjne (Hebbowskie) i oparte na korekcji błędów. (c) 1999. Tralvex Yeap. All Rights Reserved

Neurobiologiczne symulacje Książka on-line: Randall C. O'Reilly and Yuko Munakata, Computational Explorations in Cognitive Neuroscience. Understanding the Mind by Simulating the Brain. MIT Press. Przykłady wykorzystania symulatora Emergent są w moim wykładzie: Neuropsychologia komputerowa: http://www.is.umk.pl/~duch/Wyklady/Npsych_plan.html Tutoriale (symulacje) do kolejnych rozdziałów książki. Porównanie symulatorów sieci neuronowych. The Virtual Brain – model populacyjny całego mózgu! LSTM tutorial

Systemy neuromorficzne Source: DARPA Synapse, projekt koordynowany przez IBM (2008)

Neuromorficzne komputery Projekt Synapse 2015: IBM TrueNorth 1 chip ok 5.4 mld tranzystorów, ~1 mln neuronów i 1/4 mld synaps, 70 mW! NS16e module = 16 chipów ~16 mln neuronów, 4 mld synaps, potrzebuje ok 1.1 wata. Skalowanie: 256 modułów NS16e to ~4 mld neuronów, ok. 1 bld = 1012 synaps, < 300 Wat. To ~1/20 ludzkiego mózgu … IBM Neuromorphic System może osiągnąć złożoność ludzkiego mózgu. IBM Synaptic University – czyli jak to programować? Intel Lohti neuromorphic chip – przyszłość?

Koniec wykładu 10 (c) 1999. Tralvex Yeap. All Rights Reserved

Neurodynamika Spoczynkowa aktywność neuronów (1-5 impulsów/sek) Ok. 10.000 impulsów/sek dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Model Amit, Brunel 1995 Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Impulsy wysyłane przez różne neurony nie są skorelowane. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Wystarczy aktywność neuronu = liczbie impulsów na sekundę. (c) 1999. Tralvex Yeap. All Rights Reserved

Schemat kolumny Ogólny schemat sieci: model kolumny, 105 neuronów. Kolumna ma około 1 mm2, 105 neuronów. Połączenia: pobudzające i hamujące wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe). 50-80% impulsów z lokalnych obwodów pobudzających. Około 20% jednostek hamujących; C » 20.000 synaps/neuron; (c) 1999. Tralvex Yeap. All Rights Reserved

Struktura sieci Sieć złożona z lokalnych modułów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Aktywność spoczynkowa rośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona. 50-80% impulsów z lokalnych obwodów pobudzających o modyfikowalnych synapsach. Depolaryzacja membrany V(t) o t10ms opisana jest równaniem: (c) 1999. Tralvex Yeap. All Rights Reserved

Działanie modelu Symulacja modułu z 2000 neuronów: spontaniczna aktywność jest stabilna w czasie lokalnego uczenia się, moduł uczący się ma podwyższoną częstość impulsacji wśród neuronów biorących udział w kodowaniu wzorca i obniżoną wśród pozostałych. Podwyższenie średniej częstości impulsacji przy prezentacji wzorców zapowiada pojawienie się nowego atraktora: pojawia się bifurkacja i dwa rozwiązania stabilne: spontaniczna aktywność + atraktor lokalny. Dobra zgodność z obserwacjami neurofizjologicznymi, opartymi na pomiarach aktywności neuronów małp w czasie wykonywania zadań wymagających aktywnej pamięci pokazywanego przez krótki czas bodźca (delayed match-to-sample). Podwyższona aktywność spontaniczna widoczna w trakcie uczenia, po nauczeniu widać aktywność związana z lokalnymi atraktorami. (c) 1999. Tralvex Yeap. All Rights Reserved