Wykład 3 Neuropsychologia komputerowa

Slides:



Advertisements
Podobne prezentacje
Topology of the World Trade Web. Świat jako twór stawiający wysokie wymagania Świat staje się globalną wioską- global village Ogromne znaczenie handlu.
Advertisements

Sieć jednokierunkowa wielowarstwowa
Mechanizm wnioskowania rozmytego
SIECI NEURONOWE Sztuczne sieci neuronowe są to układy elektroniczne lub optyczne, złożone z jednostek przetwarzających, zwanych neuronami, połączonych.
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Wykład 2 Neuropsychologia komputerowa
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
SZTUCZNE SIECI NEURONOWE
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Inteligencja Obliczeniowa Binarne modele pamięci skojarzeniowych
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Samoorganizacja: uczenie bez nadzoru.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
Inteligencja Obliczeniowa Perceptrony
Wykład 10 Neuropsychologia komputerowa
Sztuczne sieci neuronowe
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Sztuczna Inteligencja Reprezentacja wiedzy II
Statystyka w doświadczalnictwie
Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Wykład 4 Neuropsychologia komputerowa
Wykład 15 Neuropsychologia komputerowa
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania.
Paweł Kramarski Seminarium Dyplomowe Magisterskie 2
Alfred Stach Instytut Paleogeografii i Geoekologii
Sieci Hopfielda.
Sztuczne sieci neuronowe (SSN)
Klasyfikacja dokumentów za pomocą sieci radialnych
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Systemy wspomagania decyzji
Sztuczne Sieci Neuronowe
Poznaj bliżej program Microsoft Office Word 2007
formalnie: Uczenie nienadzorowane
Wspomaganie decyzji nie zwalnia od decyzji...
Detekcja twarzy w obrazach cyfrowych
Uczenie w Sieciach Rekurencyjnych
Systemy wspomagania decyzji
Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.
Tytuł:Poradnik do programu PowerPoint?
Mózgi kobiet i mężczyzn
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Instytut Zarządzania – Państwowa Wyższa Szkoła Zawodowa
Jak narysować wykres korzystając z programu Excel?
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody Sztucznej Inteligencji – technologie rozmyte i neuronowe Sieci jednowarstwowe - perceptrony proste progowe  Dr hab. inż. Kazimierz Duzinkiewicz,
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
Od neuronow do populacji
SZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody Inteligencji Obliczeniowej Adrian Horzyk Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii.
Belief Nets Autor: inż. 2013r źródło tła:
Machine learning Lecture 6
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Systemy neuronowo – rozmyte
Kognitywne właściwości sieci neuronowych
Perceptrony o dużym marginesie błędu
Metody sztucznej inteligencji
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Inteligencja Obliczeniowa Perceptrony
Zapis prezentacji:

Wykład 3 Neuropsychologia komputerowa Sieci Neuronów Włodzisław Duch UMK Toruń Google: W Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Neurony i reguły Pojedyncze neurony pozwalają na detekcję elementarnych cech. Do czego można użyć modelu neuronu? Logika klasyczna: Jeśli A1 i A2 i A3 to Konkluzja Np. Jeśli Ból głowy i Ból mięśni i Katar to Grypa Logika progowa neuronów: Jeśli M z N warunków jest spełnionych to Konkluzja Warunki mogą mieć różne wagi; logikę klasyczną można łatwo zrealizować za pomocą neuronów progowych. Jest ciągłe przejście pomiędzy regułami i podobieństwem: dla kilku zmiennych przydatne są reguły, dla wielu podobieństwo. |W-A|2 = |W|2 + |A|2 - 2W.A = 2(1 - W.A), dla unormowanych X, A, więc silne pobudzenie = duże podobieństwo (mała odległość). (c) 1999. Tralvex Yeap. All Rights Reserved

Neurony i sieci Jakie własności ma sieć neuronów? Jak można wpłynąć na sieć neuronów, by robiła coś ciekawego? Biologia: sieci są w korze (neocortex) i strukturach podkorowych. neurony pobudzające i hamujące. Ogólnie pobudzenia mogą być: głównie w jednym kierunku – transformacja sygnałów; w obu kierunkach – dopełnianie brakującej informacji, uzgadnianie hipotez i wzmacnianie słabych sygnałów. Hamowanie: kontroluje wzajemne pobudzenia, konieczne by unikać dodatniego sprzężenia zwrotnego (padaczka). Całość umożliwia spełnianie wielorakich ograniczeń (constraint satisfaction), interpretacji nadchodzącej informacji w świetle wiedzy o jej znaczeniu, zakodowanej w strukturze sieci. (c) 1999. Tralvex Yeap. All Rights Reserved

Ogólna struktura sieci Czy kora ma jakieś własności ogólne czy też jej budowa zależy od funkcji: percepcyjnych, ruchowych, skojarzeniowych? Istnieje funkcjonalna specjalizacja kory, widoczne różnice różnych obszarów, stąd podział na pola Brodmana. Zachowany jest ogólny schemat: A neurony pobudzające – główny NT to kwas glutaminowy, otwiera kanały Na+, długie aksony, komunikacja wewnątrz i między grupami neuronów na mniejsze i większe odległości; około 85%, głównie komórki piramidowe, gwiaździste + ... B neurony hamujące – główny NT to GABA, otwiera kanały Cl-, interneurony, lokalne projekcje, regulacja poziomu pobudzenia; około 15%: koszyczkowe i kandelabrowe + ... Dendryty zużywają 95% energii, aksony tylko 5%, sieci dendrytyczne. (c) 1999. Tralvex Yeap. All Rights Reserved

Neurony pobudzające i hamujące Kwas glutaminowy otwiera kanały Na+, pobudzająco, GABA działa na kanały Cl- hamując pobudzanie. (c) 1999. Tralvex Yeap. All Rights Reserved

Struktura laminarna Kora ma grubość 2-4 mm, składa się z 6 warstw, o różnej grubości w różnych częściach mózgu. A - kora wzrokowa ma frubszą warstwę wejściową 4a-c; B - kora ciemieniowa ma grubsze warstwy ukryte 2 i 3; C - kora ruchowa ma grubsze warstwy wyjściowe 5-6; D – kora przedczołowa nie ma wyraźnie grubszych warstw. (c) 1999. Tralvex Yeap. All Rights Reserved

Połączenia warstw Podział funkcjonalny warstw: wejściowa warstwa 4, dopływ informacji z wzgórza, zmysłów; wyjściowe warstwy 5/6, ośrodki podkorowe, polecenia ruchowe; warstwy ukryte 2/3, przetwarzając informację lokalną i z odległych grup neuronów, dochodzącą przez aksony z warstwy 1. W każdej warstwie mamy lokalne połączenia zwrotne. Ukryte: wydobywają pewne cechy z sygnału, wzmacniają jedne a osłabiają inne; taka organizacja umożliwia realizację złożonych transformacji sygnału. Takiej organizacji wymaga też pamięć epizodyczna. (c) 1999. Tralvex Yeap. All Rights Reserved

Połączenia dokładniej 1) Warstwa wejściowa 4, wstępnie przetwarzana informacja zewnętrzna. 2) Warstwy ukryte 2/3, dalsze przetwarzanie, skojarzenia, mało we/wyj. 3) Warstwy wyjściowe 5/6, ośrodki podkorowe, polecenia ruchowe. (c) 1999. Tralvex Yeap. All Rights Reserved

Proste transformacje Połączenia jednokierunkowe są wyjątkami, ale taki model daje się uogólnić na sytuację ze sprzężeniami zwrotnymi. Przetwarzanie „od podstaw do góry” (bottom-up): kolektywnie neuronowe detektory dokonują transformacji, kategoryzacji wybranych sygnałów, odróżniając sygnały podobne od odmiennych. Detektory tworzą reprezentację informacji dochodzącej do warstwy ukrytej, osłabiając nieistotne różnice a wzmacniając istotne. Prosty przypadek: binarne wzorce cyfr na siatce 5x7 na wejściu. Wszystkie wzorce podobne do danej cyfry powinny pobudzać tą samą jednostkę ukrytą w siatce 5x2; tu mamy tylko jedną. (c) 1999. Tralvex Yeap. All Rights Reserved

Detektor cyfr - symulacja Uruchamiamy symulator Emergent. Ładujemy Transform.proj, ilustrujący uczenie się kategorii, czyli podkreślanie istotnych różnic i pomniejszanie nieistotnych. Sieć ma rozpoznawać cyfry. Okienko ...Digit_Network pokazuje strukturę sieci, tylko dwie warstwy, wejście i wyjście. Oglądanie wag połączonych z wybraną jednostką ukrytą: wybieramy r.wt w Digt_Network, a potem strzałką klikamy na daną jednostkę: wszystkie wagi są =1, dopasowane dokładnie do kwadratów dla cyfr. Widać act i net (ostatnia kolumna) czyli aktywacje i nieliniowe wyjście. (c) 1999. Tralvex Yeap. All Rights Reserved

Detektor cyfr - sieć Wagi wejściowe dla wybranej cyfry r.wt pokazuje wagi dla jednostek ukrytych, tu wszystkie 0 lub 1. Inne zmienne pokazują biasy, prądy, potencjały, aktywacje sieci (net input value) i inne parametry. (c) 1999. Tralvex Yeap. All Rights Reserved

Detektor cyfr - działanie r.wt => act (w Digit_network). W ControlPanel init, step, uruchamiając jeden krok, prezentację kolejnych cyfr. Stopień pobudzenia jednostek ukrytych dla wybranej cyfry jest duży (kolor żółty lub czerwony), dla pozostałych jest zero (kolor szary). Dobrze odróżnialne, np. 4, mają wyższe pobudzenia niż słabiej odróżnialne, np. 8 - 0. (c) 1999. Tralvex Yeap. All Rights Reserved

GridLog Jaka jest aktywność poszczególnych detektorów przy pojawieniu się jednego wzorca wejściowego? Widać to w okienku TrialOutputData, można je zamienić na większe okno. Dla każdego wzorca wszystkie jednostki pobudzają się do pewnego stopnia; widać tu dużą rolę progów, które pozwalają wybrać jednostkę właściwą; w ControlPanel możemy wyłączyć progi (biases_off) i zobaczyć, że niektóre cyfry nie są rozpoznawane. (c) 1999. Tralvex Yeap. All Rights Reserved

Okienko Digits W okienku Digits widać wszystkie wzorce, środowisko tu możemy je zmieniać, usuwać lub dodawać nowe. Dodanie bitu 1 do wzorca: kliknąć na kratkę; usunięcie bitu: shift+kliknięcie. Wybór w dolnym lewym rogu pokaże większe okienko z tym wzorcem. (c) 1999. Tralvex Yeap. All Rights Reserved

Podobieństwo wzorców Z okienka ControlPanel wybieramy cluster_data_src Digits. Klasteryzacja za pomocą dendrogramów obrazuje wzajemne podobieństwo wektorów, długość kreski d(A,B) = |A-B|. Hierarchiczna klasteryzacja wektorów reprezentujących wzorce wejściowe. Mocno podobne są cyfry 8 i 3: 13 identycznych bitów. Cyfry 4 i 0 mają tylko 4 wspólne bity. 0 i 8 wychodzi w tej klasteryzacji mocno różne; jest kilka rodzajów dendrogramów. Klasteryzacja wyjść dla danych zaszumionych pokaże ich podobieństwo. (c) 1999. Tralvex Yeap. All Rights Reserved

Podobieństwo zniekształconych wzorców Z okienka ControlPanel wybieramy teraz Noisy_digits Mamy wzorzec + po dwa zniekształcone, podobieństwo pokazują dendrogramy. Apply i Step obserwując w okienku Network, oglądamy act, pobudzenia ukrytych neuronów. Klasteryzacja output pokazuje identyczność. (c) 1999. Tralvex Yeap. All Rights Reserved

Kanały upływu (potasowe) Zmiana przewodności kanałów upływu wpływa na selektywność neuronów, dla mniejszej wartości ĝl odpowiedzi robią się stopniowe. W okienku ControlPanel zmniejszymy ĝl =6, do 5 i 4. Jest więcej skojarzeń  ale zmniejsza się precyzja. ĝl =6 ĝl = 5 ĝl = 4 (c) 1999. Tralvex Yeap. All Rights Reserved

Litery Sieć dla cyfr zastosujemy do liter ... jedynie S przypomina 8, pozostałe jednostki ukryte niczego nie rozpoznają. Detektory są wyspecjalizowane do określonych zadań! Nie rozpoznamy chińskich znaków jeśli znamy tylko koreański. Dendrogramy dla reprezentacji liter przed i po transformacji. Co będzie jeśli zmniejszymy przewodność kanału upływu? (c) 1999. Tralvex Yeap. All Rights Reserved

Lokalnie i rozproszone reprezentacje Sieć dla cyfr robiła bardzo prostą transformację, dopasowanie wzorców. Jeden neuron ukryty reprezentował jeden wzorzec, w czysto lokalny sposób; takie neurony nazywa się „komórkami babci” (grandmother cells). Rozproszone reprezentacje: wiele neuronów reaguje na jeden wzorzec, każdy neuron bierze udział w reakcji na wiele wzorców. http://www.brain.riken.go.jp/labs/cbms/tanaka.html - ładne demo. (c) 1999. Tralvex Yeap. All Rights Reserved

Rozproszone reprezentacje Wzorce mogą być reprezentowane w rozproszony sposób przez zbiór ich cech (feature-based coding). Cechy są obecne „w pewnym stopniu”. Ukryte neurony można interpretować jako stopień wykrycia danej cechy – tak robi się w logice rozmytej. Zalety rozproszonej reprezentacji (RR): Oszczędność: wzorce mogą być reprezentowane przez kombinacje aktywacji wielu jednostek; n lokalnych jednostek = 2n kombinacji. Podobieństwo: wzorce podobne mają zbliżone RR, częściowo się nakładające. Generalizacja: nowe wzorce będą aktywować różne RR dając zwykle aproksymację do sensownej odpowiedzi, między A i B. Odporność na uszkodzenia, redundancja systemu. Dokładność: RR ciągłych cech jest bardziej realistyczna niż skokowe aktywacje lokalne. Uczenie się: staje się łatwiejsze dla ciągłych łagodnych zmian w RR. (c) 1999. Tralvex Yeap. All Rights Reserved

Eksperyment z RR Projekt Ch3, Loc_dist.proj. Do reprezentacji cyfr używamy teraz 5 jednostek. Sieć reaguje na obecność pewnych cech, np. pierwszy neuron ukryty reaguje na dolną kreskę. Rozproszone reprezentacje mogą działać nawet na przypadkowo wybranych cechach: nowa RR = rzut wzorców wejściowych do jakiejś przestrzeni cech. Gridlog pokazuje rozkład aktywności net i wyjścia z sieci, pokazując stopień obecności danej cechy. Dendrogram wygląda całkiem inaczej niż dla lokalnej sieci. r.wt w DigitNetwork to pokaże. (c) 1999. Tralvex Yeap. All Rights Reserved

RR i zaszumione cyfry Dendrogram wygląda całkiem inaczej niż dla lokalnej sieci. Do klasyfikacji to nie wystarczy, potrzebna jest oczywiście kolejna warstwa ukryta, lub więcej detektorów cech w ukrytej warstwie, ale dendrogram pokazuje ogólne podobieństwa pomiędzy cyframi. (c) 1999. Tralvex Yeap. All Rights Reserved