Learnmatrix, Adaline, Madaline i modele liniowe

Slides:



Advertisements
Podobne prezentacje
OBLICZENIA NUMERYCZNE
Advertisements

Sieć jednokierunkowa wielowarstwowa
Mechanizm wnioskowania rozmytego
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Inteligencja Obliczeniowa Binarne modele pamięci skojarzeniowych
Inteligencja Obliczeniowa Sieci RBF.
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Samoorganizacja: uczenie bez nadzoru.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
Inteligencja Obliczeniowa Perceptrony
Inteligencja Obliczeniowa Feature Space Mapping.
Sieci neuronowe - architektury i zastosowania
Sztuczne sieci neuronowe
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Perceptrony proste liniowe - Adaline
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania.
Mirosław ŚWIERCZ Politechnika Białostocka, Wydział Elektryczny
Sieci Hopfielda.
Sieci neuronowe jednokierunkowe wielowarstwowe
Sztuczne sieci neuronowe (SSN)
LEKCJA 2 URZĄDZENIA SIECIOWE
Klasyfikacja dokumentów za pomocą sieci radialnych
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Systemy wspomagania decyzji
formalnie: Uczenie nienadzorowane
Wspomaganie decyzji nie zwalnia od decyzji...
Uczenie w Sieciach Rekurencyjnych
Systemy wspomagania decyzji
Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.
Perceptrony proste liniowe - Adaline
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
VI EKSPLORACJA DANYCH Zadania eksploracji danych: klasyfikacja
Ćwiczenia 8 Aproksymacja funkcji
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody Sztucznej Inteligencji – technologie rozmyte i neuronowe Sieci jednowarstwowe - perceptrony proste progowe  Dr hab. inż. Kazimierz Duzinkiewicz,
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
Narzędzia AI Dominik Ślęzak, Pokój Wykład dostępny na:
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Perceptrony proste nieliniowe i wielowarstwowe © Kazimierz Duzinkiewicz, dr hab.
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Binarne modele pamięci skojarzeniowych
Systemy neuronowo – rozmyte
Samoorganizacja: uczenie bez nadzoru
Kognitywne właściwości sieci neuronowych
Perceptrony o dużym marginesie błędu
Katedra Informatyki Stosowanej UMK
Metody sztucznej inteligencji
Włodzisław Duch Katedra Informatyki Stosowanej,
Inteligencja Obliczeniowa Binarne modele pamięci skojarzeniowych
Katedra Informatyki Stosowanej UMK
Teoria sterowania Materiał wykładowy /2017
Sieci o zmiennej strukturze
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Inteligencja Obliczeniowa Perceptrony
Katedra Informatyki Stosowanej UMK
Samoorganizacja: uczenie bez nadzoru
Inteligencja Obliczeniowa Sieci RBF.
Perceptrony wielowarstwowe, wsteczna propagacja błędów
Zapis prezentacji:

Learnmatrix, Adaline, Madaline i modele liniowe Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Co było SOM - samoorganizacja. Uczenie konkurencyjne Ujęcie probabilistyczne (c) 1999. Tralvex Yeap. All Rights Reserved

Co będzie Sieć Hamminga – prototypy. Learnmatrix. Adaline. Madaline. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć prototypów (Hamminga) Zadanie: dla wektora X znaleźć najbardziej podobny prototyp Xp i odpowiadający mu wektor Yp Zapamiętaj prototypy (Xp, Yp), Niech Xp =(bp1, bp2, ... bpn), bpi= ±1, wektory Yp dowolne. Warstwa ukryta sieci Hamminga działa w trybie WTA (Winner Takes All) – tylko najaktywniejszy węzeł c pozostaje aktywny i przesyła prototyp Yc do wyjścia. Decyzje podejmowane są na podstawie aktywności d(X,Xp) = -Si Xpi Xi Î [-n,+n] Sieć Hamminga = metoda najbliższego sąsiada 1-NN, wybiera prototyp, który ma najwięcej zgodnych bitów, czyli min ||X-Xp||. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć prototypów (Hamminga) 4 prototypy, 2-wym. wektory Y Niewiele realizacji sieciowych, łatwiej jest wyszukać najbliższego sąsiada lub największy iloczyn skalarny. Metody oparte na podobieństwie to szeroka dziedzina. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieć Hamminga - przykłady Ten model nie jest zbyt często stosowany. http://home.agh.edu.pl/~vlsi/AI/hamming_en/ http://neuron.eng.wayne.edu/Hamming/voting.html (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się Lernmatrix, Steinbuch (1961) pamięć asocjacyjna oparta na prototypach. model analogowy, potencjometry Wij Î [-1,+1]. Wejścia: kolumny ei Î [-1,+1], dane wejściowe; en+1 = 1 (stała wartość). Wiersze bi ={0,1}, po jednym da każdej z m klas. Realizacja funkcji liniowej: (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca – schemat (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się - teoria Określenie granic dla klasy: wybrać max. Zi (e) Oparte na odległości od najbliższego prototypu. Granice klas: hiperpowierzchnie klasyfikujące dla Zi(e)=Zk(e) dla wszystkich i > k. Wagi Wi dla klasy i określone są przez prototyp Wi = e* (np. średnia dla klasy) Win+1= -½ ||e*||2 (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się - teoria Dwa prototypy, W1=e1* oraz W2=e2* na granicy pomiędzy klasami Z1(e)=Z2(e) Granica jest więc prostą jednakowo oddaloną od obu prototypów. (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się - klasyfikacja Granice decyzji dla 4 prototypów. (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się - uczenie Jak znaleźć dobre prototypy? Uśrednianie po wektorach treningowych: zmiana wag dla prototypów: stara + krok w stronę nowej, np. po N krokach dla wzorca e(N+1) z klasy i zmieniamy wagi Można oczywiście użyć innych czynników stabilizujących uczenie. Macierze uczące działały współbieżnie już w latach 60. (c) 1999. Tralvex Yeap. All Rights Reserved

Macierz ucząca się – uczenie 2 Dipol macierzy uczących się - realizuje dowolne funkcje, binarna nieliniowość. Pierwsza macierz klasyfikuje, druga dostaje ...0001000... – wtedy jeden wiersz poddawany jest adaptacji i można dokonać aproksymacji funkcji kawałkami liniowej. Składanie funkcji z lokalnych kawałkami liniowych funkcji, czyli realizacja sprzętowa aproksymacji za pomocą funkcji sklejanych. (c) 1999. Tralvex Yeap. All Rights Reserved

Aproksymacja elementami liniowymi Neurony realizują funkcje liniowe. Sieć bez warstwy ukrytej potrafi zrealizować te same funkcje co sieć z liniowymi elementami w warstwach pośrednich! Jeśli mamy k warstw linowych to sygnał na wyjściu: X(k) = Wk X(k-1) = Wk Wk-1 X(k-2) = ... Wk Wk-1. W1 X(0) = W’ X(0); Wniosek: składanie funkcji liniowych nic nie daje, nieliniowości są niezbędne. (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline Widrow, Hoff (1960) układy analogowe, memistory. Adaline (Adaptive Linear Element, lub Adaptive Linear Neuron) – realizuje funkcję f(X)=sgn(XT W), prosta nieliniowość! Uczenie: na podstawie próbek (Xi,Yi) znajdź najlepsze parametry W by zminimalizować błąd średniokwadratowy. Dla elementu liniowego równanie XTW = Y. Rozwiązanie: macierz pseudoodwrotna, rozkład na wartości osobliwe (SDV, Singular Value Decomposition) Organizmy tak się nie uczą! Potrzebujemy rozwiązań on-line. Zasada najmniejszego zakłócania: poprawiaj małymi krokami po prezentacji każdej pary skojarzeń. (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline - schemat (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline w 2011 roku. (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline - geometria Jakich odwzorowań Adaline może się nauczyć? Dla 2 wejść: Z 16 odwzorowań logicznych 2 nie da się nauczyć tylko: f1 (1,1) = f1 (–1,–1)= 1; f1 (1,–1) = f1 (–1,1) = –1 f2 (1,1) = f2 (–1,–1)=–1; f2 (1,–1) = f2 (–1,1) = 1 (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline – liniowa separowalność. Jeśli Xi = ± 1, możliwych wektorów n-elementowych jest K=2n; a możliwych odwzorowań binarnych jest 2K . Dla n=2, K=4, 2K=16 Można je przedstawić symbolicznie pokazując wartości +/- lub cz/białe, dla każdej pary X=(±1,±1) Pierwsze f(x1,x2)=-1, ostatnie: f(x1,x2)=+1 (c) 1999. Tralvex Yeap. All Rights Reserved

Adaline – uczenie Dla dużego n prawie żadne odwzorowania nie są liniowo separowalne! Ile par skojarzeń (X,Y) może zapamiętać Adaline? n, bo dla n ortogonalnych wektorów Xi= (0...010...0) przyjmiemy Wi =Yi. Uczenie elementu liniowego: błąd dla prezentacji k-tej pary (Xk, Yk) Najprostsza reguła: zmniejszaj błąd Parametr uczenia <1 pozwala uniknąć popsucia skojarzeń dla poprzednich par. (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie elementu liniowego Chcemy uzyskać Y = W X dla par treningowych (X,Y). Dane napływają w sposób ciągły. Reguła uczenia typu delta wynika z minimalizacji metodą najmniejszych kwadratów (LMS, Least Mean Square): (c) 1999. Tralvex Yeap. All Rights Reserved

Madaline Madaline: sieci z wielu elementów Adaline. Realizacja za pomocą memistorów - w elektrolicie były elektrody z substancjami, które zależnie od kierunku prądu przenosiły się z jenej elektrody na drugą zmieniając przewodność. Teraz zastąpiony przez memrystor, prądowo sterowany opornik: http://pl.wikipedia.org/wiki/Memrystor 3 warstwy: wejście, przyjmuje dane; adaptujące się elementy (warstwa ukryta); wyjście - elementy logiczne, funkcja „większość”. Wiele hiperpłaszczyzn, rozwiązywały dowolne zagadnienie. Algorytm uczenia dla sieci wielowarstwowych nie był znany. (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Dynamiczne pamięci skojarzeniowe Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 9 (c) 1999. Tralvex Yeap. All Rights Reserved