Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Learnmatrix, Adaline, Madaline i modele liniowe Wykład 7 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Learnmatrix, Adaline, Madaline i modele liniowe Wykład 7 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Learnmatrix, Adaline, Madaline i modele liniowe Wykład 7 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch

2 Co było SOM - samoorganizacja. Uczenie konkurencyjne

3 Co będzie Sieć Hamminga – prototypy. Learnmatrix. Adaline. Madaline.

4 Sieć prototypów (Hamminga) Zadanie: dla wektora X znaleźć najbardziej podobny prototyp X p i odpowiadający mu wektor Y p Zapamiętaj prototypy (X p, Y p ), Niech X p =(bp 1, bp 2,... bp n ), bp i = ±1, wektory Y p dowolne. Warstwa ukryta sieci Hamminga działa w trybie WTA (Winner Takes All) – tylko najaktywniejszy węzeł c pozostaje aktywny i przesyła prototyp Y c do wyjścia. Decyzje podejmowane są na podstawie aktywności d(X,X p ) = - i X pi X i [ n,+n] Sieć Hamminga = metoda najbliższego sąsiada 1-NN, wybiera prototyp, który ma najwięcej zgodnych bitów, czyli min ||X-X p ||.

5 Sieć prototypów (Hamminga) 4 prototypy, 2-wym. wektory Y Niewiele realizacji sieciowych, łatwiej jest wyszukać najbliższego sąsiada lub największy iloczyn skalarny. Metody oparte na podobieństwie to szeroka dziedzina.

6 Sieć Hamminga - przykłady

7 Macierz ucząca się Lernmatrix, Steinbuch (1961) pamięć asocjacyjna oparta na prototypach. model analogowy, potencjometry W ij [ ]. Wejścia: kolumny e i [-1,+1], dane wejściowe; e n+1 = 1 (stała wartość). Wiersze b i ={0,1}, po jednym da każdej z m klas. Realizacja funkcji liniowej:

8 Macierz ucząca – schemat

9 Macierz ucząca się - teoria Określenie granic dla klasy: wybrać max. Z i (e) Oparte na odległości od najbliższego prototypu. Granice klas: hiperpowierzchnie klasyfikujące dla Z i (e)=Z k (e) dla wszystkich i > k. Wagi W i dla klasy i określone są przez prototyp W i = e* (np. średnia dla klasy) W in+1 = -½ ||e*|| 2.

10 Macierz ucząca się - teoria Dwa prototypy, W 1 =e 1 * oraz W 2 =e 2 * na granicy pomiędzy klasami Z 1 (e)=Z 2 (e) Granica jest więc prostą jednakowo oddaloną od obu prototypów.

11 Macierz ucząca się - klasyfikacja Granice decyzji dla 4 prototypów.

12 Macierz ucząca się - uczenie Jak znaleźć dobre prototypy? Uśrednianie po wektorach treningowych: zmiana wag dla prototypów: stara + krok w stronę nowej, np. po N krokach dla wzorca e(N+1) z klasy i zmieniamy wagi Można oczywiście użyć innych czynników stabilizujących uczenie. Macierze uczące działały współbieżnie już w latach 60.

13 Macierz ucząca się – uczenie 2 Dipol macierzy uczących się - realizuje dowolne funkcje, binarna nieliniowość. Pierwsza macierz klasyfikuje, druga dostaje – wtedy jeden wiersz poddawany jest adaptacji i można dokonać aproksymacji funkcji kawałkami liniowej. Składanie funkcji z lokalnych kawałkami liniowych funkcji, czyli realizacja sprzętowa aproksymacji za pomocą funkcji sklejanych.

14 Aproksymacja elementami liniowymi Neurony realizują funkcje liniowe. Sieć bez warstwy ukrytej potrafi zrealizować te same funkcje co sieć z liniowymi elementami w warstwach pośrednich! Jeśli mamy k warstw linowych to sygnał na wyjściu: X(k) = W k X(k-1) = W k W k-1 X(k 2) =... W k W k-1. W 1 X(0) = W X(0); Wniosek: nieliniowości są niezbędne.

15 Adaline Widrow, Hoff (1960) układy analogowe, memistory. Adaline (Adaptive Linear Element, lub Adaptive Linear Neuron) – realizuje funkcję f(X)=sgn(X T W), prosta nieliniowość! Uczenie: na podstawie próbek (X i, Y i ) znajdź najlepsze parametry W by zminimalizować błąd średniokwadratowy. Dla elementu liniowego równanie X T W = Y. Rozwiązanie: macierz pseudoodwrotna, rozkład na wartości osobliwe (SDV, Singular Value Decomposition) Organizmy tak się nie uczą! Potrzebujemy rozwiązań on-line. Zasada najmniejszego zakłócania: poprawiaj małymi krokami po prezentacji każdej pary skojarzeń.

16 Adaline - schemat.

17 Adaline w 2011 roku.

18 Adaline - geometria Jakich odwzorowań Adaline może się nauczyć? Dla 2 wejść: Z 16 odwzorowań logicznych 2 nie da się nauczyć tylko: f 1 (1,1) = f 1 (–1,–1)= 1;f 1 (1,–1) = f 1 (–1,1) = –1 f 2 (1,1) = f 2 (–1,–1)=–1;f 2 (1,–1) = f 2 (–1,1) = 1

19 Adaline – liniowa separowalność. Jeśli X i = ± 1, możliwych wektorów n-elementowych jest K=2 n ; a możliwych odwzorowań binarnych jest 2 K. Dla n=2, K=4, 2 K =16 Można je przedstawić symbolicznie pokazując wartości +/- lub cz/białe, dla każdej pary X=(±1,±1) Pierwsze f(x 1,x 2 )= 1, ostatnie: f(x 1,x 2 )= 1

20 Adaline – uczenie Dla dużego n prawie żadne odwzorowania nie są liniowo separowalne! Ile par skojarzeń (X,Y) może zapamiętać Adaline? n, bo dla n ortogonalnych wektorów X i = ( ) przyjmiemy W i =Y i. Uczenie elementu liniowego: błąd dla prezentacji k-tej pary (X k, Y k ) Parametr uczenia <1 pozwala uniknąć popsucia skojarzeń dla poprzednich par. Najprostsza reguła: zmniejszaj błąd

21 Uczenie elementu liniowego Chcemy uzyskać Y = W X dla par treningowych (X,Y). Dane napływają w sposób ciągły. Reguła uczenia typu delta wynika z minimalizacji metodą najmniejszych kwadratów (LMS, Least Mean Square):

22 Madaline Madaline: sieci z wielu elementów Adaline. Realizacja za pomocą memistorów - w elektrolicie były elektrody z substancjami, które zależnie od kierunku prądu przenosiły się z jenej elektrody na drugą zmieniając przewodność. Teraz zastąpiony przez memrystor, prądowo sterowany opornik: 3 warstwy: –wejście, przyjmuje dane; –adaptujące się elementy (warstwa ukryta); –wyjście - elementy logiczne, funkcja większość. Wiele hiperpłaszczyzn, rozwiązywały dowolne zagadnienie. Algorytm uczenia dla sieci wielowarstwowych nie był znany.

23 Co dalej? Dynamiczne pamięci skojarzeniowe Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe

24 Koniec wykładu 7 Dobranoc


Pobierz ppt "Inteligencja Obliczeniowa Learnmatrix, Adaline, Madaline i modele liniowe Wykład 7 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch."

Podobne prezentacje


Reklamy Google