Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch

2 Co było Perceptron jednowarstwowy. Uczenie się perceptronów Demo w NeuroSolutions

3 Co będzie Nieliniowa reguła delta Adatron Perceptron wielowarstwowy

4 Perceptron dla M klas Reguła uczenia perceptronu: skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy C i wyjście g i (X) Decyzja: max i g i (X), więc na granicy g i (X)=g j (X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa C i, wymagane g i (X)= 1, g j (X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie g i (X)= 0 lub kilka g i (X)=1 Przykład: granice decyzji perceptronu dla 3 klas.

5 Niestabilności Granice decyzji mogą się całkowicie zmienić pod wpływem jednego punktu, który odpowiada wartości odstającej.

6 Reguła delta - nieliniowa Uczenie zgodne z regułą perceptronu: skoki, niestabilne granice. Błąd przy prezentacji pary (X p,Y p ) dla jednego perceptronu: Funkcja błędu: Szukamy minimum błędu ze względu na W i

7 Reguła delta cd. Poprawki do wag: Dla funkcji logistycznej Dla tangh Przykłady działania takiej reguły w Neurosolutions: trening 10 perceptronów do rozpoznawania cyfr (każdy cyfra-reszta); efekty dodawania szumu do znaków – granice się poprawiają!

8 Adatron i maksymalizacja marginesu. Cel: maksymalizacja odległości granicy decyzji od danych. Trening z szumem – prosty, ale kosztowny. Dla 2 klas i funkcji liniowej WX+b marginesy powinny być jak największe by zapewnić generalizację. Znajdź wektor najbliższy granicy i wagi zwiększające margines. Rozwiązanie: liniowe - Adatron nieliniowe - SVM (Support Vector Machines)

9 Marginesy i hiperpłaszczyzny.

10 Odległość od hiperpłaszczyzny.

11 Adatron: algorytm Przyjmijmy (X i,Y i ), i=1.. N, oraz Y i = ±1 Progowe neurony, f(X)=sgn(g(X;W,b)) = sgn(W·X+b) Margines rośnie dla min||W|| pod warunkiem poprawnej klasyfikacji. Problem można sformułować jako minimalizację bez ograniczeń; i = mnożniki Lagrangea; f. dyskryminująca jest liniową kombinacją iloczynów

12 Adatron: algorytm cd. Wstawiając za W i b poprzednie wartości Adatron minimalizuje: Zdefiniujmy pomocnicze funkcje (najpierw policzmy il. skalarne): Algorytm iteracyjny: start = 0.1, mały próg dodatkowe warunki Jeśli i + i 0 to zmień lub jeśli < 0 nic nie zmieniaj. czyli X i jest odsunięte od granicy

13 Sieciowa realizacja Adatronu Wektory danych pamiętane są w węzłach jako wagi. Węzły obliczają iloczyny skalarne. Wagi i łączą z neuronem wyjściowym obliczającym g(x) Efekt działania algorytmu: większość wsp. się zeruje, zostają niezerowe tylko przy wektorach granicznych.

14 Adatron – efekty. Tyko pary klas są rozróżniane; potrzeba m(m-1)/2 klasyfikatorów dla m klas. Wektory, dla których i >0 to wektory brzegowe (Support Vectors). Uczenie – na końcu procesu głównie w pobliżu granic decyzji. Złożoność O(n 2 ) redukuje się do O(n sv 2 ) Złożoność minimalizacji – eksponencjalna w N (wymiar wektora). Rezultaty podobne jak z perceptronem z gładką funkcja zamiast skokowej (znaku).

15 Uczenie na brzegach Dla algorytmu Adatron pozostają tylko wektory brzegowe. Dla neuronów logicznych f. błędu zmienia się skokowo. Dla neuronów sigmoidalnych o dużym nachyleniu największy gradient jest w pobliżu granicy decyzji.

16 Co dalej? Perceptrony wielowarstwowe Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe

17 Koniec wykładu 9 Dobranoc


Pobierz ppt "Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch."

Podobne prezentacje


Reklamy Google