Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu

Slides:



Advertisements
Podobne prezentacje
Sieć jednokierunkowa wielowarstwowa
Advertisements

Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Inteligencja Obliczeniowa Sieci RBF.
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Inteligencja Obliczeniowa Ulepszenia MLP
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Samoorganizacja: uczenie bez nadzoru.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
Inteligencja Obliczeniowa Perceptrony
Inteligencja Obliczeniowa Feature Space Mapping.
Sieci neuronowe - architektury i zastosowania
Sztuczne sieci neuronowe
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Inteligencja Obliczeniowa Klasteryzacja i uczenie bez nadzoru.
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010Optymalizacja miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz,
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania.
mgr inż. Rafał Komański styczeń 2004
Linear Methods of Classification
Sieci Hopfielda.
Sieci neuronowe jednokierunkowe wielowarstwowe
Sztuczne sieci neuronowe (SSN)
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Systemy wspomagania decyzji
Sztuczne Sieci Neuronowe
Systemy Wspomagania Decyzji
formalnie: Uczenie nienadzorowane
Wspomaganie decyzji nie zwalnia od decyzji...
Systemy Wspomagania Decyzji
Uczenie w Sieciach Rekurencyjnych
Systemy wspomagania decyzji
Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.
Modelowanie i identyfikacja 2010/2011Optymalizacja miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz, Katedra.
Perceptrony proste liniowe - Adaline
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Systemy Wspomagania Decyzji
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
SZTUCZNA INTELIGENCJA
SZTUCZNA INTELIGENCJA
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
Narzędzia AI Dominik Ślęzak, Pokój Wykład dostępny na:
Metody Inteligencji Obliczeniowej Adrian Horzyk Adrian Horzyk Akademia Górniczo-Hutnicza Wydział Elektrotechniki, Automatyki, Informatyki i Inżynierii.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Perceptrony proste nieliniowe i wielowarstwowe © Kazimierz Duzinkiewicz, dr hab.
Belief Nets Autor: inż. 2013r źródło tła:
Learnmatrix, Adaline, Madaline i modele liniowe
Samoorganizacja: uczenie bez nadzoru
Kognitywne właściwości sieci neuronowych
Perceptrony o dużym marginesie błędu
Katedra Informatyki Stosowanej UMK
Metody sztucznej inteligencji
Włodzisław Duch Katedra Informatyki Stosowanej,
Katedra Informatyki Stosowanej UMK
Sieci o zmiennej strukturze
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Inteligencja Obliczeniowa Perceptrony
Katedra Informatyki Stosowanej UMK
Programowanie sieciowe Laboratorium 3
Samoorganizacja: uczenie bez nadzoru
Programowanie sieciowe Laboratorium 3
Inteligencja Obliczeniowa Sieci RBF.
Perceptrony wielowarstwowe, wsteczna propagacja błędów
Zapis prezentacji:

Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu Wykład 9 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Co było Perceptron jednowarstwowy. Uczenie się perceptronów Demo w NeuroSolutions (c) 1999. Tralvex Yeap. All Rights Reserved

Co będzie Nieliniowa reguła delta Adatron Perceptron wielowarstwowy (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron dla M klas Reguła uczenia perceptronu: skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas. (c) 1999. Tralvex Yeap. All Rights Reserved

Niestabilności Granice decyzji mogą się całkowicie zmienić pod wpływem jednego punktu, który odpowiada wartości odstającej. (c) 1999. Tralvex Yeap. All Rights Reserved

Reguła delta - nieliniowa Uczenie zgodne z regułą perceptronu: skoki, niestabilne granice. Błąd przy prezentacji pary (Xp,Yp) dla jednego perceptronu: Funkcja błędu: Szukamy minimum błędu ze względu na Wi (c) 1999. Tralvex Yeap. All Rights Reserved

Reguła delta cd. Poprawki do wag: Dla funkcji logistycznej Dla tangh Przykłady działania takiej reguły w Neurosolutions: trening 10 perceptronów do rozpoznawania cyfr (każdy cyfra-reszta); efekty dodawania szumu do znaków – granice się poprawiają! (c) 1999. Tralvex Yeap. All Rights Reserved

Adatron i maksymalizacja marginesu. Cel: maksymalizacja odległości granicy decyzji od danych. Trening z szumem – prosty, ale kosztowny. Dla 2 klas i funkcji liniowej WX+b marginesy powinny być jak największe by zapewnić generalizację. Znajdź wektor najbliższy granicy i wagi zwiększające margines. Rozwiązanie: liniowe - Adatron nieliniowe - SVM (Support Vector Machines) (c) 1999. Tralvex Yeap. All Rights Reserved

Marginesy i hiperpłaszczyzny. (c) 1999. Tralvex Yeap. All Rights Reserved

Odległość od hiperpłaszczyzny. (c) 1999. Tralvex Yeap. All Rights Reserved

Adatron: algorytm Przyjmijmy (Xi,Yi), i=1 .. N, oraz Yi = ±1 Progowe neurony, f(X)=sgn(g(X;W,b)) = sgn(W·X+b) Margines rośnie dla min||W|| pod warunkiem poprawnej klasyfikacji. Problem można sformułować jako minimalizację bez ograniczeń; ai = mnożniki Lagrange’a; f. dyskryminująca jest liniową kombinacją iloczynów (c) 1999. Tralvex Yeap. All Rights Reserved

Adatron: algorytm cd. Wstawiając za W i b poprzednie wartości Adatron minimalizuje: dodatkowe warunki Zdefiniujmy pomocnicze funkcje (najpierw policzmy il. skalarne): Algorytm iteracyjny: start a = 0.1, h, t = 0.01 mały próg czyli Xi jest odsunięte od granicy Jeśli ai + Dai  0 to zmień lub jeśli < 0 nic nie zmieniaj. (c) 1999. Tralvex Yeap. All Rights Reserved

Sieciowa realizacja Adatronu Efekt działania algorytmu: większość wsp. się zeruje, zostają niezerowe tylko przy wektorach granicznych. Wektory danych pamiętane są w węzłach jako wagi. Węzły obliczają iloczyny skalarne. Wagi ai łączą z neuronem wyjściowym obliczającym g(x) (c) 1999. Tralvex Yeap. All Rights Reserved

Adatron – efekty. Tyko pary klas są rozróżniane; potrzeba m(m-1)/2 klasyfikatorów dla m klas. Wektory, dla których ai >0 to wektory brzegowe (Support Vectors). Uczenie – na końcu procesu głównie w pobliżu granic decyzji. Złożoność O(n2) redukuje się do O(nsv2) Złożoność minimalizacji – eksponencjalna w N (wymiar wektora). Rezultaty podobne jak z perceptronem z gładką funkcja zamiast skokowej (znaku). (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie na brzegach Dla algorytmu Adatron pozostają tylko wektory brzegowe. Dla neuronów logicznych f. błędu zmienia się skokowo. Dla neuronów sigmoidalnych o dużym nachyleniu największy gradient jest w pobliżu granicy decyzji. (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Perceptrony wielowarstwowe Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 9 Dobranoc (c) 1999. Tralvex Yeap. All Rights Reserved