Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Sieci RBF. Wykład 13 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Sieci RBF. Wykład 13 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Sieci RBF. Wykład 13 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2 Co było Algorytmy konstruktywistyczne Przykłady zastosowań sieci MLP

3 Co będzie Teoria aproksymacji Funkcje radialne Sieci RBF

4 Filozofia RBF MLP - dyskryminacja, LDA, aproksymacja stochastyczna. RBF = Radial Basis Functions (1988) - inne podejście. Uczenie jako problem aproksymacji, najlepszego dopasowania (rekonstrukcji) hiperpowierzchni do danych treningowych. Twierdzenie (Cover 1965): Jeśli przekształcić wzorce X={X (i) }, i=1.. p, nieliniową funkcją na wektory (X (i) )={h(X (i) ) k }, k = 1..M, M > p wzorce prawdopodobnie staną się liniowo separowalne: tj. istnieje płaszczyzna W T (X (i) ) 0 dla X (i) C 1, W T (X (i) ) <0 dla X (i) C 2

5 Separowalność wielomianowa Jeśli wziąć funkcje wielomianowe: to zamiast sep. liniowej mamy sep. wielomianową. Functional Link Networks (Pao), SVM i Kernel Methods: optymalizacja nieliniowego przekształcenia.

6 Functional link networks Pao (1989) - sieci połączeń funkcjonalnych. Model tensorowy: do zmiennych wejściowych należy dodać ich iloczyny, to rozwiązuje nieliniowo sep. problemy. Separacja kwadratowa Problem: za dużo parametrów. Realizacja: sieć perceptronów z dodatkowymi wejściami lub sieć z jedną warstwą ukrytą realizująca nieliniowe mapowanie.

7 Uczenie jako problem aproksymacji Dla N punktów znajdź funkcję spełniającą: Postać funkcji RBF: Funkcja błędu z członem regularyzacyjnym:

8 Funkcja RBF Człon regularyzacjny: uwzględnia dodatkowe warunki, takie jak pożądana gładkość funkcji. Postać funkcji RBF: Funkcja błędu z członem regularyzacyjnym:

9 Rozwiązanie RBF Jeden węzeł sieci na jeden wektor treningowy, bez regularyzacji. Dla wąskich f. Gaussowskich h ij = ij, wagi W i =Y i, idealne rozwiązanie, ale zła generalizacja. H - macierz interpolacji. Radialne f. bazowe: H dodatnio określona (Light 1992). Większe dyspersje, mniej funkcji - lepsza generalizacja.

10 Interpretacja geometryczna Jeśli prawdziwa aproksymowana funkcja f(x) leży w przestrzeni rozpiętej przez wektory bazowe (x) to możliwe jest rozwiązanie bez błędu, w przeciwnym razie aproksymowana jest projekcja ortogonalna (błąd jest ortogonalny do p-ni bazowej).

11 Regularyzacja RBF Człon regularyzacjny uwzględnia dodatkowe warunki, takie jak pożądana gładkość funkcji. Jeśli człon regularyzacyjny jest niezmienniczy translacyjnie i rotacyjnie to funkcja aproksymująca musi mieć postać radialną. Dowód: teoria aproksymacji zaszumionych danych, teoria f. Greena, teoria estymacji z Gaussowskimi jądrami.

12 Rozwiązanie z regularyzacją Regularyzacja w teorii aproksymacji źle uwarunkowanych problemów: Tikhonov Stabilizacja przez dodatkowe warunki, operator P. Minimalizacja funkcji błędu z członem regularyzacyjnym daje równanie Eulera-Lagrangea dla funkcjonału kosztu E(F) Dla operatorów P w postaci różniczkowej:

13 Wpływ regularyzacji Duża liczba f. bazowych o małej dyspersji bez regularyzacji i po regularyzacji (Ossowski 1996)

14 Funkcje radialne Przykłady: lokalne i nie Radialna Inverse multiquadratic Multiquadratic Gauss Thin splines (cienkiej płytki)

15 Funkcja Gaussa Jedyna lokalna i separowalna f. radialna

16 Funkcja współrzędnej radialnej

17 Funkcje wielokwadratowe

18 Funkcje cienkiej płytki

19 Sieci RBF Jedna warstwa ukryta, parametry nieliniowe funkcji transferu + wagi łączące z warstwą wyjściową. Sieci GRBF - mniejsza liczba węzłów niż danych. Sieci HRBF - pełna macierz obrotów i skalowania Q: Q różne dla różnych centrów

20 Uczenie sieci RBF Parametry nieliniowe funkcji transferu: centra, dyspersje; + wagi. Inicjalizacja początkowych centrów: klasteryzacja lub samoorganizacja. Inicjalizacja dyspersji: średnie odległości od wektorów z innych klas. Uczenie - metody gradientowe, podobnie jak w BP. Metoda probabilistyczna: jeśli rozkład równomierny, p. przynależności X do klastra o centrum D i i zakładamy diagonalne dyspersje to:

21 Inicjalizacja RBF 1 Algorytm inicjalizacji centrów przez klasteryzację: Wybierz w przypadkowy sposób punkt początkowy, nie należący do otoczenia już ustalonych centrów. Utwórz zbiór wszystkich punktów z danej klasy leżących bliżej niż punkty z innej klasy. Przyjmij położenie centrum D i jako średnią dla punktów znalezionego zbioru Powtarzaj dwa ostatnie kroki aż do zbieżności Inne metody klasteryzacji: dendrogramy, łączenie histogramów.

22 Inicjalizacja RBF 2 Algorytm inicjalizacji centrów przez samoorganizację: Wybierz w przypadkowy sposób punkt początkowy, nie należący do otoczenia już ustalonych centrów. Utwórz zbiór wszystkich punktów z danej klasy leżących bliżej niż punkty z innej klasy. Zmieniaj położenie centrum D i po prezentacji każdego wektora treningowego: Stała uczenia zanika w miarę wzrostu k, np. (T - stała l. epok) Przesuwanie centrów w jakimś promieniu - samoorganizacja.

23 Uczenie - obroty i usuwanie. Pełna macierz transformacji Q: za dużo parametrów dla danych o dużej l. cech; diagonalna - ustawienia wzdłuż osi. Obroty f. zlokalizowanych - przydatne; wystarczy Q ii 0 i Q ii+1 0, realizuje dowolne obroty. Inna metoda: iloczyn Gauss * ( (WX+b) (WX+b)) Uproszczenie: kąt obrotu ustalony po inicjalizacji

24 Konstruktywny RBF. GAL (Growing and Learning), GrRBF (Growing Radial Basis Function), FEN (Function Estimation Networks), RAN (Resource Allocation Networks) Klasyfikatory Gaussowskie, sieci probabilistyczne... Dwa kryteria wzrostu: duży błąd + brak centrum w okolicy, które ma szanse po modyfikacji ten błąd zmniejszyć.

25 RCE Funkcje typu twardej sfery o zmiennym promieniu pokrywające całą przestrzeń. Początkowo r i jak największe, w czasie uczenia są zmniejszane do połowy odległości z centrum odmiennej klasy i dostawiane są nowe sfery. Niejednoznaczne obszary - kolor ciemnoczerwony. Reduced Coulomb Energy model (Bachman, Cooper )

26 Porównanie MLP-RBF MLP Nielokalne, wymagają douczania jeden rodzaj parametrów trudna inicjalizacja trudna interpretacja ustalone klasy uczenie tylko pod nadzorem zawsze wie BP dość skomplikowane dla wielu warstw RBF Lokalne efekty, stabilność kilka rodzajów parametrów łatwa inicjalizacja tworzą nowe klasy możliwe uczenie bez nadzoru czasami nie wie uczenie łatwe bo 1 warstwa

27 Co dalej? Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja

28 Koniec wykładu 13 Dobranoc !


Pobierz ppt "Inteligencja Obliczeniowa Sieci RBF. Wykład 13 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch."

Podobne prezentacje


Reklamy Google