Sieci o zmiennej strukturze

Prezentacja na temat: "Sieci o zmiennej strukturze"— Zapis prezentacji:

1 Sieci o zmiennej strukturze
Wykład 9’ Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) Tralvex Yeap. All Rights Reserved

2 Co będzie Uwagi na temat MLP Sieci o zmiennej strukturze
Algorytmy konstruktywistyczne Przykłady zastosowań sieci MLP (c) Tralvex Yeap. All Rights Reserved

3 Sieci z 1 warstwą ukrytą. H(X) sygnał z warstwy ukrytej
Uczenie warstwy wyjściowej można uprościć odwracając: H(X) sygnał z warstwy ukrytej Y(X) aktywacja w. wyjściowej Mając wartości dochodzące do warstwy wyjściowej można obliczyć wartości W na wybranym zbiorze uczącym w sensie metody najmniejszych kwadratów. Można też nie uczyć warstwy wejściowej tylko użyć jej do rzutowania danych w wysokowymiarową przestrzeń (biorąc dostatecznie dużo neuronów) – znane jest to pod szumną nazwą „Extreme Learning Machines”. (c) Tralvex Yeap. All Rights Reserved

4 Uwagi praktyczne 1 Ile neuronów?
Zwykle niewiele, zacząć od 1 i zwiększać robiąc kroswalidację; reguły heurystyczne są mało przydatne bo wszystko zależy od rozkładu danych, może jest separowalny i wystarczy 1 neuron? (c) Tralvex Yeap. All Rights Reserved

5 Uwagi praktyczne 2 Trudności w uczeniu?
Można dodać dodatkowe wyjścia pomocnicze (hints), np. dzielące hierarchicznie na grupy kilku kategorii. Ogólnie: co ciekawego mogą wykryć pośrednie warstwy? Może warto zmienić cel uczenia? (c) Tralvex Yeap. All Rights Reserved

6 Uwagi praktyczne 3 System dobrze się nauczył ale słabo generalizuje?
Zbyt duża złożoność sieci. Dodać regularyzację. Stosować kroswalidację do oceny błędu. Zatrzymać uczenie zanim się przetrenuje. Dane treningowe nie są reprezentatywne. (c) Tralvex Yeap. All Rights Reserved

7 Algorytmy konstruktywistyczne
Złożoność sieci należy dopasować do złożoności danych: niezbyt prosta ale i niezbyt dopasowana – zajmuje się tym dziedzina zwana wyborem modelu. Utwórz wiele sieci; wybierz najlepszą; używaj algorytmów ewolucyjnych - ale czy warto? używaj komitetów sieci - nie marnuj modeli. Algorytmy sieciowe: upraszczające, usuwające połączenia i zbędne neurony; konstruktywne, dodające nowe zasoby w miarę potrzeb; ontogeniczne: rosnące i kurczące. (c) Tralvex Yeap. All Rights Reserved

8 AK: upraszczanie Zwykle: mała sieć - prosty model, dobre wyniki;
duża sieć - zła generalizacja, za duża złożoność modelu. Regularyzacja: duża sieć, elastyczna, ale efektywnie ma mało swobodnych parametrów, zależnie od siły regularyzacji. 1. Utwórz dużą sieć. 2. Trenuj ją z członem regularyzującym. Metody Bayesowskie pozwalają automatycznie określić parametry regularyzacji (Bishop), ale są rzadko stosowane. Statystyczne kryteria przydatności neuronów można stosować zamiast regularyzacji. (c) Tralvex Yeap. All Rights Reserved

9 Korelacja kaskadowa Fahlman i Labiere, 1991
Zacznij od zera, dodawaj neurony do warstwy ukrytej. Maksymalizuj korelacje nowego neuronu i z błędem wykazywanym przez neuron wyjściowy. Dodaj kilka neuronów - kandydatów; trenuj maksymalizując korelację; wybierz najlepszy, pozostałe odrzuć. (c) Tralvex Yeap. All Rights Reserved

10 KK - schemat Uczenie: jakąś wersją metody BP (np. Quickprop).
Po dodaniu kandydata stare neurony ukryte mają ustalone wagi wejściowe. Nowy neuron łączy się ze wszystkimi istniejącymi. CasCor 2 - minimalizuje różnicę |E(sieć)-E(kand)| (c) Tralvex Yeap. All Rights Reserved

11 CasPer Cascade Correlation with Progressive RPROP (1997)
Architektura kaskadowa; 3 typy połączeń z różnymi szybkościami uczenia: L1, wejście kandydata z neuronów ukrytych i wejściowych; L2 wyjście kandydata do neuronów wyjściowych. L3 istniejące neurony L1>> L2>> L3 Rozpad wag + szum na wejściu. (c) Tralvex Yeap. All Rights Reserved

12 FlexNet Mohraz, Protzel 1996.
0. Startuj bez warstw ukrytych, tylko In/Out. Powtarzać 1 i 2: 1. Uczyć aż błąd zacznie spadać powoli. 2. Dodać nową jednostkę w różnych miejscach sieci, zostawić taką, która najbardziej pomaga w uczeniu. Neurony mogą pojawić się w istniejących lub nowych warstwach. (c) Tralvex Yeap. All Rights Reserved

13 Algorytm wieżowy Dodaj neuron tworząc nową warstwę; trenuj aż się nauczy; zamroź wagi, dodaj kolejny neuron. Zbiega się po skończonej liczbie kroków dla wypukłych danych. Każda warstw usuwa przynajmniej jeden błąd, ale generalizacja może być kiepska. Zawsze można zrobić dane wypukłe! (c) Tralvex Yeap. All Rights Reserved

14 Algorytm piramidowy Jeden neuron/warstwę.
Dodaje połączenia pomiędzy odległymi warstwami. Uczenie - podobnie jak w algorytmie wieżowym. Używany w programie TDL (Transdimensional Learning) (c) Tralvex Yeap. All Rights Reserved

15 Algorytm kieszonkowy Algorytm kieszonkowy uczenia sieci (Gallant 1990)
Próbuje wykorzystać sukcesy, nie tylko błędy. Stosowany do wzorców binarnych: Przypadkowa inicjalizacja wag. Przypadkowo wybieraj wektory do uczenia. Policz, po ilu wektorach N(p) pojawia się błąd, zapamiętaj ostatnie wagi W(p) w „kieszonce” dokonaj korekty W= W(p)+ DW(p). Przypadkowo wybieraj wektory do uczenia i licz, kiedy pojawi się błąd; jeśli N<N(p) to weź W=W(p) (krok wstecz) Powtarzaj aż do skutku ... Można udowodnić, że algorytm znajduje optymalne wagi. (c) Tralvex Yeap. All Rights Reserved

16 Algorytm kafelkowy Hierarchia warstw o malejącej liczbie neuronów (Mezard, Nadal 1989). Nowe warstwy - wierna reprezentacja, tj. R(X)R(Y) jeśli C(X) C(Y), dla wektorów binarnych. Jednostka nadrzędna trenowana jest na dużej liczbie wzorców tak, by wytworzyć możliwie najdłuższy ciąg poprawnych odpowiedzi. Jednostki pomocnicze uczą się na podzbiorach wzorców. (c) Tralvex Yeap. All Rights Reserved

17 Algorytm upstart Frean, 1990: neuron wyjściowy połączony z wejściowymi, wzorce są binarne. Błędne odpowiedzi typu 0 i 1. Dodaj 2 neurony, te same wejście, duże W+/-, koryguj błędy typu 0 i 1. Każdy neuron koryguje  1 błąd. Algorytm uczenia - kieszonkowy. Poprawny wynik w skończonej liczbie kroków dla wypukłych danych (każdy wektor można odseparować płaszczyzną). Binarne drzewo z perceptronem w każdym węźle, dobre wyniki. (c) Tralvex Yeap. All Rights Reserved

18 IncNet Incremental Network, sieć ontogeniczna, rośnie i maleje (N. Jankowski, 2003). Jedyna sieć w pełni ontogeniczna: rośnie, kruczy się, i łączy neurony. Sieć jednowarstwowa, różne f. transferu, model 1-z-N. Statystyczne kryteria wzrostu i kurczenia sieci. Algorytm uczenia w oparciu o rozszerzony filtr Kalmana, EKF (estymator błędu i parametrów modelu). (c) Tralvex Yeap. All Rights Reserved

19 Onto - podsumowanie Inne sieci ontogeniczne: RAN, FSM - po RBF-ie.
Zalety algorytmów ontogenicznych: automatyczna konstrukcja zwykle dobre wyniki zwykle małe sieci, niewiele połączeń zwykle duża szybkość - trenowane są pojedyncze neurony Wady: czasami mogą się przetrenować algorytmy rosnące nie gwarantują najprostszych sieci niektóre tworzą specyficzne architektury niewiele dobrych programów homogeniczne – lepiej czasem użyć różnych funkcji transferu dla neuronów ukrytych. (c) Tralvex Yeap. All Rights Reserved

20 Kilka zastosowań Typowe problemy: diagnoza, wykrywanie anomalii prognozowanie, aproksymacja funkcji w nD, kontrola. Dobre benchmarki: XOR, parzystość, kompresja. NETtalk (Sejnowski i Rosenberg 1987): 7 liter (wybranych z 29 znaków) tekstu w ruchomym okienku, na wyjściu kod fonemu, 7x29=203 wejścia, 80 jednostek ukrytych i 26 wyjściowych. 1024 słowa, korelacja litera/fonem, gaworzenie, po 50 epokach sieć 95% dokładności, 78% poprawnie na nowym tekście. Zastosowania przemysłowe - strona Boba Marksa. EANN - International Conference on Engineering Applications of Neural Networks (c) Tralvex Yeap. All Rights Reserved

21 Co dalej? Sieci Hopfielda Sieci Hebbowskie i modele mózgu
(c) Tralvex Yeap. All Rights Reserved

22 Koniec wykładu 9’ (c) Tralvex Yeap. All Rights Reserved

23 Co było Perceptrony wielowarstwowe.
Algorytm wstecznej propagacji błędów Problemy i własności wstecznej propagacji (c) Tralvex Yeap. All Rights Reserved