Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Otwieranie czarnej skrzynki. Wykład 21 Włodzisław Duch Uniwersytet Mikołaja Kopernika.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Otwieranie czarnej skrzynki. Wykład 21 Włodzisław Duch Uniwersytet Mikołaja Kopernika."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Otwieranie czarnej skrzynki. Wykład 21 Włodzisław Duch Uniwersytet Mikołaja Kopernika

2 Co było Neuro-fuzzy Feature Space Mapping - motywacje Funkcje transferu

3 Co będzie Reguły z sieci MLP Rozmywanie danych Dokładność - prostota reguł. Odrzucanie i stopień zaufania do reguł

4 Reguły logiczne z sieci neuronowych Otwieranie czarnej skrzynki, czyli reguły logiczne z NN. Granice decyzji muszą być prostopadłe, a w MLP są płaszczyznami. Otwieranie czarnej skrzynki, czyli reguły logiczne z NN. Granice decyzji muszą być prostopadłe, a w MLP są płaszczyznami. Metody lokalne: Analizuj fragment sieci, zamień na reguły logiczne. Węzeł progowy realizuje logikę Jeśli (M-z-N war=T) To T Eksplozja kombinatoryczna: 2 N możliwych kombinacji wejść. Metody lokalne: Analizuj fragment sieci, zamień na reguły logiczne. Węzeł progowy realizuje logikę Jeśli (M-z-N war=T) To T Eksplozja kombinatoryczna: 2 N możliwych kombinacji wejść. Metody globalne: analizuj wejścia i koreluj wyniki z wyjściami. VIA (Validity Interval Analysis) - znajdź interwały definiujące regułę, w którym wyjście stałe. Duża liczba reguł - prostokąty aproksymują skośne granice. Metody globalne: analizuj wejścia i koreluj wyniki z wyjściami. VIA (Validity Interval Analysis) - znajdź interwały definiujące regułę, w którym wyjście stałe. Duża liczba reguł - prostokąty aproksymują skośne granice.

5 Zmienne lingwistyczne Kwantyzacja ciągłych wartości lub wybieranie podzbiorów. Jeżeli (s k =mały lub s k = duży) To Klasa1 Kwantyzacja ciągłych wartości lub wybieranie podzbiorów. Jeżeli (s k =mały lub s k = duży) To Klasa1 L-unit: 2 progi jako par. adaptacyjny, W 1 = W 2 = +1 Realizują f. tangh(x) [ Miękkie trapezoidy przechodzą dla dużych skosów w funkcje okienkowe. 4 typy f. dla różnych znaków S i. L-unit: 2 progi jako par. adaptacyjny, W 1 = W 2 = +1 Realizują f. tangh(x) [ Miękkie trapezoidy przechodzą dla dużych skosów w funkcje okienkowe. 4 typy f. dla różnych znaków S i. Reprezentacja numeryczna: V sk =( ) dla s k =mały V sk =( ) dla s k =średni brak wartości = 0, nie wpływa na pobudzenie. Reprezentacja numeryczna: V sk =( ) dla s k =mały V sk =( ) dla s k =średni brak wartości = 0, nie wpływa na pobudzenie.

6 Architektura MLP2LN Agregacja: perceptrony; L - warstwa obliczająca f. przynależności R - reguły, wyjście - suma reguł dla klasy; jedno wyjście na klasę. Agregacja: perceptrony; L - warstwa obliczająca f. przynależności R - reguły, wyjście - suma reguł dla klasy; jedno wyjście na klasę.

7 Konstruktywny MLP2LN Dodaj jeden neuron R. Upraszczaj sieć by wygenerować regułę. Dodaj kolejny i neuron w warstwie sumującej. Dodaj jeden neuron R. Upraszczaj sieć by wygenerować regułę. Dodaj kolejny i neuron w warstwie sumującej. Reguły z pierwszego neuronu: najbardziej ogólne, pokrywają dużo danych. Upraszczaj sieć by wygenerować regułę. Dodaj kolejny i neuron w warstwie sumującej. Jak upraszczać by uniknąć eksplozji kombinatorycznej? Reguły z pierwszego neuronu: najbardziej ogólne, pokrywają dużo danych. Upraszczaj sieć by wygenerować regułę. Dodaj kolejny i neuron w warstwie sumującej. Jak upraszczać by uniknąć eksplozji kombinatorycznej?

8 F. kosztu Wymuszaj zera; wymuszaj duże skosy; przeprowadź kwantyzację wag by znaleźć obszary, w których MLP ma stałą wartość. Wymuszaj zera; wymuszaj duże skosy; przeprowadź kwantyzację wag by znaleźć obszary, w których MLP ma stałą wartość. Zwykła f. błędu (może być entropowa lub inna) Człon regularyzacyjny (zera) Może być Weigenda itp.. Człon dodatkowy - zera i ±1 Może być 2-6 stopnia. Zwykła f. błędu (może być entropowa lub inna) Człon regularyzacyjny (zera) Może być Weigenda itp.. Człon dodatkowy - zera i ±1 Może być 2-6 stopnia. Modyfikacja procedury BP jest trywialna, wystarczy dodać:

9 Uczenie Dla jednej klasy, algorytm C-MLP2LN 1. Utwórz węzeł ukryty. 2. Ucz sieć za pomocą BP z regularyzacją. skos s=1 Zbieżność słaba => trenuj 2 jednostki ukryte równocześnie. a)Ucz jak długo zmniejsza się błąd; zwiększ, s=s+1 i ucz dalej; powtarzaj aż błąd gwałtownie wzrośnie. b)Zmniejsz by uzyskać poprzednią wartość błędu, doucz. c)Włącz trenuj zwiększając aż wagi osiągną wartości 0±0.05 lub ±1±0.05. d)Ustaw skos na s=10000, wagi na 0, ±1. 3. Analizuj wagi i progi badając aktywację neuronów. Analiza pozwala utworzyć reguły logiczne. 4. Zamroź wagi istniejących węzłów (ucz tylko nowe węzły). 5. Dodaj nowy neuron, powtarzaj procedurę aż wszystkie dane będą poprawnie klasyfikowane lub liczba reguł gwałtownie wzrośnie. 6. Powtórz dla pozostałych klas. 1. Utwórz węzeł ukryty. 2. Ucz sieć za pomocą BP z regularyzacją. skos s=1 Zbieżność słaba => trenuj 2 jednostki ukryte równocześnie. a)Ucz jak długo zmniejsza się błąd; zwiększ, s=s+1 i ucz dalej; powtarzaj aż błąd gwałtownie wzrośnie. b)Zmniejsz by uzyskać poprzednią wartość błędu, doucz. c)Włącz trenuj zwiększając aż wagi osiągną wartości 0±0.05 lub ±1±0.05. d)Ustaw skos na s=10000, wagi na 0, ±1. 3. Analizuj wagi i progi badając aktywację neuronów. Analiza pozwala utworzyć reguły logiczne. 4. Zamroź wagi istniejących węzłów (ucz tylko nowe węzły). 5. Dodaj nowy neuron, powtarzaj procedurę aż wszystkie dane będą poprawnie klasyfikowane lub liczba reguł gwałtownie wzrośnie. 6. Powtórz dla pozostałych klas.

10 Przykład: Iris wektorów podzielonych na trzy klasy po 50 wektorów: iris setosa, iris versicolor, iris virginica. 4 cechy, rozmiary liści i płatków w cm. 150 wektorów podzielonych na trzy klasy po 50 wektorów: iris setosa, iris versicolor, iris virginica. 4 cechy, rozmiary liści i płatków w cm. Zmienne lingwistyczne: podział wg. histogramów dla przecięć, np: s 3 (x 3 ) =T dla x 3 [1.0,2.0] m 3 (x 3 )=T dla x 3 (2.0,4.93] l 3 (x 3 ) =T dla x 3 (4.93,6.9] s 4 (x 4 ) =T dla x 4 [0.1,0.6] m 4 (x 4 )=T dla x 4 (0.6,1.7] l 4 (x 4 ) =T dla x 4 (1.7,2.5] Konflikt: 3 wektory (m,m,l,l) i 3 (m,l,m,l) z klas virginica i versicolor identyczne: zostają 3 wektory z klasy versicolor. Zmienne lingwistyczne: podział wg. histogramów dla przecięć, np: s 3 (x 3 ) =T dla x 3 [1.0,2.0] m 3 (x 3 )=T dla x 3 (2.0,4.93] l 3 (x 3 ) =T dla x 3 (4.93,6.9] s 4 (x 4 ) =T dla x 4 [0.1,0.6] m 4 (x 4 )=T dla x 4 (0.6,1.7] l 4 (x 4 ) =T dla x 4 (1.7,2.5] Konflikt: 3 wektory (m,m,l,l) i 3 (m,l,m,l) z klas virginica i versicolor identyczne: zostają 3 wektory z klasy versicolor.

11 Iris 2 Sieć po nauczeniu: iris setosa: =1 (0,0,0;0,0,0;+1,0,0;+1,0,0) iris versicolor: =2 (0,0,0;0,0,0;0,+1,0;0,+1,0) iris virginica: =1 (0,0,0;0,0,0;0,0,+1;0,0,+1) If (x 3 =s x 4 =s) setosa If (x 3 =m x 4 =m) versicolor If (x 3 =l x 4 =l) to virginica 147 poprawnie klas. wektorów (teoretyczne maksimum dla tej dyskretyzacji). iris setosa: =1 (0,0,0;0,0,0;+1,0,0;+1,0,0) iris versicolor: =2 (0,0,0;0,0,0;0,+1,0;0,+1,0) iris virginica: =1 (0,0,0;0,0,0;0,0,+1;0,0,+1) If (x 3 =s x 4 =s) setosa If (x 3 =m x 4 =m) versicolor If (x 3 =l x 4 =l) to virginica 147 poprawnie klas. wektorów (teoretyczne maksimum dla tej dyskretyzacji).

12 Iris z jednostkami L Zwiększanie skosów po 100, 400, 200, 200 epokach; granice optymalne.

13 Koniec wykładu 21 Dobranoc !


Pobierz ppt "Inteligencja Obliczeniowa Otwieranie czarnej skrzynki. Wykład 21 Włodzisław Duch Uniwersytet Mikołaja Kopernika."

Podobne prezentacje


Reklamy Google