Inteligencja Obliczeniowa Perceptrony Wykład 8 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Co było Learnmatrix. Adeline. Madeline. Aproksymacja elementami liniowymi Demo w Matlabie (c) 1999. Tralvex Yeap. All Rights Reserved

Co będzie Perceptron jednowarstwowy. Uczenie się perceptronów Nieliniowa reguła delta Adatron (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron Rosenblatt (Cornell Univ.) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. Trzy warstwy, elementy: wejściowe (S-units), np. fotokomórki 20 x 20 asocjacyjne (A-units), zbierające dane z większych obszarów, 512 wyjściowe (R-units), 8 Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. Jakich klasyfikacji dokonać może perceptron? Jak można go uczyć? (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron - schemat Perceptron jednowarstwowy. (c) 1999. Tralvex Yeap. All Rights Reserved

Działanie perceptronów Sygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= –1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ±1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). Pary treningowe (Sm,Ym), Ym= ±1; sygnał wyjściowy Rm = +1 dla  > 0 próg wyjściowy g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = –1 poniżej. (c) 1999. Tralvex Yeap. All Rights Reserved

Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji). (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie perceptronów cd Ocena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza: (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron dla M klas Reguła uczenia perceptronu: skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas. (c) 1999. Tralvex Yeap. All Rights Reserved

Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów: I(X), net – aktywacja; f(I) – funkcja wyjścia. Typowe nieliniowości – bipolarne i unipolarne funkcje sigmoidalne. Demonstracje NeuroSolution (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Samoorganizacja Adatron i maksymalizacja margines. Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 8 Dobranoc (c) 1999. Tralvex Yeap. All Rights Reserved