Inteligencja Obliczeniowa Perceptrony Wykład 10 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Co było Learnmatrix. Adeline. Madeline. Aproksymacja elementami liniowymi Demo w Matlabie (c) 1999. Tralvex Yeap. All Rights Reserved

Co będzie Perceptron jednowarstwowy. Uczenie się perceptronów Nieliniowa reguła delta Adatron Nature 26.04.2016: AI Talent Grab (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron Rosenblatt (Cornell Univ.) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. Trzy warstwy, elementy: wejściowe (S-units), np. fotokomórki 20 x 20 asocjacyjne (A-units), zbierające dane z większych obszarów, 512 wyjściowe (R-units), 8 Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. Jakich klasyfikacji dokonać może perceptron? Jak można go uczyć? (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron - schemat Perceptron jednowarstwowy. (c) 1999. Tralvex Yeap. All Rights Reserved

Działanie perceptronów Sygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= –1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ±1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). Pary treningowe (Sm,Ym), Ym= ±1; sygnał wyjściowy Rm = +1 dla  > 0 próg wyjściowy g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = –1 poniżej. (c) 1999. Tralvex Yeap. All Rights Reserved

Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji). (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie perceptronów cd Ocena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza: (c) 1999. Tralvex Yeap. All Rights Reserved

Perceptron dla M klas Reguła uczenia perceptronu: skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas. (c) 1999. Tralvex Yeap. All Rights Reserved

Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów: net – aktywacja; f(net) – funkcja wyjścia zależna od aktywacji. Typowe nieliniowości: bipolarne [-1,+1] i unipolarne [0,1] funkcje sigmoidalne. (c) 1999. Tralvex Yeap. All Rights Reserved

Przykłady programów Demo rozpoznawania ręcznie pisanych cyfr: http://uaasoftware.com/blog/demos-tutorials/mlp-neural-network-handwriting-recognition/ IBM SPSS http://www-03.ibm.com/software/products/en/spss-neural-networks Demo kilku typów sieci: http://www.borgelt.net/demo.html (c) 1999. Tralvex Yeap. All Rights Reserved

Co dalej? Samoorganizacja Adatron i maksymalizacja margines. Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) 1999. Tralvex Yeap. All Rights Reserved

Koniec wykładu 10 (c) 1999. Tralvex Yeap. All Rights Reserved