Inteligencja Obliczeniowa Perceptrony

Prezentacja na temat: "Inteligencja Obliczeniowa Perceptrony"— Zapis prezentacji:

1 Inteligencja Obliczeniowa Perceptrony
Wykład 10 Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch (c) Tralvex Yeap. All Rights Reserved

2 Co było Learnmatrix. Adeline. Madeline.
Aproksymacja elementami liniowymi Demo w Matlabie (c) Tralvex Yeap. All Rights Reserved

3 Co będzie Perceptron jednowarstwowy. Uczenie się perceptronów
Nieliniowa reguła delta Adatron Nature : AI Talent Grab (c) Tralvex Yeap. All Rights Reserved

4 Perceptron Rosenblatt (Cornell Univ.) 1960, klasyfikator neuronowy Mark I wzorowany na biologicznej percepcji. Trzy warstwy, elementy: wejściowe (S-units), np. fotokomórki 20 x 20 asocjacyjne (A-units), zbierające dane z większych obszarów, 512 wyjściowe (R-units), 8 Identyfikacja figur, znaków, eksperymenty psychologiczne, szybkość uczenia, błędy. Jakich klasyfikacji dokonać może perceptron? Jak można go uczyć? (c) Tralvex Yeap. All Rights Reserved

5 Perceptron - schemat Perceptron jednowarstwowy.
(c) Tralvex Yeap. All Rights Reserved

6 Działanie perceptronów
Sygnał błędu obliczany jest po przepuszczeniu przez element progowy. Sj= –1, +1 sygnały docierające do elementów sensorycznych; Połączenia Cij = 0, ±1 elementów Sj i Ai (przypadkowo rozrzucone w pewnym obszarze, nie ulegają zmianom). Pary treningowe (Sm,Ym), Ym= ±1; sygnał wyjściowy Rm = +1 dla  > 0 próg wyjściowy g( ) – funkcja bipolarna daje Ai = +1 powyżej progu, Ai = –1 poniżej. (c) Tralvex Yeap. All Rights Reserved

7 Czego można je nauczyć? Przy aktywacji Akm dla sygnału wejściowego Sm prawidłowa odpowiedź: Kiedy istnieje rozwiązanie? Wystarczy, by dla każdego obszaru asocjacji A(Si) istniał element Aim należący tylko do tego obszaru. Kładąc wszystkie Wk = 0 oprócz mamy rozwiązanie; ale tylko dla problemów liniowo separowalnych. Zwykle przez „perceptron” rozumie się teraz jeden neuron z wieloma wejściami (bez jednostek S, bo tu nie ma adaptacji). (c) Tralvex Yeap. All Rights Reserved

8 Uczenie perceptronów Jeśli rozwiązanie istnieje to korekcja błędów (reguła uczenia) je znajdzie: Chcemy by: Reguła delta (c) Tralvex Yeap. All Rights Reserved

9 Uczenie perceptronów cd
Ocena trudności uczenia: zdefiniujmy Jeśli D(W) > 0 to można nauczyć bez błędu. Najlepsza separacja, perceptron optymalny, gdy bo k może być największe. Liczba kroków uczenia nie przekracza: (c) Tralvex Yeap. All Rights Reserved

10 Perceptron dla M klas Reguła uczenia perceptronu:
skończona liczba kroków sensowna generalizacja Granice decyzji perceptronu: dla klasy Ci wyjście gi(X) Decyzja: maxi gi(X), więc na granicy gi(X)=gj(X) Dla M klas jest M(M – 1)/2 granic; część jest redundantna. Obszary decyzyjne – zawsze wypukłe. Klasa Ci, wymagane gi(X)= 1, gj(X)= 0 Niektóre obszary – niesklasyfikowane bo wszystkie gi(X)= 0 lub kilka gi(X)=1 Przykład: granice decyzji perceptronu dla 3 klas. (c) Tralvex Yeap. All Rights Reserved

11 Elementy progowe Hiperpowierzchnia decyzyjna dla różnych neuronów:
net – aktywacja; f(net) – funkcja wyjścia zależna od aktywacji. Typowe nieliniowości: bipolarne [-1,+1] i unipolarne [0,1] funkcje sigmoidalne. (c) Tralvex Yeap. All Rights Reserved

12 Przykłady programów Demo rozpoznawania ręcznie pisanych cyfr:
IBM SPSS Demo kilku typów sieci: (c) Tralvex Yeap. All Rights Reserved

13 Co dalej? Samoorganizacja Adatron i maksymalizacja margines.
Sieci Hopfielda Sieci Hebbowskie i modele mózgu Samoorganizacja Perceptrony wielowarstwowe (c) Tralvex Yeap. All Rights Reserved

14 Koniec wykładu 10 (c) Tralvex Yeap. All Rights Reserved