Wstep do Sieci Neuronowych Inteligentne Systemy Autonomiczne Wstep do Sieci Neuronowych W oparciu o wyklady Prof. Geoffrey Hintona University of Toronto i Dr Kazimierza Duzinkiewicza, Politechnika Gdanska Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

Czym sa Sieci Neuronowe? Trudno jest napisac program ktory moglby rozpoznawac twarze. Nie wiemy jaki program napisac bo nie wiemy jak to sie robi. Nawet jak mamy pomysl na taki program to program ten moze byc okropnie skomplikowany. Zamiast pisac taki program zbieramy duzo probek ktore reprezentuja poprawny wynik dla danego sygnalu wejsciowego Siec neuronowa przetworzy te probki i otrzyma funkcje przeksztalcajace obraz wejsciowy na porzadany sygnal wyjsciowy. Jesli zrobimy to poprawnie to siec neuronowa nie tylko pokaze poprawny wynik dla probek uzytych do jej wytrenowania ale takze dla nowych probek.

Trudno jest opisac jak wyroznic cyfre 2

Przyklady zastosowan sieci neuronowych Rozpoznawanie ksztaltow: Rozpoznawanie twarzy albo wyrazu twarzy Rozpoznawanie pisma recznego albo mowy Rozpoznawanie nieprawidlowosci: Niezwykle operacje na kontach kart kredytowych Nienormalne odczyty mirnikow w elektroni atomowej Przewidywanie: Przyszle ceny akcji gieldowych Przyszle ceny na rynkach walutowych

Cele rozwoju sieci neuronowych Zrozumienie jak dziala mozg Mozg jest duzym skomplikowanym systemem neuronow i umiera jak sie go narusza Zrozumienie nowego stylu obliczen Zainspirowanego przez neurony i ich adapcyjne polaczenia Bardzo rozniacego sie od obliczen sekwencyjnych Sprawny w problemach ktore mozg rozwiazuje sprawnie (e.g. widzenie) Niesprawny w problemach trudnych dla mozgu (e.g. 23 x 71) Zastosowania praktyczne przy uzyciu nowych algorytmow Algorytmy uczace sie moga byc przydatne nawet jak nie maja niz wspolnego z zasadami pracy mozgu

Typowy neuron kory mozgowej Struktura z grubsza: Neuron ma jeden akson z rozgalezieniami Ma tez drzewko dendrytow ktore otrzymuja sygnaly wejscia od innych neuronow Nuron ma zwykle 103 – 104 dendrytów Axon typowo laczy sie z dendrytami innych neuronow poprzez synapsy Ciąg impulsów wytworzony przez neuron jest propagowany bez osłabiania wzdłuż drzewka aksonu Genrowanie impulsow: Wzgorek aksonowy wytwarza impulsy wyjsciowe gdy nuron otrzymal dostateczny ladunedk zeby zdepolaryzowac blone komorki axon body dendritic tree

Typowy neuron kory mozgowej Na końcach rozgałęzień aksonu znajdują się synapsy. Synapsy łączą aksony neuronów z wypustkami wejściowymi dendrytów. Akson typowego neuronu może mieć kilka tysięcy synaps. Synapsy moga zwiekszać lub zmniejszać potencjał dendrytu– mieć naturę pobudzającą lub tłumiącą Gromadzenie informacji w neuronie zalezy od jego połączen synaptycznych – od ich układu i sił

Synapsy Gdy impuls nerwowy dotrze do zakończenia aksonu powoduje migrację pęcherzyków presynaptycznych uwalniających mediatory Przyklady mediatorow: adrenalina, noradrenalina, acetylocholina Mediator wypełnia szczelinę synaptyczną i łączy się z receptorami na błonie postsynaptycznej. Otwiera to kanały dla jonów sodu i depolaryzację błony postsynaptycznej. Sprawnosc synapsow moze sie zmienic zmieniajac ilosc pęcherzyków presynaptycznych zmieniajac ilosc czasteczek mediatorow. Synapsy sa powolne ale maja przewage nad RAM Sa bardzo male Adaptuja sie przez lokalne oddzialywania (ale jak?)

Synapsy Połączenie synaptyczne: 1-mitochondrium 2-pęcherzyki presynaptyczne z neurotransmiterem 3-kanał wapniowy, 4-szczelina synaptyczna 5-neuroreceptor 8- receptor zwrotnego wychwytu mediatora

Sieci neuronow Rozbieznosc Pojedynczy neuron pobudza kilka neuronow wyjscia Przyklad: sygnaly sensoryczne zbiegajace sie w roznych rejonach mozgu Zbieznosc Kilka neuronow pobudza pojedynczy neuron Przyklad: pojedynczy neuron ruchu polaczony z wloknem tkanki miesniowej otrzymuje pobudzenie z roznych sciezek wychodzacych z roznych rejonow mozgu. Spatial summation - results from build up of neurotransmitter released simultaneously by numerous synaptic end bulbs Temporal summation - results from build up of neurotransmitter released by a single presynaptic end bulb two or more times in rapid succession

Sieci neuronow Obwody powtarzajace Pobudzenie komorki przed synapsowej wzbudza obwod neuronow wysylajacy serje impulsow Przyklad: skoordynowana aktywnosc miesni Obwody rownolegle Pojedynczy neuron pobudza wiele neuronow o zbieznym wyjsciu W wyniku neuron postsynaptyczny otrzymuje wiele pobudzen Spatial summation - results from build up of neurotransmitter released simultaneously by numerous synaptic end bulbs Temporal summation - results from build up of neurotransmitter released by a single presynaptic end bulb two or more times in rapid succession

Jak dziala mozg? Kazdy neuron otrzymuje sygnaly od innych neuronow Neurony porozumiewiaja sie poprzez impulsy Wazna jest synchronizacja impulsow Wplyw kazdego sygnalu wejsciowego neuronu jest kontrolowany przez wagi synaptyczne Wagi moga byc dodatnie lub ujemne Wagi synaptycze adaptuja sie i cala siec uczy sie uzytecznego dzialania Rozpoznawania obrazow, rozumienia jezyka, planowania, kontroli ciala Mozg ma okolo 1010-1011 neuronow z 103-104 wag wejscia kazdy Olbrzymia ilosc wag moze szybko wplynac na wynik obliczen. Znacznie wyzsza ilosc obliczen niz w Pentium.

Modulowosc i mozg Rozne neurony kory mozgowej okreslaja rozne rzeczy. Lokalne uszkodzenia mozgu maja specyficzne efekty Specyficzne zadania zwiekszja doplyw krwi do specyficznych czesci mozgu. Jednak kora mozgowa wyglada wszedzie tak samo. Wczesne uszkodzenia mozgu powoduja przemieszczenie funkcji w inne rejony Kora mozgowa ma struktury ogolnego przeznaczenia ktore specjalizuja sie w odpowiedzi na doswiadczenia. Daje to szybkie rownolegle przetwarzanie i plastycznosc Konwencjonalne komputery sa plastyczne przez software ale wymaga to bardzo szybkiego centralnego procesora do wykonanie duzej ilosci obliczen.

Uproszczony model neuronu Do neuronu dociera pewna liczba sygnałów wejściowych. Każdy sygnal jest wprowadzany do neuronu przez połączenie o pewnej wadze wagi odpowiadają efektywności synapsy w neuronie biologicznym. Każdy neuron posiada wartość progową, określającą jak silne musi być pobudzenie, aby doszło do wzbudzenia. W neuronie obliczana jest ważona suma wartości sygnałów wejściowych przemnażanych przez odpowiednie współczynniki wagowe, a następnie odejmowana jest od niej wartość progowa. Sygnał reprezentujący łączne pobudzenie neuronu przekształcany jest przez ustaloną funkcję aktywacji. Wartość obliczona przez funkcję aktywacji jest sygnałem wyjściowym neuronu.   Próg  x1 x2 xn w1 wn w2 e y

Co to są sieci neuronowe? Definicja w oparciu o [Cichocki A. & Umbehauen R. Neural Networks for Optimization and Signal Processing, 1994] i [Tadeusiewicz R. Sieci neuronowe, 1993] Sztuczna sieć neuronowa jest układem przetwarzania sygnałów złożonym z dużej liczby działających równolegle elementów przetwarzających, nazywanych sztucznymi neuronami. Neurony dysponuja lokalną pamięcią o małej pojemności. Topologia połączeń oraz ich wagi sa modyfikowane w trakcie procesu uczenia. Funkcja sieci neuronowej jest zdeterminowana przez jej strukturę, siłę powiązań i rodzaj przetwarzania realizowanego w neuronach.

Cechy charakteryzujące sieć neuronową Sieć neuronowa jest charakteryzowana przez: 1. funkcje według których neuron reaguje na docierające do niego pobudzenia, nazywane funkcjami pobudzania (propagacji) i funkcjami aktywacji; 2. strukturę połączeń pomiędzy neuronami, nazywaną architekturą sieci; 3. metodę określania wag tych połączeń, nazywaną algorytmem uczenia.

Model pojedynczego neuronu Rozróżnimy dwa rodzaje neuronów:  neurony statyczne,  neurony dynamiczne, Model neuronu statycznego

Opis matematyczny neuronu o numerze k: Pobudzenie neuronu o numerze k: Odpowiedź neuronu o numerze k: Na przykład:

Uproszczony model neuronu statycznego lub

Neurony liniowe Te sa proste ale maja ograniczenia obliczeniowe Jak zrozumiemy uczenie tych neuronow to byc moze zrozumimy bardziej zlozone neurony wartosc progowa (bias) wejscie y waga wejsciowa wyjscie indeks wejscia

Neurony z unipolarna funckja progowa (Binary threshold neurons) McCulloch-Pitts (1943): Oblicz wazona sume sygnalow wejscia Jesli ta suma przekracza wartosc progowa to wyslij sygnal wyjsciowy o stalej wartosci. 1 jesli 0 poza tym y z 1 prog (threshold)

Neurony liniowe z progiem (Linear threshold neurons) Obliczaja liniowa wazona sume wejsc Wyjscie jest nieliniowa funkcja wejsc y 0 poza tym z prog

Neurony sigmoidalne Maja wyjscie o wartosci rzeczywistej ktore jest gladka i ograniczona funkcja wejsc Pochodne tej funkcji sa latwo liczone co sprzyja uczeniu Jesli potraktujemy jako prawdopodobienstwo wytworzenia impulsu, to otrzymamy stochastyczne neurony binarne 1 0.5

(k - numer neuronu, j - numer wejścia neuronu) Funkcje pobudzania (wejscia) (k - numer neuronu, j - numer wejścia neuronu) 1. Funkcja sumy 2. Funkcja iloczynu 3. Funkcja maksimum 4. Funkcja minimum 5. Funkcja majoryzacji gdzie: 6. Funkcja sumy kumulowanej

Funkcje aktywizacji (wyjscia) 1. Funkcja przekaźnikowa a) unipolarna (niesymetryczna) b) bipolarna (symetryczna) 2. Funkcja liniowa 3. Funkcja liniowa dodatnia

4 a). Funkcja liniowa z nasyceniem niesymetryczna 4 b). Funkcja liniowa z nasyceniem symetryczna 5 a). Funkcja sigmoidalna logarytmiczna unipolarna (niesymetryczna) 8. Funkcja sigmoidalna logarytmiczna bipolarna (symetryczna)

10. Funkcja sigmoidalna tangensa hiperbolicznego bipolarna (symetryczna) 11. Funkcje radialne (Radial Basis) Przyklady: funkcje Gaussa spline plytkowy (thin plate spline)

Warstwa Neuronow Układ neuronów nie powiązanych ze sobą (wyjścia neuronów nie są połączone z wejściami innych neuronów warstwy) do których docierają sygnały z tych samych źródeł (neurony pracują równolegle) b (l) k g j w k1 k2 kj km 1 y (l - 1) m k- ty neuron sieci y(l -1)1 y(l -1)2 y(l -1)j y(l)k

Rodzaje polaczen sieci bez sprzężenia zwrotnego (feedforward) jednostki wyjsciowe sieci bez sprzężenia zwrotnego (feedforward) sygnały na wejściu są niezależne od sygnałów na wyjściu sieci ze sprzężeniem zwrotnym (feedback) sygnały wyjściowe są pośrednio lub bezpośrednio podawane na wejście. są to dynamiczne sieci autoasocjacyjne graf sieci ma cykle skierowane jednostki ukryte jednostki wejsciowe