Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Dla uproszczenia, skupmy się dalej na sieciach o jednym wyjściu i jednym wejściu (SISO)

Wartość wyjścia sieci

Wartość wyjścia sieci - macierzowo

Wartość wyjścia sieci - macierzowo

Elementarna komórka jednowarstwowa Czy potrafimy sobie wyobrazić jak działa sieć neuronowa? Zbudujmy przykładową sieć perceptronową , przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych neuronów Elementarna komórka jednowarstwowa (dwuwarstwowa)

Połączenie komórek elementarnych .

Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcji Uproszczenia i wynik końcowy . Sieć dwuwarstwowa (trójwarstwowa) Sieć dwuwarstwowa (trójwarstwowa) – narzędzie aproksymacji funkcji

Przykład Weźmy dwuwarstwową (trójwarstwową) sieć o strukturze 1-2-1 Liczba wejść Liczba neuronów warstwy 1 Liczba neuronów warstwy 2 – liczba wyjść Funkcje aktywacji kolejnych warstw są następujące

Struktura sieci

Bieżące wartości wag i progów Zakres zmian wejścia sieci

Składowe odpowiedzi sieci

Przykłady – funkcje jednej zmiennej; a funkcje większej liczby zmiennych? x1 x2

x1 x2

Właściwości aproksymacyjne perceptronów wielowarstwowych Odpowiednio skonstruowane sieci wielowarstwowe są uniwersalnymi aproksymatorami ! Podam twierdzenie, które zapewnia, że standardowa sieć wielowarstwowa z pojedynczą warstwą ukrytą składającą się z skończonej liczby neuronów jest uniwersalnym aproksymatorem

W 1989r. Funahashi udowodnił następujące twierdzenie Niech będzie niestałą, ograniczoną i monotonicznie rosnącą funkcją. Niech ponadto będzie zbiorem zwartym i będzie rzeczywistowartościową funkcją na . Wówczas dla dowolnej wartości istnieją stała oraz stałe rzeczywiste takie, że spełnia

Sieć neuronowa Funahashi

Metody uczenia sieci neuronowych W korzystaniu z sieci neuronowej można wyróżnić dwa etapy:  etap uczenia – w oparciu o przedstawiane sieci dane, sieć uczy się realizować zadanie dla którego została zbudowana  etap uogólniania – sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów

Podstawowy podział metod uczenia to rozróżnienie pomiędzy uczeniem z nadzorem (supervised learning) i bez nadzoru (unsupervised learning)  W uczeniu z nadzorem występuje “nauczyciel”, który w fazie uczenia sieci, “mówi” sieci jak dobrze ona działa (uczenie z ukierunkowywaniem - reinforcement learning) lub jakie powinno być prawidłowe zachowanie sieci (uczenie z całkowitym nadzorem - fully supervised learning)

Proces uczenia z całkowitym nadzorem  Posiadany pewien zbiór wektorów (wzorców) wejściowych sieci o liczebności Q, które zamierzamy wykorzystać w procesie uczenia sieci realizacji zadania – wektory te będziemy nazywać uczącymi wzorcami wejściowymi. Możemy z posiadanych wektorów utworzyć macierz wzorców wejściowych uczących P(atterns)

Proces uczenia z całkowitym nadzorem – c.d.  Dla każdego wzorca wejściowego uczącego posiadamy wektor wyjściowy sieci jakim powinna ona odpowiedzieć na dany wzorzec wejściowy - wektor ten nazywamy wzorcem wyjściowym docelowym. Z wektorów tych możemy utworzyć macierz wzorców wyjściowych docelowych T(argets) Macierze P oraz T nazywamy zbiorami uczącymi - ich elementami są kolumny wzorców wejściowych oraz wzorców wyjściowych docelowych.

Proces uczenia z całkowitym nadzorem – c.d.  Faktycznie sieć na każdy z wzorców wejściowych odpowiada wektorem wyjściowym, który będziemy nazywać wzorcem wyjściowym rzeczywistym – z wektorów tych możemy utworzyć macierz wzorców rzeczywistych A(nswers)

Proces uczenia z całkowitym nadzorem – c.d.  Wektory z wejściowego zbioru uczącego są przedstawiane sieci w pewnej kolejności  Jeżeli wyjście sieci jest poprawne, to znaczy wzorzec rzeczywisty jest równy wzorcowi docelowemu, nie dokonywane są żadne zmiany wartości wag i progów  Jeżeli wyjście sieci nie jest poprawne, to znaczy wzorzec rzeczywisty nie jest równy wzorcowi docelowemu, wagi i progi są modyfikowane przy użyciu odpowiedniej reguły uczenia w taki sposób, aby minimalizować występujące różnice

Proces uczenia z całkowitym nadzorem – c.d.  Pełne przejście przez wszystkie wzorce uczące nazywane jest epoką uczenia  Jeżeli takie pełne przejście zbioru uczącego zajdzie bez pojawienia się błędu lub pewna miara wszystkich pojawiających się błędów jest wystarczająco mała, uczenie uznaje się za zakończone - możemy wówczas powiedzieć, że zbiór uczący jest ,,znany" sieci lub "znany" z zadowalającą dokładnością  Jeżeli takie pełne przejście zbioru uczącego zajdzie z pojawieniem się błędu lub pewna miara wszystkich pojawiających się błędów nie jest wystarczająco mała, uczenie jest kontynuowane – rozpoczynamy kolejną epokę uczenia

Sprawdzenie zdolności uogólniania sieci  Po zakończeniu procesu uczenia możemy podawać na wejście sieci wzorce nie pochodzące z uczącego zbioru wejściowego, to znaczy nie będące uczącym wzorcem wejściowym – w ten sposób możemy badać, czy sieć efektywnie uogólnia rozwiązywanie zadania, którego się uczyła na przykładach  Jeżeli tak, to na podany na wejście wzorzec powinna ona odpowiedzieć wzorcem wyjściowym równym lub bliskim wzorcowi docelowemu, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi  Jeżeli nie, to na podany na wejście wzorzec sieć odpowie wzorcem wyjściowym odległym od wzorca docelowego, który odpowiada wzorcowi wejściowemu bliskiemu podanemu wzorcowi