Struktury Sieci Neuronowych Inteligentne Systemy Autonomiczne Struktury Sieci Neuronowych W oparciu o wykład Prof. Geoffrey Hinton University of Toronto i Dr Kazimierza Duzinkiewicza, Politechnika Gdańska Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Struktury Sieci Neuronowych Architektury sztucznych sieci neuronowych mogą być ogólnie podzielone na trzy duże kategorie: (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) (iii) sieci komórkowe

Struktury Sieci Neuronowych (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (a) jednowarstwowe x y L  przepływ sygnałów od źródeł do warstwy neuronów wyjściowych (b) wielowarstwowe x y L1 L2 L3

Struktury Sieci Neuronowych Przykłady i terminologia: (b) sieć wielowarstwowa we1 we2 we3 we4 we5 we6 we7 we8 we9 we10 n1 n2 n3 n4 n5 n6 wy1 wy2 Warstwa wejściowa węzłów źródłowych Warstwa neuronów ukrytych Warstwa neuronów wyjściowych (a) sieć jednowarstwowa we1 we2 we3 we4 n1 n2 n3 n4 wy1 wy2 wy3 wy4 Warstwa wejściowa węzłów źródłowych Warstwa neuronów wyjściowych

Struktury Sieci Neuronowych (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) x L1 y L2 L3 + -   w sieci występuje co najmniej jedna pętla sprzężenia zwrotnego – sygnał wyjściowy z warstwy dalszej jest kierowany do wejść tej samej lub wcześniejszych warstw

Struktury Sieci Neuronowych Przykłady i terminologia: Wyjścia Wejścia Operator opóźnienia jednostkowego Operator opóźnienia jednostkowego Wyjścia  w sieci mogą występować pętle samo – sprzężenia zwrotnego

Struktury Sieci Neuronowych (iii) sieci komórkowe  regularnie rozmieszczone przestrzennie neurony zwane komórkami  każda komórka powiązana bezpośrednio z wszystkimi komórkami swego najbliższego sąsiedztwa (przyległymi)  powiązania pomiędzy komórkami są dwukierunkowe

Połączenia w perceptronie Wejście jest zakodowane przy użyciu ręcznie wprowadzonych cech. Tylko wagi ostatniej warstwy są uczone. Na wyjściu są neurony progowe z których każdy jest uczony niezależnie. jednostki wyjścia niezmienne ręcznie określone cechy jednostki wejścia

Czy przetwarzanie wstępne jest oszustwem? Może wyglądać to na próbę oszustwa jeśli celem jest pokazanie skuteczności uczenia. Najtrudniejsza praca jest wykonana przez określenie cech. Ale nie będziemy oszukiwać jeśli nauczymy się tych cech. Sprawia to że uczenie jest znacznie trudniejsze i bardziej interesujące. Nie będziemy oszukiwać jeśli użyjemy dużej ilości cech nieliniowych stosowanych niezależnie od konkretnego zadania. Support Vector Machines umożliwia użycie dużej ilości cech bez potrzeby wielu obliczeń lub danych.

Co mogą perceptrony? Mogą rozwiązać zadania tylko pod warunkiem że ręcznie wprowadzone cechy zamienia oryginalny problem do separowalnego liniowo. Sprawdzenie parzystości N-bitow: Wymaga N cech w postaci: Czy co najmniej k bitów jest 1? Każda cecha musi sprawdzić wszystkie wejścia układu. Zadanie łączności 2-wymiarowej Wymaga wykładniczej ilości cech! Sprawdzenie parzystości 7-bitow 1011010  0 0111000  1 1010111  1