Struktury Sieci Neuronowych

Prezentacja na temat: "Struktury Sieci Neuronowych"— Zapis prezentacji:

1 Struktury Sieci Neuronowych
Inteligentne Systemy Autonomiczne Struktury Sieci Neuronowych W oparciu o wykład Prof. Geoffrey Hinton University of Toronto i Dr Kazimierza Duzinkiewicza, Politechnika Gdańska Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

2 Struktury Sieci Neuronowych
Architektury sztucznych sieci neuronowych mogą być ogólnie podzielone na trzy duże kategorie: (i) sieci jednokierunkowe (jedno lub wielowarstwowe) (ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) (iii) sieci komórkowe

3 Struktury Sieci Neuronowych
(i) sieci jednokierunkowe (jedno lub wielowarstwowe) (a) jednowarstwowe x y L  przepływ sygnałów od źródeł do warstwy neuronów wyjściowych (b) wielowarstwowe x y L1 L2 L3

4 Struktury Sieci Neuronowych
Przykłady i terminologia: (b) sieć wielowarstwowa we1 we2 we3 we4 we5 we6 we7 we8 we9 we10 n1 n2 n3 n4 n5 n6 wy1 wy2 Warstwa wejściowa węzłów źródłowych Warstwa neuronów ukrytych Warstwa neuronów wyjściowych (a) sieć jednowarstwowa we1 we2 we3 we4 n1 n2 n3 n4 wy1 wy2 wy3 wy4 Warstwa wejściowa węzłów źródłowych Warstwa neuronów wyjściowych

5 Struktury Sieci Neuronowych
(ii) sieci ze sprzężeniem zwrotnym (rekurencyjne) x L1 y L2 L3 + -   w sieci występuje co najmniej jedna pętla sprzężenia zwrotnego – sygnał wyjściowy z warstwy dalszej jest kierowany do wejść tej samej lub wcześniejszych warstw

6 Struktury Sieci Neuronowych
Przykłady i terminologia: Wyjścia Wejścia Operator opóźnienia jednostkowego Operator opóźnienia jednostkowego Wyjścia  w sieci mogą występować pętle samo – sprzężenia zwrotnego

7 Struktury Sieci Neuronowych
(iii) sieci komórkowe  regularnie rozmieszczone przestrzennie neurony zwane komórkami  każda komórka powiązana bezpośrednio z wszystkimi komórkami swego najbliższego sąsiedztwa (przyległymi)  powiązania pomiędzy komórkami są dwukierunkowe

8 Połączenia w perceptronie
Wejście jest zakodowane przy użyciu ręcznie wprowadzonych cech. Tylko wagi ostatniej warstwy są uczone. Na wyjściu są neurony progowe z których każdy jest uczony niezależnie. jednostki wyjścia niezmienne ręcznie określone cechy jednostki wejścia

9 Czy przetwarzanie wstępne jest oszustwem?
Może wyglądać to na próbę oszustwa jeśli celem jest pokazanie skuteczności uczenia. Najtrudniejsza praca jest wykonana przez określenie cech. Ale nie będziemy oszukiwać jeśli nauczymy się tych cech. Sprawia to że uczenie jest znacznie trudniejsze i bardziej interesujące. Nie będziemy oszukiwać jeśli użyjemy dużej ilości cech nieliniowych stosowanych niezależnie od konkretnego zadania. Support Vector Machines umożliwia użycie dużej ilości cech bez potrzeby wielu obliczeń lub danych.

10 Co mogą perceptrony? Mogą rozwiązać zadania tylko pod warunkiem że ręcznie wprowadzone cechy zamienia oryginalny problem do separowalnego liniowo. Sprawdzenie parzystości N-bitow: Wymaga N cech w postaci: Czy co najmniej k bitów jest 1? Każda cecha musi sprawdzić wszystkie wejścia układu. Zadanie łączności 2-wymiarowej Wymaga wykładniczej ilości cech! Sprawdzenie parzystości 7-bitow    1