SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA MODUŁ CZWARTY : SZTUCZNE SIECI NEURONOWE 22. Wybór metodologii rozwiązywania problemu w zależności od złożoności formalnej zjawiska oraz stopnia zrozumienia dynamiki jego przebiegu.. 23. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań. 24. Modele proste i struktury perceptronowe Sztucznych Sieci Neuronowych. 25. Algorytmy uczenia sieci perceptronowej. 26. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps. 27. Rekurencyjne warianty Sztucznych Sieci Neuronowych.

22. Wybór metodologii rozwiązywania problemu w zależności od złożoności formalnej zjawiska oraz stopnia zrozumienia dynamiki jego przebiegu. - Wnioskowanie algorytmiczne stosowane jest w przypadku możliwości precyzyjnego zrozumienia i opisania zjawiska (istnieje wiedza pozwalająca na zamodelowanie zjawiska w postaci zależności jawnie zdefiniowanych i deterministycznych), - Wnioskowanie dedukcyjne stosowane jest dla zjawisk, których nie potrafimy precyzyjnie opisać w postaci matematycznej, ale na podstawie bezpośredniej obserwacji możemy wykryć pewne, stałe wzorce zjawiska, - Wnioskowanie indukcyjne stosowane jest w przypadku braku możliwości bezpośredniego, precyzyjnego określenia stałych wzorców przebiegu zjawiska.

23a. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań. Sztuczne sieci neuronowe są systemem wzajemnie połączonych prostych elementów przetwarzających informacje, zwanych neuronami, jednostkami lub węzłami. (SSN należą do klasy systemów uczących się). Do połączeń między elementami przyporządkowane są współczynniki wagowe, określające siłę powiązań i tworzące zbiór parametrów modelu. Współczynniki wagowe są przydzielone lub wyznaczone w procesie treningowym, zmierzającym do nauczenia SSN identyfikowania wzorców albo odwzorowywania przekształceń. Sieci neuronowej nadaje się pewną strukturę; jej jednostki grupowane są w tzw. warstwy (architektura SSN). 4

Proces uczenia SSN polega na iteracyjnym 23b. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań. Proces uczenia SSN polega na iteracyjnym modyfikowaniu współczynników wagowych połączeń jej neuronów. Ze względu na sposób prowadzenia treningu wyróżniamy dwie grupy algorytmów uczących: - uczenie nadzorowane (z nauczycielem); dane treningowe zawierają zestaw sygnałów wejściowych sieci oraz poprawnych reakcji systemu; uczenie polega na takiej modyfikacji wag, aby rzeczywiste wyjścia były jak najbliższe wartościom pożądanym. - uczenie bez nadzoru; dane treningowe obejmują jedynie zbiór sygnałów wejściowych (bez informacji o pożądanych reakcjach); sieć ma za zadanie samodzielnie przeanalizować zależności i korelacje w zbiorze treningowym (self-organising networks). 5

Sztuczne sieci neuronowe realizują najczęściej 23c. Sztuczne Sieci Neuronowe – pojęcie i kierunki zastosowań. Sztuczne sieci neuronowe realizują najczęściej następujące rodzaje przetwarzania: przypominanie (odzyskiwanie lub interpretowanie) zmagazynowanych w Sztucznej Sieci Neuronowej informacji, klasyfikowanie, rozpoznawanie, estymacja (aproksymacja, interpolacja, filtrowanie, prognozowanie, predykcja), optymalizacja ( w tym rozwiązywanie równań liniowych i nieliniowych), sterowanie inteligentne (bez konieczności opracowania modelu, oparte wyłącznie na doświadczeniu). 6

24 a. Modele proste i struktury perceptronowe Sztucznych Sieci Neuronowych. Najbardziej znanymi prostymi modelami neuronu są: d) model ADALINE (Adaptive Linear Neuron), a) model liniowy, b) model nieliniowy skokowy tzn. ogranicznik twardy, e) model MADALINE (Many Adaptive Linear Neurons). c) model nieliniowy sigmoidalny, 7

24 b. Modele proste i struktury perceptronowe Sztucznych Sieci Neuronowych Poszczególne neurony są łączone w pewnego rodzaju struktury, które tworzą sieci. Znanych około 50 typów takich sieci, z czego 15 zyskało znaczenie praktyczne. Sieć Hopfielda Przykładowa struktura perceptronu wielowarstwowego Sieć Hamminga 8

Algorytm nadzorowanego uczenia sieci 25 a. Algorytmy uczenia sieci perceptronowej. Algorytm nadzorowanego uczenia sieci perceptronowej polega na wielokrotnym, iteracyjnym prezentowniu sieci par wektorów: wzorca wejściowego WW i odpowiadającego mu wzorca treningowego WT. Celem uczenia jest takie dostosowanie wag, aby reakcja sieci na WW była jak najbliższa wartościom pożądanym wzorca treningowego. Jednym z najczęściej stosowanych rozwiązań dla tego typu problemów jest metoda najmniejszych kwadratów (minimalizacja błędu średniokwadratowego modelu). 9

25 b. Algorytmy uczenia sieci perceptronowej. Uogólnieniem metody najmniejszych kwadratów na sieci wielowarstwowe jest tzw. algorytm wstecznej propagacji błędu. Pojedynczy krok tej metody nie wymaga dużych nakładów obliczeniowych. W rzeczywistości tysiące jego powtórzeń powodują, że czas uczenia sieci dochodzi do wielu godzin. 10

26 a. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps. Jest to specyficzna grupa sieci neuronowych spełniających najczęściej funkcje klasyfikatorów względnie ułatwiających grupowanie danych. Składają się z warstwy wejściowej oraz jednej warstwy neuronów przetwarzających. Każdy neuron w warstwie Kohonena połączony jest ze wszystkimi wejściami. W sieciach Kohonena stosowany jest algorytm uczenia, zwany uczeniem konkurencyjnym. Neurony w sieci, w odpowiedzi na sygnał wejściowy, rywalizują ze sobą. Neuron zwycięski oraz jego najbliższe otoczenie podlegają procesowi uczenia, polegającemu na zbliżeniu ich wag do wektora wejściowego. 11

26 b. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps. Najczęściej wykorzystywanym rodzajem sieci Kohonena są sieci SOM (Self Organising Maps) czyli mapy sieci. Warstwa konkurencyjna ma w nich z reguły postać dwu- lub jednowymiarowej tablicy neuronów. Połączone są one ze wszystkimi wejściami, a więc każdy neuron ma tyle współczynników wagowych, ile jest wejść sieci. 12

26 c. Sieci Kohonena: Learning Vector Quantization i Self Organizing Maps. Często wykorzystywanym rodzajem sieci Kohonena są Sieci LVQ (Learning Vector Quantization). Są one przykładem nadzorowanego uczenia konkurencyjnego. Każdy wektor treningowy musi musi być oznaczony etykietą swojej klasy. Poszczególnym klasom w sieci LVQ przyporządkowany jest jeden lub kilka neuronów w warstwie konkurencyjnej. Każda jednostka jest połączona ze wszystkimi wejściami. 13

27 a. Rekurencyjne warianty Sztucznych Sieci Neuronowych. W topologii sieci rekurencyjnych dopuszcza się zastosowanie połączeń wstecznych. Sygnał wyjściowy z dowolnej jednostki może być przekazany również (bezpośrednio lub za pośrednictwem innych neuronów) na jej wejście. Stan neuronu staje się więc zależny nie tylko od wartości sygnału wejsciowego, ale również od przeszłego stanu dowolnej jednostki, nie wykluczając tego właśnie neuronu. Najprostszym przykładem jest tu modyfikacja jednokierunkowej sieci typu wstecznej propagacji przez dodanie w warstwie wejściowej jednostek tzw. kontekstu. 14

27 b. Rekurencyjne warianty Sztucznych Sieci Neuronowych. 15