Andrzej Bielecki AGH Wydział EAIiIB Katedra Informatyki Stosowanej Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych. Andrzej Bielecki AGH Wydział EAIiIB Katedra Informatyki Stosowanej

Plan wykładu Systemy sztucznej inteligencji – podstawy. 2. Zagadnienia matematyczne w warstwowych sieciach neuronowych. Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych

Systemy sztucznej inteligencji – podstawy

Własności systemu przejawiającego inteligencję Rodzaje zadań rozwiązywanych przez systemy inteligentne Obszary zastosowań Rodzaje systemów sztucznej inteligencji:

Sieci neuronowe Podstawy biologiczne Model neuronu Taksonomia metod nauki 2. Systemy ekspertowe Systemy regułowe Systemy ramowe Sieci semantyczne Model obliczeniowy 3. Algorytmy ewolucyjne Operatory genetyczne Podstawowe algorytmy genetyczne 4. Liczne inne.

Monografia przeglądowa: Flasiński M., Wstęp do sztucznej inteligencji, PWN, Warszawa, 2011

Własności sytemu przejawiającego inteligencję zdolność uczenia się zdolność generalizacji, w tym umiejętność ekstrahowania cech ważnych w analizowanym zjawisku oraz kreacja modeli zdolność przewidywania przyszłości zdolność rozwiązywania nowych zadań zdolność rozwiązywania złożonych zadań

Rodzaje zadań rozwiązywanych przez systemy inteligentne Diagnostyka Rozpoznawanie wzorców – klasyfikacja Predykcja Sterowanie ( w czasie rzeczywistym)‏ Optymalizacja (w tym kompresja danych)‏

Zastosowania W technice: diagnostyka układów technicznych rozpoznawanie wzorców w systemach wizyjnych sterowanie(np. linią produkcyjną, manipulatorami robota, ruchem samochodowym)‏

W medycynie: diagnostyka i rozpoznawanie obrazów i wzorców

W ekonomii: predykcja popytu i podaży, cen, trendów(szeregi czasowe- met. statystyczne)‏ ocena np.. wycena nieruchomości wybór strategii inwestycyjnej

Cybernetyczny model neuronu neuron jest jednostką przetwarzającą impulsy; posiada wiele wejść (dendryty) i jedno wyjście (akson)-chociaż akson jest rozgałęziony, to do każdej kolbki doprowadzany jest ten sam sygnał i stąd możemy przyjąć, że wyjście jest jedno;

wejścia neuronu są ważone – w różnych synapsach mogą się uwolnić różne rodzaje neurotransmiterów pod wpływem takiego samego impulsu; w różnych synapsach mogą się uwolnić różne ilości tego samego neurotransmitera pod wpływem tego samego impulsu;

wagi wejść zmieniają się w czasie – w tej samej synapsie w różnych chwilach czasowych pod wpływem takiego samego impulsu mogą się wyzwolić różne ilości neurotransmitera;

Neuron biologiczny

Cybernetyczny model neuronu McCullocha-Pittsa

Przykład warstwowej sztucznej sieci neuronowej (perceptronu)

Systemy ekspertowe Ze względu na organizację bazy wiedzy można wyróznić: 1. Systemy regułowe – oparte na logice. 2. Sieci semantyczne i mapy przyczynowe – oparte na grafach. 3. Systemy ramowe. 4. Modele obliczeniowe.

Systemy regułowe Systemy regułowe są oparte na logice matematycznej, w najprostszej wersji na klasycznym rachunku zdań. Algorytm wnioskowania wykorzystuje logiczne reguły wnioskowania. W wersji opartej na rachunku zdań jest to modus ponens i przechodniość implikacji. Wyróżniamy trzy podstawowe rodzaje algorytmów wnioskowania w systemach regułowych: wnioskowanie wstecz wnioskowanie w przód drzewo wywodu

Reguły wnioskowania Niech A1,...An będzie dowolnym ciągiem skończonym schematów logicznych (tzn. zdań prostych lub złożonych zbudowanych ze zmiennych zdaniowych, funktorów logicznych). Mówimy, że schemat B jest logiczną konsekwencją schematów A1,...An i piszemy A1,...An B jeśli spełniony jest warunek: Przy każdym układzie wartości logicznych takim, że prawdziwe są wszystkie zdania A1,...An prawdziwe jest też zdanie B.

Reguły wnioskowania to operacje, które skończonym ciągom schematów A1,...An przypisują schemat B w taki sposób, że B jest logiczną konsekwencją A1,...An . A1,...An nazywamy przesłankami a B wnioskiem Reguła modus ponens: A, AB B czyli [A  (A  B)]  B oraz przechodniość implikacji [(A  B)  (B  C)]  (A  C)‏

Wnioskowanie wstecz Załóżmy, że mamy następującą regułową bazę wiedzy zawierającą 5 reguł: R1: IF p AND q THEN s R2: IF r THEN t R3: IF s AND t THEN u R4: IF w AND u THEN v R5: IF q THEN w

wejście: q, r, p czy na podstawie bazy wiedzy można wywnioskować v? Wnioskowanie: BF={q, r, p} R4 reguła z wnioskiem v czy u, wBF ? nie czy da się wywnioskować u? R3 reguła z wnioskiem u czy s, tBF ? nie czy da się wywnioskować t? R2 reguła z wnioskiem t czy r BF ? tak BF=BF  {r}={q, r, p, t} czy da się wywnioskować s? R1 reguła z wnioskiem s

czy p, q BF ? tak BF=BF{s}={q, r, p, t, s} BF={q, r, p, t, s, u} czy da się wywnioskować w? R5 reguła z wnioskiem w czy q BF ? tak BF=BF {w}={q, r, p, t, s, u, w} v=TRUE

Wnioskowanie w przód Przy tej samej bazie reguł załóżmy, że na wejście podajemy fakty q, s, t. zadanie: wywnioskować wszystko co się da Wnioskowanie: BF={q, s, t} 1 iteracja ( przechodzę wszystkie reguły i sprawdzam czy na podstawie mojej bazy faktów dana reguła może zostać wykorzystana)‏ R1: nie R2: nie R3: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t,u} R4: nie

R5: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w} 2 iteracja R1: nie R2: nie R4: mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w, v} 3 iteracja stop ( więcej reguł nie ma)‏

kwota do zainwestowania Drzewo wywodu kwota do zainwestowania powyżej 30000 do 5000 od 5000 do 30000 dochód na osobę wiek wiek <35 lat >35lat <35lat >35lat poniżej śred. powyżej śr lokata obligacje fundusz obligacje nieruch. akcje

Każda ścieżka w drzewie utworzy nam jedną regułę w bazie wiedzy. R1: If kwota do zainwestowania = do 5000 and dochód na osobę =poniżej średniej then inwestycja = lokata w banku R2: If kwota do zainwestowania = do 5000 and dochód na osobę =powyżej średniej then inwestycja = obligacje R3: If kwota do zainwestowania = do 5000 do 30000 and wiek =do 35 lat then inwestycja = fundusz powierniczy

R4: If kwota do zainwestowania = od 5000 do 30000 and wiek = powyżej 35 lat then inwestycja = obligacje R5: If kwota do zainwestowania = powyżej 30000 and wiek = do 35 lat then inwestycja = akcje R6: If kwota do zainwestowania = powyżej 30000 then inwestycja = nieruchomości

Sieci semantyczne Sieci semantyczne są wzorowane na modelu ludzkiej pamięci w sensie psychologicznym. Zostały wprowadzone przez Quilliana (1968). Tworząc sieć semantyczną tworzymy pewien graf, którego węzłami są obiekty lub zbiory obiektów a gałęziami są relacje. Relacje mogą być różnego typu na przykład strukturalne, funkcjonalne lub przestrzenne. Wnioskowanie w sieci semantycznej oznacza przeszukiwanie grafu.

Przykład sieci semantycznej jest jest Lokomotywa Maszyna Kalkulator jest typem jest Abakus jest częścią jest Procesor Komputer VAX jest częścią

Zastosowanie sieci semantycznych Sieci semantyczne są często stosowane w systemach analizy i rozumienia języka naturalnego. Są również przydatne do tłumaczenia z jednego języka na inny oraz wspomagania uczenia.

Model obliczeniowy W modelu obliczeniowym baza wiedzy ma postać wzorów matematycznych natomiast algorytm wnioskowania polega na odpowiednim przekształcaniu tych wzorów aby obliczyć zmienną szukaną. W związku z potrzebą przekształcania wzorów muszą one być reprezentowane przy pomocy dynamicznych struktur danych co oznacza, że na poziomie implementacyjnym reprezentowane są za pomocą list.

Zagadnienia matematyczne w sieciach neuronowych

Problemy optymalizacyjne a) Zadania optymalizacyjne rozwiązywane przy pomocy ANNs b) Optymalizacja ANNs, np. procesu nauki Problemy aproksymacyjne Problemy związane z dynamiką a) Badanie dynamiki nauczonej sieci rekurencyjnej b) Badanie dynamiki procesu nauki sieci neuronowej Publikacja przeglądowa: Bielecki A., Matematyczne podstawy sztucznych sieci neuronowych, Matematyka Stosowana, vol.4, 2003, 25-55.

Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki

Bielecki A., Ombach M., Dynamical properties of a perceptron learning process – structural stability under numerics and shadowing , Journal of Nonlinear Science, vol.21, 2011, 579-593.   Bielecki A., Ombach J., Shadowing property in analysis of neural network dynamics, Journal of Computational and Applied Mathematics, vol.164-165, 2004, 107-115. Bielecki A., Jabłoński D., Kędzierski M., Properties and applications of weakly nonlinear neurons, Journal of Computational and Applied Mathematics, vol.164-165, 2004, 93-106. Bielecki A., Dynamical properties of learning process of weakly nonlinear and nonlinear neurons, Nonlinear Analysis: Real World Applications, vol.2, 2001, 249-258.

Podstawy Matematyczne

Topologiczne sprzężenie Definicja Niech M będzie rozmaitością riemanowską. Mówimy, że dyfeomorfizmy f,g: MM są topologicznie sprzężone jeśli istnieje homeomorfizm : MM taki, że f °= °g. Uwaga. Kaskady generowane przez topologicznie sprzężone dyfeomorfizmy mają taką samą dynamikę.

Twierdzenie Z: M – gładka, skończenie wymiarowa rozmaitość riemanowska bez brzegów z metryką ; F – pole wektorowe klasy C2 na M; : MℝM - potok generowany przez: dx/dt = F(x); h: MM jest dyskretyzacją czasową , tzn. h(x) = (x,h); h,p – dyfeomorfizm generowany przez metodę R-K rzędu p=1,2,… T > 0 jest ustalone. T: Dla dostatecznie dużego m i dla każdego p istnieje homeomorfizm m: MM taki, że (T/m,p)m ° m = m ° T Ponadto limm∞ (m(x), x) = 0.

Definicja Niech h: MM oznacza operator generowany przez metodę numeryczną z krokiem h zastosowaną do równania różniczkowego generującego potok . Mówimy, że potok  jest numerycznie stabilny względem h jeśli operator h oraz dyskretyzacja h potoku  są topologicznie sprzężone dla dostatecznie małych h. Mówimy, że dana własność jest generyczna w przestrzeni topologicznej X jeśli posiada ją pewien zbiór otwarty i gęsty w X.

Własność shadowing Definicja Mówimy, że ciąg {yk}k∈ℤ jest -pseudoorbitą dyfeomorfizmu f: MM jeśli (f(yk), yk+1) ≤ . Mówimy, ze kaskada generowana przez dyfeomorfizm f: MM ma własność shadowing jeśli dla każdego >0 istnieje >0 taka, że dla każdej -pseudoorbity {yk}k∈ℤ dyfeomorfizmu f istnieje x∈M takie, że dla każdej liczby całkowitej k zachodzi (yk, f k(x)) ≤ .

Własność inverse shadowing Niech Mℤ oznacza zbiór wszystkich ciągów punktów należących do M indeksowanych zbiorem liczb calkowitych. Definicja Odwzorowanie f nazywamy -metodą dyfeomorfizmu f jeśli: f(y)0 = y dla każdego y∈M; f(y) jest -pseudoorbitą dyfeomorfizmu f.

Definicja Rodzinę T(f) -metod dyfeomorfizmu f”: MM taką, że dla każdego >0 istnieje -metoda należąca do T(f) nazywamy klasą. Niech k, k∈ℤ oznacza rodzinę ciągłych odwzorowań na M taką, że 0=idM oraz, dla każdego k∈ℤ, zachodzi D∞(f ° k, k+1) ≤, gdzie D∞(f, g) := supx∈M (f(x),g(x)).

Zdefiniujmy następujące klasy: c składa się z metod postaci f(y) = {k(y)}k∈ℤ, y∈M. s składa się z metod postaci f(y) = {yk}k∈ℤ, y0=y, yk+1= k(yk).  := c ∪ s.

Definicja Niech T(f) będzie klasą. Mówimy, że f ma własność T-inverse shadowing jeśli dla dowolnego >0 istnieje >0 taka, że dla każdej orbity {xk}k∈ℤ oraz dowolnej -metody f ∈T(f) istnieje y∈M taki, że dla wszystkich całkowitych k zachodzi (xk, f (y)k ) ≤ . Mówimy, że kaskada generowana przez dyfeomorfizm f ma własność T – bishadowing jeśli ma własnosć shadowing oraz T – inverse shadowing.

Proces nauki perceptronów

Załóżmy, że w∈ℝn jest wektorem wszystkich wag perceptronu oraz że dany jest ciąg uczący i funkcja kryterialna E: ℝnℝ. Niech nauka perceptronu będzie metodą h,p zastosowaną do równania dw/dt = -grad E(w). Ustalmy T>0 oraz r>0.

Twierdzenie Istnieją zwarta, gładka, n-wymiarowa rozmaitość bez brzegów M oraz funkcja V: ℝnℝ takie, że B(0,2r)⊂M oraz V|B(0,r) = E takie, że potok  generowany przez równanie dw/dt = -grad V(w) jest generycznie numerycznie stabilny względem operatora h,p zastosowanego do powyższego równania rózniczkowego. Ponadto, kaskada generowana przez dyskretyzację oraz kaskada generowana przez operator numeryczny mają, generycznie, własność T – bishadowing, gdzie T=.