Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu.

Podobne prezentacje


Prezentacja na temat: "Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu."— Zapis prezentacji:

1 Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych. Andrzej Bielecki AGH Wydział EAIiIB Katedra Informatyki Stosowanej

2 Plan wykładu 1.Systemy sztucznej inteligencji – podstawy. 2. Zagadnienia matematyczne w warstwowych sieciach neuronowych. 3.Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych

3 Systemy sztucznej inteligencji – podstawy

4 Własności systemu przejawiającego inteligencję Rodzaje zadań rozwiązywanych przez systemy inteligentne Obszary zastosowań Rodzaje systemów sztucznej inteligencji:

5 1.Sieci neuronowe Podstawy biologiczne Model neuronu Taksonomia metod nauki 2. Systemy ekspertowe Systemy regułowe Systemy ramowe Sieci semantyczne Model obliczeniowy 3. Algorytmy ewolucyjne Podstawy biologiczne Operatory genetyczne Podstawowe algorytmy genetyczne 4. Liczne inne.

6 Monografia przeglądowa: Flasiński M., Wstęp do sztucznej inteligencji, PWN, Warszawa, 2011

7 Własności sytemu przejawiającego inteligencję zdolność uczenia si ę zdolność generalizacji, w tym umiejętność ekstrahowania cech ważnych w analizowanym zjawisku oraz kreacja modeli zdolność przewidywania przyszłości zdolność rozwiązywania nowych zadań zdolność rozwiązywania złożonych zadań

8 Rodzaje zadań rozwiązywanych przez systemy inteligentne Diagnostyka Rozpoznawanie wzorców – klasyfikacja Predykcja Sterowanie ( w czasie rzeczywistym)‏ Optymalizacja (w tym kompresja danych)‏

9 Zastosowania W technice: –diagnostyka układów technicznych –rozpoznawanie wzorców w systemach wizyjnych –sterowanie(np. linią produkcyjną, manipulatorami robota, ruchem samochodowym)‏

10 W medycynie: diagnostyka i rozpoznawanie obrazów i wzorców

11 W ekonomii: predykcja popytu i podaży, cen, trendów(szeregi czasowe- met. statystyczne)‏ ocena np.. wycena nieruchomości –wybór strategii inwestycyjnej

12 Cybernetyczny model neuronu neuron jest jednostką przetwarzającą impulsy; posiada wiele wejść (dendryty) i jedno wyjście (akson)-chociaż akson jest rozgałęziony, to do każdej kolbki doprowadzany jest ten sam sygnał i stąd możemy przyjąć, że wyjście jest jedno;

13 wejścia neuronu są ważone – w różnych synapsach mogą się uwolnić różne rodzaje neurotransmiterów pod wpływem takiego samego impulsu; w różnych synapsach mogą się uwolnić różne ilości tego samego neurotransmitera pod wpływem tego samego impulsu;

14 wagi wejść zmieniają się w czasie – w tej samej synapsie w różnych chwilach czasowych pod wpływem takiego samego impulsu mogą się wyzwolić różne ilości neurotransmitera;

15 Neuron biologiczny

16 Cybernetyczny model neuronu McCullocha-Pittsa

17 Przykład warstwowej sztucznej sieci neuronowej (perceptronu)

18 Systemy ekspertowe Ze względu na organizację bazy wiedzy można wyróznić: 1. Systemy regułowe – oparte na logice. 2. Sieci semantyczne i mapy przyczynowe – oparte na grafach. 3. Systemy ramowe. 4. Modele obliczeniowe.

19 Systemy regułowe Systemy regułowe są oparte na logice matematycznej, w najprostszej wersji na klasycznym rachunku zdań. Algorytm wnioskowania wykorzystuje logiczne reguły wnioskowania. W wersji opartej na rachunku zdań jest to modus ponens i przechodniość implikacji. Wyróżniamy trzy podstawowe rodzaje algorytmów wnioskowania w systemach regułowych: wnioskowanie wstecz wnioskowanie w przód drzewo wywodu

20 Reguły wnioskowania Niech A 1,...A n będzie dowolnym ciągiem skończonym schematów logicznych (tzn. zdań prostych lub złożonych zbudowanych ze zmiennych zdaniowych, funktorów logicznych). Mówimy, że schemat B jest logiczną konsekwencją schematów A 1,...A n i piszemy A 1,...A n B jeśli spełniony jest warunek: Przy każdym układzie wartości logicznych takim, że prawdziwe są wszystkie zdania A 1,...A n prawdziwe jest też zdanie B.

21 Reguły wnioskowania to operacje, które skończonym ciągom schematów A 1,...A n przypisują schemat B w taki sposób, że B jest logiczną konsekwencją A 1,...A n. A 1,...A n nazywamy przesłankami a B wnioskiem Reguła modus ponens: A, A  B B czyli [A  (A  B)]  B oraz przechodniość implikacji [(A  B)  (B  C)]  (A  C)‏

22 Wnioskowanie wstecz Załóżmy, że mamy następującą regułową bazę wiedzy zawierającą 5 reguł: R 1 : IF p AND q THEN s R 2 : IF r THEN t R 3 : IF s AND t THEN u R 4 : IF w AND u THEN v R 5 : IF q THEN w

23 wejście: q, r, p czy na podstawie bazy wiedzy można wywnioskować v? Wnioskowanie: BF={q, r, p} R 4 reguła z wnioskiem v czy u, w  BF ? nie czy da się wywnioskować u? R 3 reguła z wnioskiem u czy s, t  BF ? nie czy da się wywnioskować t? R 2 reguła z wnioskiem t czy r  BF ? tak BF=BF  {r}={q, r, p, t} czy da się wywnioskować s? R 1 reguła z wnioskiem s

24 czy p, q  BF ? tak BF=BF  {s}={q, r, p, t, s} BF={q, r, p, t, s, u} czy da się wywnioskować w? R 5 reguła z wnioskiem w czy q  BF ? tak BF=BF  {w}={q, r, p, t, s, u, w} v=TRUE

25 Wnioskowanie w przód Przy tej samej bazie reguł załóżmy, że na wejście podajemy fakty q, s, t. zadanie: wywnioskować wszystko co się da Wnioskowanie: BF={q, s, t} 1 iteracja ( przechodzę wszystkie reguły i sprawdzam czy na podstawie mojej bazy faktów dana reguła może zostać wykorzystana)‏ R 1 : nie R 2 : nie R 3 : mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t,u} R 4 : nie

26 R 5 : mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w} 2 iteracja R 1 : nie R 2 : nie R 4 : mogę zastosować tzn. że rozszerzam bazę faktów BF={q, s, t, u, w, v} 3 iteracja R 1 : nie R 2 : nie stop ( więcej reguł nie ma)‏

27 Drzewo wywodu kwota do zainwestowania dochód na osobęwiek lokataobligacjefunduszobligacje akcje nieruch. do 5000od 5000 do powyżej poniżej śred.powyżej śr <35 lat>35lat<35lat>35lat

28 Każda ścieżka w drzewie utworzy nam jedną regułę w bazie wiedzy. R1: If kwota do zainwestowania = do 5000 and dochód na osobę =poniżej średniej then inwestycja = lokata w banku R2: If kwota do zainwestowania = do 5000 and dochód na osobę =powyżej średniej then inwestycja = obligacje R3: If kwota do zainwestowania = do 5000 do and wiek =do 35 lat then inwestycja = fundusz powierniczy

29 R4: If kwota do zainwestowania = od 5000 do and wiek = powyżej 35 lat then inwestycja = obligacje R5: If kwota do zainwestowania = powyżej and wiek = do 35 lat then inwestycja = akcje R6: If kwota do zainwestowania = powyżej and wiek = powyżej 35 lat then inwestycja = nieruchomości

30 Sieci semantyczne Sieci semantyczne są wzorowane na modelu ludzkiej pamięci w sensie psychologicznym. Zostały wprowadzone przez Quilliana (1968). Tworząc sieć semantyczną tworzymy pewien graf, którego węzłami są obiekty lub zbiory obiektów a gałęziami są relacje. Relacje mogą być różnego typu na przykład strukturalne, funkcjonalne lub przestrzenne. Wnioskowanie w sieci semantycznej oznacza przeszukiwanie grafu.

31 Przykład sieci semantycznej MaszynaLokomotywa Kalkulator Abakus Procesor KomputerVAX jest jest typem jest częścią jest jest częścią

32 Zastosowanie sieci semantycznych Sieci semantyczne są często stosowane w systemach analizy i rozumienia języka naturalnego. Są również przydatne do tłumaczenia z jednego języka na inny oraz wspomagania uczenia.

33 Model obliczeniowy W modelu obliczeniowym baza wiedzy ma postać wzorów matematycznych natomiast algorytm wnioskowania polega na odpowiednim przekształcaniu tych wzorów aby obliczyć zmienną szukaną. W związku z potrzebą przekształcania wzorów muszą one być reprezentowane przy pomocy dynamicznych struktur danych co oznacza, że na poziomie implementacyjnym reprezentowane są za pomocą list.

34 Zagadnienia matematyczne w sieciach neuronowych

35 1.Problemy optymalizacyjne a) Zadania optymalizacyjne rozwiązywane przy pomocy ANNs b) Optymalizacja ANNs, np. procesu nauki 2.Problemy aproksymacyjne 3.Problemy związane z dynamiką a) Badanie dynamiki nauczonej sieci rekurencyjnej b) Badanie dynamiki procesu nauki sieci neuronowej Publikacja przeglądowa: Bielecki A., Matematyczne podstawy sztucznych sieci neuronowych, Matematyka Stosowana, vol.4, 2003,

36 Zagadnienie stabilności procesu nauki warstwowych sieci neuronowych czyli: Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu nauki warstwowych sieci neuronowych

37 Bielecki A., Ombach M., Dynamical properties of a perceptron learning process – structural stability under numerics and shadowing, Journal of Nonlinear Science, vol.21, 2011, Bielecki A., Ombach J., Shadowing property in analysis of neural network dynamics, Journal of Computational and Applied Mathematics, vol , 2004, Bielecki A., Jabłoński D., Kędzierski M., Properties and applications of weakly nonlinear neurons, Journal of Computational and Applied Mathematics, vol , 2004, Bielecki A., Dynamical properties of learning process of weakly nonlinear and nonlinear neurons, Nonlinear Analysis: Real World Applications, vol.2, 2001,

38 Podstawy Matematyczne

39 Topologiczne sprzężenie Definicja Niech M będzie rozmaitością riemanowską. Mówimy, że dyfeomorfizmy f,g: M  M są topologicznie sprzężone jeśli istnieje homeomorfizm  : M  M taki, że f °  =  ° g. Uwaga. Kaskady generowane przez topologicznie sprzężone dyfeomorfizmy mają taką samą dynamikę.

40 Twierdzenie Z: M – gładka, skończenie wymiarowa rozmaitość riemanowska bez brzegów z metryką  ; F – pole wektorowe klasy C 2 na M ;  : M  ℝ  M - potok generowany przez: dx/dt = F(x);  h : M  M jest dyskretyzacją czasową , tzn.  h (x) =  (x,h);  h,p – dyfeomorfizm generowany przez metodę R-K rzędu p=1,2,… T > 0 jest ustalone. T: Dla dostatecznie dużego m i dla każdego p istnieje homeomorfizm  m : M  M taki, że (  T/m,p ) m °  m =  m °  T Ponadto lim m  ∞  (  m (x), x ) = 0.

41 Definicja Niech  h : M  M oznacza operator generowany przez metodę numeryczną z krokiem h zastosowaną do równania różniczkowego generującego potok . Mówimy, że potok  jest numerycznie stabilny względem  h jeśli operator  h oraz dyskretyzacja  h potoku  są topologicznie sprzężone dla dostatecznie małych h. Definicja Mówimy, że dana własność jest generyczna w przestrzeni topologicznej X jeśli posiada ją pewien zbiór otwarty i gęsty w X.

42 Własność shadowing Definicja Mówimy, że ciąg {y k } k ∈ℤ jest  -pseudoorbitą dyfeomorfizmu f: M  M jeśli  (f(y k ), y k+1 ) ≤ . Definicja Mówimy, ze kaskada generowana przez dyfeomorfizm f: M  M ma własność shadowing jeśli dla każdego  >0 istnieje  >0 taka, że dla każdej  -pseudoorbity {y k } k ∈ℤ dyfeomorfizmu f istnieje x ∈ M takie, że dla każdej liczby całkowitej k zachodzi  (y k, f k (x)) ≤ .

43 Własność inverse shadowing Niech M ℤ oznacza zbiór wszystkich ciągów punktów należących do M indeksowanych zbiorem liczb calkowitych. Definicja Odwzorowanie  f nazywamy  -metodą dyfeomorfizmu f jeśli:  f (y) 0 = y dla każdego y ∈ M ;  f (y) jest  -pseudoorbitą dyfeomorfizmu f.

44 Definicja Rodzinę T(f)  -metod dyfeomorfizmu f” : M  M taką, że dla każdego  >0 istnieje  -metoda należąca do T(f) nazywamy klasą. Niech  k, k ∈ℤ oznacza rodzinę ciągłych odwzorowań na M taką, że  0 =id M oraz, dla każdego k ∈ℤ, zachodzi D ∞ (f °  k,  k+1 ) ≤ , gdzie D ∞ (f, g) := sup x ∈ M  (f(x),g(x)).

45 Zdefiniujmy następujące klasy:  c składa się z metod postaci  f (y) = {  k (y)} k ∈ℤ, y ∈ M.  s składa się z metod postaci  f (y) = {y k } k ∈ℤ, y 0 =y, y k+1 =  k (y k ).  :=  c ∪  s.

46 Definicja Niech T(f) będzie klasą. Mówimy, że f ma własność T- inverse shadowing jeśli dla dowolnego  >0 istnieje  >0 taka, że dla każdej orbity {x k } k ∈ℤ oraz dowolnej  -metody  f ∈ T(f) istnieje y ∈ M taki, że dla wszystkich całkowitych k zachodzi  (x k,  f (y) k ) ≤ . Definicja Mówimy, że kaskada generowana przez dyfeomorfizm f ma własność T – bishadowing jeśli ma własnosć shadowing oraz T – inverse shadowing.

47 Proces nauki perceptronów

48 Załóżmy, że w ∈ℝ n jest wektorem wszystkich wag perceptronu oraz że dany jest ciąg uczący i funkcja kryterialna E: ℝ n  ℝ. Niech nauka perceptronu będzie metodą  h,p zastosowaną do równania dw/dt = -grad E(w). Ustalmy T>0 oraz r>0.

49 Twierdzenie Istnieją zwarta, gładka, n-wymiarowa rozmaitość bez brzegów M oraz funkcja V: ℝ n  ℝ takie, że B(0,2r) ⊂ M oraz V|B(0,r) = E takie, że potok  generowany przez równanie dw/dt = -grad V(w) jest generycznie numerycznie stabilny względem operatora  h,p zastosowanego do powyższego równania rózniczkowego. Ponadto, kaskada generowana przez dyskretyzację oraz kaskada generowana przez operator numeryczny mają, generycznie, własność T – bishadowing, gdzie T = .


Pobierz ppt "Metody matematyczne w systemach sztucznej inteligencji Topologiczne sprzężenie kaskad i własność shadowing w zastosowaniu do badania stabilności procesu."

Podobne prezentacje


Reklamy Google