Inteligencja Obliczeniowa Systemy neurorozmyte.

Slides:



Advertisements
Podobne prezentacje
Włodzisław Duch Katedra Informatyki Stosowanej,
Advertisements

Inteligencja Obliczeniowa Systemy rozmyte.
Sieć jednokierunkowa wielowarstwowa
Mechanizm wnioskowania rozmytego
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
Inteligencja Obliczeniowa Sieci dynamiczne cd.
Inteligencja Obliczeniowa Indukcja reguł - modele.
Inteligencja Obliczeniowa Sieci RBF.
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Inteligencja Obliczeniowa Zbiory rozmyte, modelowanie wiedzy.
Samoorganizacja: uczenie bez nadzoru.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
Inteligencja Obliczeniowa Perceptrony
Inteligencja Obliczeniowa Feature Space Mapping.
Badania operacyjne. Wykład 2
Sztuczne sieci neuronowe
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Sztuczna Inteligencja Reprezentacja wiedzy I Logika rozmyta
Sztuczna Inteligencja Reprezentacja wiedzy I Wstęp. Włodzisław Duch Katedra Informatyki Stosowanej UMK Google: W. Duch.
Inteligencja Obliczeniowa Klasteryzacja i uczenie bez nadzoru.
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Linear Methods of Classification
Mirosław ŚWIERCZ Politechnika Białostocka, Wydział Elektryczny
Zastosowanie technologii CUDA w sztucznej inteligencji
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Elementy Rachunku Prawdopodobieństwa i Statystyki
Wykład 25 Regulatory dyskretne
formalnie: Uczenie nienadzorowane
Detekcja twarzy w obrazach cyfrowych
VI EKSPLORACJA DANYCH Zadania eksploracji danych: klasyfikacja
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Do technik tych zalicza się: * sztuczne sieci neuronowe
Zagadnienia AI wykład 2.
Zagadnienia AI wykład 5.
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
SZTUCZNA INTELIGENCJA
 Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Metody sztucznej inteligencji – Technologie rozmyte i neuronoweSystemy.
SZTUCZNA INTELIGENCJA
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
Narzędzia AI Dominik Ślęzak, Pokój Wykład dostępny na:
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Systemy rozmyte – wnioskowanie Mamdani’ego I © Kazimierz Duzinkiewicz, dr hab.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Systemy rozmyte – wnioskowanie Mamdani’ego II © Kazimierz Duzinkiewicz, dr hab.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Systemy rozmyte – wnioskowanie formalne © Kazimierz Duzinkiewicz, dr hab. inż.
Belief Nets Autor: inż. 2013r źródło tła:
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Learnmatrix, Adaline, Madaline i modele liniowe
Systemy neuronowo – rozmyte
Perceptrony o dużym marginesie błędu
Metody sztucznej inteligencji
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Inteligencja Obliczeniowa Perceptrony
Katedra Informatyki Stosowanej UMK
Inteligencja Obliczeniowa Sieci RBF.
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Perceptrony wielowarstwowe, wsteczna propagacja błędów
Zapis prezentacji:

Inteligencja Obliczeniowa Systemy neurorozmyte. Wykład 19 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: Duch W

Co było Zbiory rozmyte Wnioskowanie rozmyte

Co będzie Neuro-fuzzy Feature Space Mapping Jak uczyć - adaptacja parametrów Jak tworzyć reguły logiczne, rozmyte i ostre Jak stosować takie reguły.

System rozmyto-neuronowy Typowa 4-warstwowa architektura systemu realizującego funkcję wyostrzania:

NEFCLASS NEuroFuzzy CLASSification (Nauck, Kruse 1995) Rozmyty perceptron, ustalone zbiory rozmyte. Znajdź dla każdego {xi} max miji. Znajdź regułę R dla której W(xi,R)= miji, i=1 .. n Jeśli nie ma R to utwórz i dołącz wyjście do odpowiedniej klasy. Po zakończeniu prezentacji danych zostaw najlepsze k reguł. Dzielone wagi: dla tych samych termów. Można wprowadzić adaptację zbiorów rozmytych - w praktyce trójkątne MF.

FuNN Fuzzy Neural Networks (Kasabov 1996) 5 warstw: wejście, rozmywanie, reguły, agregacja, wyostrzenie. Uczenie: BP bez modyfikacji MF BP z regularyzacją Laplace’a. Genetyczne algorytmy. Reguły zwykłe i ważone. Zalety: modularna budowa. Działa w miarę dobrze z małymi zbiorami danych treningowych. Wady: trudno jest znaleźć dobre rozwiązania; za dużo parametrów, dużo zastosowań ale mało dobrych wyników.

E-FuNN Evolving Fuzzy Neural Networks (Kasabov 2000) FuNN konstruktywistyczny. Zmiana struktury sieci. BP z regularyzacją Laplace’a. Genetyczne algorytmy. Reguły zwykłe i ważone. Zalety: modularna budowa. Działa w miarę dobrze z małymi zbiorami danych treningowych. Wady: trudno jest znaleźć dobre rozwiązania; za dużo parametrów, dużo zastosowań ale mało dobrych wyników.

FSM Feature Space Mapping (Duch 1995) Inspiracje kognitywne - obiekty w przestrzeni cech. Uniwersalny system neurorozmyty. FSM jako system neurorozmyty: węzły realizują rozmyte reguły, adaptując kształt funkcji przynależności. FSM jako system do ekstrakcji reguł logicznych, ostrych i rozmytych. FSM jako system do autoasocjacji · Znajdź brakujące wartości nieznanych cech. FSM jako heurystyka do rozumowania · Ucz się na fragmentach problemu, stosuj wiedzę do całości

FSM - inspiracje kognitywne Od neurodynamiki do opisu zdarzeń w przestrzeni umysłu (mind space) Obiekty w przestrzeni cech: rozkłady p dla kombinacji cech/zachowań. Próba ucieczki od neurodynamiki: za dużo zmiennych, zbyt skomplikowana, nie daje prostych wyjaśnień. Przestrzenie psychologiczne używane w psychologii. Model działania umysłu w p. psychologicznych. Jak tworzyć neuronowe reprezentacje p. psychologicznych? Ile wymiarów? Jak oceniać niesymetryczne relacje podobieństwa zachowujące obrazek geometryczny? Jak przekształcić neurodynamikę w dynamikę aktywacji elementów p. umysłu?

FSM - sieć Szukaj lokalnych minimów PDF (Prob. Density Function). Najprostszy model statyczny. Obliczanie gradientów można zastąpić wybieraniem najbardziej pobudzonego węzła. Funkcje transferu g() - dowolne separowalne.

FSM - własności Statyczna realizacja idei p. umysłu: ogólne cechy modelu FSM: · Model konstruktywistyczny: dodawanie, usuwanie, łączenie węzłów, końcowa złożoność sieci dopasowana do danych. · Wiele różnych typów separowalnych funkcji transferu, możliwość obrotu granic decyzji w wielu wymiarach. · Inicjalizacja przez wstępną klasteryzację (np. dendrogramy), FSM pozwala na obroty gęstości bez późniejszej adaptacji. · Uczenie: metoda heurystyczna, modyfikacja istniejących i dodawanie nowych węzłów, uwzględnia położenia, rozmycia, wagi, masę i pobudzenie neuronu. · Dla zlokalizowanych funkcji transferu douczanie nowych faktów nie psuje sieci - uczenie lokalne. · Selekcja cech: automatyczne rozszerzanie funkcji na cały obszar.

Funkcja FSM (X,Y) - wektor {Xi, ,Yi,}, fakt, należy do zbioru rozmytego. Funkcja FW modeluje rozkład gęstości par (X,Y); standardową funkcję: zastąpić można odchyleniem od : Uczenie lokalne: zmiany tylko w obszarze napływających danych. W MLP możliwe katastroficzne zapominanie i konieczne jest ciągłe douczanie bo nowe dane wpływają na wszystkie parametry.

Funkcje faktoryzowalne Interpretacja węzłów jako f. przynależności: wystarczy by W praktyce wszystkie składowe są często jednakowe, np. Gaussowskie Rozmyte gęstości elipsoidalne; niesymetryczne Gaussy:

Funkcje zlokalizowane Separowalne + zlokalizowane f. powinny mieć mało parametrów i opisywać skomplikowane gęstości. Gaussowskie - 2N parametrów; ich uproszczenia: lub Gaussy: jedyne radialne funkcje separowalne. Wiele możliwości funkcji Gausso-podobnych.

Belkowate Gaussian bars, 3N parametrów adaptacyjnych. Łatwo dokonać selekcji cech manipulując wagami; alternatywa: zwiększanie dyspersji f. gaussopodobnych. nie są to funkcje radialne i wymagają filtracji przez sigmoidy. Kombinacje iloczynów funkcji sigmoidalnych: 2N lub 4N parametrów. Iloczyn s(x) (1-s(x+b)) zastąpić można iloczynem różnic s(x)-s(x+b) Skupienia na regularnej siatce: dla K2 skupień 4K funkcji belkowatych. Wady: obliczanie eksponentu N lub 2N razy.

Bicentralne Iloczyny par sigmoid, 2N lub więcej parametrów adaptacyjnych. Rozszerzenia: niezależne skosy: Bicentralne zdelokalizowane:

Bicentralne + obroty Najbardziej ogólne - 6N parametrów. Obrót konturów wprowadzić można następująco: Alternatywa to macierz obrotów

Pewna równoważność Iloczyn dwóch funkcji logistycznych równoważny jest z dokładnością do normalizacji ich różnicy. Równości użyteczne przy dowodzie: Czy jest tak dla innych funkcji sigmoidalnych?

Dualizm f. transferu Płaszczyzna to powierzchnia równo odległa od pary punktów. Renormalizacja Gaussa daje sigmoidę! gdzie wagi: Wi =4Di /bi2 Jaki jest związek między f. aktywacji sigmoidy i Gaussa?

Zastosowania systemów rozmytych Wszystko fuzzy, szczególnie w Japonii od 1987! Kontrolery rozmyte: jak się przewraca to pchaj! Kontrolery w: pralkach, opiekaczach, kamerach (autofokus), klimatyzacji, samochodach (hamulce, wtryski), automatyce przemysłowej, sterowaniu robotów ... Języki AI, np. FuzzyCLIPS. FuzzyJESS (Expert System Shell z Sandia National Lab.) Fuzzy Java Toolkit ... Fuzzyfikacja sieci neuronowych: systemy neurrozmyte i rozmyto-neuronowe.

Koniec wykładu 19 Dobranoc !