Klasyfikacja dokumentów za pomocą sieci radialnych

Slides:



Advertisements
Podobne prezentacje
Modelowanie i symulacja
Advertisements

o radialnych funkcjach bazowych
Sieć jednokierunkowa wielowarstwowa
Predykcja współrzędnych x, y bieguna ziemskiego za pomocą sztucznych sieci neuronowych Maciej Kalarus Centrum Badań Kosmicznych PAN 5 grudnia 2003r.
SIECI NEURONOWE Sztuczne sieci neuronowe są to układy elektroniczne lub optyczne, złożone z jednostek przetwarzających, zwanych neuronami, połączonych.
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
SZTUCZNE SIECI NEURONOWE
Języki programowania C++
Inteligencja Obliczeniowa Otwieranie czarnej skrzynki.
Katedra Informatyki Stosowanej UMK
Katedra Informatyki Stosowanej UMK
Uczenie konkurencyjne.
Samoorganizacja: uczenie bez nadzoru.
Inteligencja Obliczeniowa Sieci dynamiczne.
Inteligencja Obliczeniowa Metody probabilistyczne.
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
o radialnych funkcjach bazowych
Sztuczne sieci neuronowe
Elementy Modelowania Matematycznego
Sztuczna Inteligencja Reprezentacja wiedzy I Logika przybliżona
Ulepszenia metody Eigenfaces
Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006
Jakość sieci geodezyjnych. Pomiary wykonane z największą starannością, nie dostarczają nam prawdziwej wartości mierzonej wielkości, lecz są zwykle obarczone.
Wprowadzenie do budowy usług informacyjnych
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010Optymalizacja miary efektywności działania sztucznych sieci neuronowych Dr hab. inż. Kazimierz Duzinkiewicz,
Czy potrafimy obliczyć wartość wyjścia sieci znając wartości jej wejść? Tak, przy założeniu, że znamy aktualne wartości wag i progów dla poszczególnych.
Metody Sztucznej Inteligencji w Sterowaniu 2009/2010 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania.
Niepewności przypadkowe
Paweł Kramarski Seminarium Dyplomowe Magisterskie 2
Klasyfikacja Obcinanie drzewa Naiwny klasyfikator Bayes’a kNN
Additive Models, Trees, and Related Methods
Sieci Hopfielda.
Sieci neuronowe jednokierunkowe wielowarstwowe
Zastosowanie technologii CUDA w sztucznej inteligencji
Klasyfikacja dokumentów za pomocą sieci radialnych Paweł Rokoszny Emil Hornung Michał Ziober Tomasz Bilski.
Klasyfikacja dokumentów za pomocą sieci radialnych Paweł Rokoszny Emil Hornung Michał Ziober Tomasz Bilski.
Klasyfikacja dokumentów za pomocą sieci radialnych Paweł Rokoszny Emil Hornung Michał Ziober Tomasz Bilski.
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Elementy Rachunku Prawdopodobieństwa i Statystyki
Opiekun: dr inż. Maciej Ławryńczuk
formalnie: Uczenie nienadzorowane
Wspomaganie decyzji nie zwalnia od decyzji...
Detekcja twarzy w obrazach cyfrowych
Techniki eksploracji danych
formalnie: Naiwny klasyfikator Bayesa
Systemy wspomagania decyzji
Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.
Dana jest sieć dystrybucji wody w postaci: Ø      m- węzłów,
Marcin Jaruszewicz Jacek Mańdziuk
Źródła błędów w obliczeniach numerycznych
Spis treści W świecie algortmów -Budowa algorytmu
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
Politechniki Poznańskiej
Metody Matematyczne w Inżynierii Chemicznej Podstawy obliczeń statystycznych.
Mateusz Wawrzyniak & Michał Warzocha
Adaptacyjne Systemy Inteligentne Maciej Bielski, s4049.
Warstwowe sieci jednokierunkowe – perceptrony wielowarstwowe
Metody sztucznej inteligencji – technologie rozmyte i neuronoweReguła propagacji wstecznej  Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów.
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
GeneracjeTechnologia Architektura przetwarzania 0. Przekaźniki elektromechaniczne 1. Lampy elektronowe 2. Tranzystory 3. Układy scalone 3.5.Układy dużej.
Metody sztucznej inteligencji - Technologie rozmyte i neuronowe 2015/2016 Perceptrony proste nieliniowe i wielowarstwowe © Kazimierz Duzinkiewicz, dr hab.
Belief Nets Autor: inż. 2013r źródło tła:
Inteligencja Obliczeniowa Perceptrony o dużym marginesie błędu
Systemy neuronowo – rozmyte
Kognitywne właściwości sieci neuronowych
Perceptrony o dużym marginesie błędu
Perceptrony o dużym marginesie błędu
Systemy Ekspertowe i Sztuczna Inteligencja trudne pytania
Programowanie sieciowe Laboratorium 4
Zapis prezentacji:

Klasyfikacja dokumentów za pomocą sieci radialnych Paweł Rokoszny Emil Hornung Michał Ziober Tomasz Bilski

Plan prezentacji Model sieci neuronowej z neuronami radialnymi Naiwny klasyfikator bayesowski jako alternatywa Dane oraz ich preprocessing Wyniki implementacji Wnioski

Model sieci neuronowej z neuronami radialnymi Sieci radialne są odmianą iteracyjnych sztucznych sieci neuronowych Zastosowania problemy klasyfikacyjne (przedmiot naszych badań) zadania aproksymacji funkcji wielu zmiennych zagadnienia predykcji wykrywanie uszkodzeń w różnego rodzaju systemach rozpoznawania wzorców (Kosko, 1988)

Model sieci neuronowej z neuronami radialnymi Neuron radialny (warstwa ukryta) realizuje tzw. radialna funkcja bazowa neuron ma za zadanie odwzorować radialną przestrzeń wokół jednego punktu lub grupy punktów (klaster) Radialna funkcja bazowa (RBF) fi(x) = fi( || x − c || ) - jest funkcją rzeczywistą, której wartość zależy zwykle wyłącznie od odległości od określonego punktu. wartości funkcji zmieniającą się radialnie wokół wybranego centrum c funkcja przyjmujące wartości niezerowe tylko w otoczeniu tego centrum

Model sieci neuronowej z neuronami radialnymi

Model sieci neuronowej z neuronami radialnymi Sieć radialna wagi przypisane jedynie do warstwy drugiej brak wag warstwy pierwszej wynika ze sposobu działania neuronu radialnego (RBF przyjmuje jako argument wektor i nie działa na zasadzie sumatora w przeciwieństwie do sieci jednokierunkowych.)

Naiwny klasyfikator bayesowski Tw. Bayesa P(C) - prawdopodobieństwo wystąpienia klasy C P(X|C) - prawdopodobieństwo, że X należy do klasy C, P(X) - prawdopodobieństwo wystąpienia przykładu X

Naiwny klasyfikator bayesowski Założenie: Atrybuty definiujące klasę są niezależne. Powyższe założenie redukuje obliczenia Jeśli założenie jest spełnione, naiwny klasyfikator Bayesa jest optymalny Klasyfikator Bayesa jest zadziwiająco dokładny. Używany do rozpoznawania spamu

Naiwny klasyfikator bayesowski

Dane oraz ich preprocessing

Dane oraz ich preprocessing

Wyniki implementacji Skuteczność uczenia dla różnych typów słowników i różnej reprezentacji dokumentów (dla dwóch klas dokumentów) CTF-IDF FIXED FREQUENCY TF-IDF 60% 52% 57% Binary 79% 55% 85% Own 65% 74%

Wyniki implementacji Ogólna tendencja skuteczności w funkcji ilości klas dokumentów (n) Ogólnie sieć około dwukrotnie skuteczniejsza od losowego wyboru. Skuteczność sieci jeszcze wyższa, jeśli odizolujemy ją od reprezentacji danych wejściowych podając np. podając wektory spełniające pewne ścisłe kryteria

Wnioski Osiągnięta skuteczność niższa, niż oczekiwano Długi czas uczenia sieci Struktura bardziej skomplikowana, niż analogicznych „niemyślących” algorytmów Trudne do wychwycenia błędy Dopóki sieć nie działa, nie na pewności, co zawiodło

(potencjalne problemy) Wnioski Co poszło nie tak? (potencjalne problemy) Dokumenty zawierające w większości to samo słownictwo a tylko pojedyncze słowa świadczące o przynależności do klasy Liczność neuronów ograniczona czasem nauki Potencjalnie skomplikowany rozkład przestrzeni na klasy wymagający użycia wielu neuronów

DZIĘKUJEMY ZA UWAGĘ!