Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Inteligencja Obliczeniowa Inspiracje statystyczne: rozpoznawanie struktur. Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika.

Podobne prezentacje


Prezentacja na temat: "Inteligencja Obliczeniowa Inspiracje statystyczne: rozpoznawanie struktur. Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika."— Zapis prezentacji:

1 Inteligencja Obliczeniowa Inspiracje statystyczne: rozpoznawanie struktur. Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika

2 Co było Odkrywanie wiedzy metodami neuronowymi Stosowanie reguł Drzewa decyzji

3 Co będzie Kwantyzacja wektorowa Klasyfikatory statystyczne Liniowa dyskryminacja Fisherowska dyskryminacja Logistyczna dyskryminacja

4 Kwantyzacja wektorowa Statystyczna teoria decyzji. Statystyczne rozpoznawanie struktur: klasyfikacja próbek danych. Wektory X = X (t) R n, t = 0,1,2..., należące do klas i. Zadanie: zdefiniować optymalne powierzchnie decyzji w n-1 wymiarach tak, by podzielić R n na obszary odpowiadające różnym klasom. Uczenie: zmiana powierzchni decyzji w miarę napływania nowych informacji. Jedno z podejść: podzielić (skwantyzować) R n na obszary wpływów, określając w tych obszarach odpowiednie gęstości prawd.

5 Statystyczne oceny Jeśli każdej decyzji dotyczącej klasyfikacji przypiszemy tą samą wagę to średnią liczbę błędnych klasyfikacji można zminimalizować wyznaczając powierzchnie decyzji za pomocą: gdzie i, j to sąsiadujące ze sobą klasy, P( i ) jest prawdopodobieństwem a priori pojawienia się klasy i p(X| i ) jest gęstością prawd. próbek X należących do klasy i Metody parametryczne: specyficzna forma funkcji gęstości jest znana, jej parametry oceniane są na podstawie analizy próbek. Metody nieparametryczne: uniwersalne rozwinięcia.,,Okna Parzena: ustalone centra, wokół których przyjmuje się symetryczne okienka prostopadłościenne lub sferyczne i zlicza w nich próbki.

6 Kwantyzacja wektorowa VQ - w każdym obszarze R n wyróżnia się,,wektory kodujące (codebook vectors) tak umieszczone, że reguła najbliższego sąsiada pozwala określić dla nowej próbki X do której należy klasy. LVQ: wektory kodujące przemieszczają się w najbardziej optymalne z punktu widzenia dokładności klasyfikacji miejsca w miarę napływu nowych danych. Jak wybrać początkowe położenie wektorów kodujących? Jak optymalizować położenie wektorów kodujących? Najprostsza wersja: kNN (k-najbliższych sąsiadów), przyjmuje za wektory kodujące wektory otrzymane z próbek. Zbiór wektorów kodujących m k przybliżający rozkład p(X); najbliższy wektor kodujący m c dla X

7 LVQ Najprostsza reguła uczenia LVQ: Współczynnik uczenia może zależeć od czasu. Inna reguła: Zastosowania: klasyfikacja, klasteryzacja, kompresja danych, zastępując konkretne dane prototypami. LVQ2: stosuj powyższą regułę uczenia tylko jeśli: 1. X jest niewłaściwie klasyfikowany przez najbliższego sąsiada m 1 ; 2. drugi najbliższy sąsiad m 2 jest z tej samej klasy co X ; 3. X leży dostatecznie blisko granicy pomiędzy m 1 i m 2 Wówczas: przysuń m 2 i odsuń m 1.

8 Klasyfikatory statystyczne NazwaPowierzchnia decyzjiFunkcja dyskryminująca Liniowy, logika pro- gowa, min. odległości hiperpłaszczyzny kNNfragmenty hiperpłaszczyzn najczęstsza klasa wśród k sąsiadów Kwadratowypowierzchnie drugiego rzędu Gaussowskihiperelipsoidy, z centrum w C i dyspersią Funkcji potencjalnychczynniki 1/r Ograniczonej Energii Kulombowskiej (RCE) kombinacja hipersfer Funkcji bazowych ( ) dowolne

9 LDA Dyskryminacja liniowa: znajdź najlepszą hiperpłaszczyznę dzielącą dane. Zamień X na X dla klas i, i = 2..K Zbierz wszystkie X i w prostokątnej macierzy A. Rozwiąż: Im większe współczynniki tym większy margines klasyfikatora. Wiele metod rozwiązywania w sensie LMS. Dla K klas rozdzielanie klas parami.

10 FDA Dyskryminacja Fishera: znajdź najlepszą prostą, na którą można rzutować dane tak, by skupienia wewnątrz klasy były jak najmniejsze a separacja pomiędzy klasami jak największa. Macierz rozrzutu dla wektorów z tej samej klasy: Pomiędzy klasami: Maksymalizowana funkcja Wynik:

11 Dyskryminacja logistyczna LogDA Ulepszona dyskryminacja liniowa; modelowany jest stosunek: P. posterioryczne modelowane są więc przez f. logistyczne: ale parametry znajdowane odmiennie niż w preceptronie: maks. metodami iteracyjnymi iloczyn:

12 Podsumowanie Metody statystyczne nadają się do klasyfikacji i regresji. LVQ jest stosowane w analizie sygnałów. FDA i LDA są tanie obliczeniowo i stosunkowo łatwe numerycznie; QDA ma już zbyt dużo parametrów i wymaga dodatkowych warunków; LogDA jest kosztowna ale daje dobre wyniki, używa LDA jako startu. GLM, ogólne modele liniowe, obejmują LogDA. Metody statystyczne działają dobrze dla rozkładów normalnych. Brak dobrych programów dla klasyfikatorów statystycznych. Niektóre modele można znaleźć w większych pakietach statystycznych. SVM rozszerza możliwości LDA i jest obecnie popularne. Dla klas niejednorodnych: kombinacja klasteryzacji i dyskryminacji.

13 Koniec wykładu 28 I to niestety tyle ! Kropla w morzu wiedzy...


Pobierz ppt "Inteligencja Obliczeniowa Inspiracje statystyczne: rozpoznawanie struktur. Wykład 28 Włodzisław Duch Uniwersytet Mikołaja Kopernika."

Podobne prezentacje


Reklamy Google