Additive Models, Trees, and Related Methods

Slides:



Advertisements
Podobne prezentacje
Badania statystyczne Wykłady 1-2 © Leszek Smolarek.
Advertisements

KORELACJA I REGRESJA WIELOWYMIAROWA
Inteligencja Obliczeniowa Metody oparte na podobieństwie do wzorców.
Minimalne drzewa rozpinające
Inteligencja Obliczeniowa Sieci o zmiennej strukturze.
BUDOWA MODELU EKONOMETRYCZNEGO
Elementy Modelowania Matematycznego
Programowanie liniowe całkowitoliczbowe
Metody ekonometryczne
Metody ekonometryczne
Metody ekonometryczne
Zagadnienie niedokładności w GIS
Uogólniony model liniowy
Prognozowanie na podstawie modelu ekonometrycznego
Analiza szeregów czasowych
Eksperymentalna ocena jakości rozpoznawania
Klasyfikacja Obcinanie drzewa Naiwny klasyfikator Bayes’a kNN
Klasyfikacja Sformułowanie problemu Metody klasyfikacji
Modele (hipotezy) zagnieżdżone
Linear Methods of Classification
Mirosław ŚWIERCZ Politechnika Białostocka, Wydział Elektryczny
Klasyfikacja dokumentów za pomocą sieci radialnych Paweł Rokoszny Emil Hornung Michał Ziober Tomasz Bilski.
Klasyfikacja dokumentów za pomocą sieci radialnych
formalnie: Budowa i zasada funkcjonowania sztucznych sieci neuronowych
Techniki eksploracji danych
GŁOSOWA ŁĄCZNOŚĆ Z KOMPUTEREM
Systemy wspomagania decyzji
Prognozowanie (finanse 2011)
Programowanie strukturalne i obiektowe
Dana jest sieć dystrybucji wody w postaci: Ø      m- węzłów,
Kilka wybranych uzupelnień
Podstawy informatyki 2013/2014
Analiza dyskryminacji
Spis treści W świecie algortmów -Budowa algorytmu
DMBO Branch and bound.
MS Excel - wspomaganie decyzji
SYSTEMY EKSPERTOWE I SZTUCZNA INTELIGENCJA
VI EKSPLORACJA DANYCH Zadania eksploracji danych: klasyfikacja
VII EKSPLORACJA DANYCH
IV EKSPLORACJA DANYCH Zadania eksploracji danych: klasyfikacja
Regresja wieloraka.
Seminarium licencjackie Beata Kapuścińska
Przedmiot: Ekonometria Temat: Szeregi czasowe. Dekompozycja szeregów
Ekonometryczne modele nieliniowe
Ekonometryczne modele nieliniowe
Ekonometryczne modele nieliniowe
Ekonometria stosowana
Modele drzew autoregresyjnych w analizie szeregów czasowych
Autor prezentacji: Mateusz Dudek
Ekonometria Metody estymacji parametrów strukturalnych modelu i ich interpretacja dr hab. Mieczysław Kowerski.
Regresja liniowa. Dlaczego regresja? Regresja zastosowanie Dopasowanie modelu do danych Na podstawie modelu, przewidujemy wartość zmiennej zależnej na.
SZTUCZNA INTELIGENCJA
© Kazimierz Duzinkiewicz, dr hab. inż. Katedra Inżynierii Systemów Sterowania Modelowanie i podstawy identyfikacji 2015/2016 Modele neuronowe – podstawy,
Model ekonometryczny Jacek Szanduła.
Monte Carlo, bootstrap, jacknife. 2 Literatura Bruce Hansen (2012 +) Econometrics, ze strony internetowej :
Fundamentals of Data Analysis Lecture 12 Approximation, interpolation and extrapolation.
Modele nieliniowe sprowadzane do liniowych
Metody ekonometryczne dla NLLS
Systemy neuronowo – rozmyte
KORELACJA I REGRESJA WIELOWYMIAROWA
Ekonometria stosowana
Co do tej pory robiliśmy:
Jednorównaniowy model regresji liniowej
MNK – podejście algebraiczne
Programowanie sieciowe Laboratorium 3
Analiza kanoniczna - stanowi uogólnienie liniowej regresji wielorakiej na dwa zbiory zmiennych tzn. dla zmiennych zależnych i niezależnych. Pozwala badać.
Monte Carlo, bootstrap, jacknife
Programowanie sieciowe Laboratorium 4
Programowanie sieciowe Laboratorium 3
Korelacja i regresja liniowa
Zapis prezentacji:

Additive Models, Trees, and Related Methods „The Element of Statistical Learning” Chapter 9

Plan prezentacji Uogólnione modele addytywne Drzewa CART HME (Hierarchical mixtures of experts) PRIM (The patient rule introduction method) MARS - Adaptacyjna regresja splajnowa

Uogólnione modele addytywne

Uogólnione modele addytywne c.d. Uogólniony model addytywny Addytywny model regresji logistycznej W ogólności

Dopasowanie modeli addytywnych Model addytywny Kryterium

Dopasowanie modeli addytywnych c.d. Założenie Metoda backfitting - dopasowanie Regresja wielomianowa, metody jądrowe, Splajny parametryczne Bardziej skomplikowane metody np. periodic smoother for seasonal effects

Addytywna regresja logistyczna definiujemy

Addytywna regresja logistyczna Iteracyjnie Konstruujemy pomocniczą zmienną Konstruujemy wagi backfitting otrzymujemy

Modele addytywne bardziej elastyczne niż modele liniowe zachowując interpretowalność prostota backfitting ograniczenia w przypadku dużych zbiorów wejściowych

Drzewa Drzewa regresyjne i decyzyjne CART Podstawowe problemy Hierarchical mixtures of experts

CART

CART c.d. Formalny zapis Kryterium Estymator Jak wybierać zmienne do podziału? Jak wybierać punkty podziału?

Budowa drzewa regresyjnego Rozbudowa drzewa Wybór zmiennej i punktu podziału (greedy algorithm): 2. Przycinanie drzewa (cost-comlexity pruning)

Drzewa klasyfikacyjne Miary jakości podziału Funkcja entropii gdzie Wskaźnik zróżnicowania Giniego Błąd niepoprawnej klasyfikacji

Miary jakości podziału Tworzenie drzewa - entropia i wskaźnik zróżnicowania Giniego Cost-complexity pruning – błąd złej klasyfikacji

Drzewa Macierz strat Niekompletne dane wejściowe Podział na kilka obszarów Niestabilność drzew Brak gładkości Trudność w uchwyceniu addytywnej struktury

PRIM- Patient Rule Induction Method podział na „pudełka”(wysoka wartość średnia wyjść) bump hunting brak opisu przy pomocy drzewa binarnego (trudniejsza interpretacja)

PRIM

PRIM

PRIM Pell off (minimalna liczba danych) Pasting Cross-validation (wybór pudełka) Wyłączenie danych znajdujących się w wybranym pudełku z dalszych rozważań Przewaga nad metodą CART

HME Hierarchical Mixtures of Experts Jest metoda oparta na drzewach Podziały dokonywane na podstawie uzyskanych prawdopodobieństw. Końcowe wierzchołki – eksperci wierzchołki wewnętrzne - gating networks

HME

HME Pierwsza „warstwa” gating networks Kolejne „warstwy” gating networks W każdym ekspercie otrzymujemy model

HME Całkowite prawdopodobieństwo gdzie Estymacja parametrów

MARS- Wielowymiarowa adaptacyjna regresja splajnowa

MARS Zbiór funkcji bazowych Model gdzie jest funkcją ze zbioru C, lub iloczynem dwóch lub więcej takich funkcji

MARS Rozpoczynamy mając w modelu tylko funkcję stałą Wybieramy składnik powodujący największy spadek w błędzie uczącym i dodajemy do modelu M proces jest kontynuowany do czasu, gdy model M zawiera pewną maksymalną liczbę członów następnie rozpoczynamy procedurę usuwania (residual squared error )

MARS

MARS

Niekompletne dane Ustalenie losowości MAR-missing at random MCAR-missing completely at random

Niekompletne dane Metody postępowania: Odrzucenie obserwacji, które mają brakujące wartości Poleganie na algorytmie uczącym zajmującym się brakującymi danymi na etapie uczenia Uzupełnianie wszystkich brakujących danych przed rozpoczęciem

Dziękuję za uwagę