Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Additive Models, Trees, and Related Methods The Element of Statistical Learning Chapter 9.

Podobne prezentacje


Prezentacja na temat: "Additive Models, Trees, and Related Methods The Element of Statistical Learning Chapter 9."— Zapis prezentacji:

1 Additive Models, Trees, and Related Methods The Element of Statistical Learning Chapter 9

2 Plan prezentacji Uogólnione modele addytywne Drzewa –CART –HME (Hierarchical mixtures of experts) PRIM (The patient rule introduction method) MARS - Adaptacyjna regresja splajnowa

3 Uogólnione modele addytywne

4 Uogólnione modele addytywne c.d. Addytywny model regresji logistycznej Uogólniony model addytywny W ogólności

5 Dopasowanie modeli addytywnych Model addytywny Kryterium

6 Dopasowanie modeli addytywnych c.d. Założenie Metoda backfitting - dopasowanie Regresja wielomianowa, metody jądrowe, Splajny parametryczne Bardziej skomplikowane metody np. periodic smoother for seasonal effects

7 Addytywna regresja logistyczna definiujemy

8 Addytywna regresja logistyczna Iteracyjnie Konstruujemy pomocniczą zmienną Konstruujemy wagi backfitting otrzymujemy

9 Modele addytywne bardziej elastyczne niż modele liniowe zachowując interpretowalność prostota backfitting ograniczenia w przypadku dużych zbiorów wejściowych

10 Drzewa Drzewa regresyjne i decyzyjne CART Podstawowe problemy Hierarchical mixtures of experts

11 CART

12 CART c.d. Formalny zapis Jak wybierać zmienne do podziału? Jak wybierać punkty podziału? Kryterium Estymator

13 Budowa drzewa regresyjnego Wybór zmiennej i punktu podziału (greedy algorithm): 2.Przycinanie drzewa (cost-comlexity pruning) 1.Rozbudowa drzewa

14 Drzewa klasyfikacyjne Miary jakości podziału Funkcja entropii Wskaźnik zróżnicowania Giniego Błąd niepoprawnej klasyfikacji gdzie

15 Miary jakości podziału Tworzenie drzewa - entropia i wskaźnik zróżnicowania Giniego Cost-complexity pruning – błąd złej klasyfikacji

16 Drzewa 1.Macierz strat 2.Niekompletne dane wejściowe 3.Podział na kilka obszarów 4.Niestabilność drzew 5.Brak gładkości 6.Trudność w uchwyceniu addytywnej struktury

17 PRIM - Patient Rule Induction Method PRIM: podział na pudełka(wysoka wartość średnia wyjść) bump hunting brak opisu przy pomocy drzewa binarnego (trudniejsza interpretacja)

18 PRIM

19

20 1.Pell off (minimalna liczba danych) 2.Pasting 3.Cross-validation (wybór pudełka) 4.Wyłączenie danych znajdujących się w wybranym pudełku z dalszych rozważań 5.Przewaga nad metodą CART

21 HME Hierarchical Mixtures of Experts Jest metoda oparta na drzewach Podziały dokonywane na podstawie uzyskanych prawdopodobieństw. Końcowe wierzchołki – eksperci wierzchołki wewnętrzne - gating networks

22 HME

23 Pierwsza warstwa gating networks Kolejne warstwy gating networks W każdym ekspercie otrzymujemy model

24 HME Całkowite prawdopodobieństwo gdzie Estymacja parametrów

25 MARS- Wielowymiarowa adaptacyjna regresja splajnowa

26 MARS Zbiór funkcji bazowych Model gdzie jest funkcją ze zbioru C, lub iloczynem dwóch lub więcej takich funkcji

27 MARS Rozpoczynamy mając w modelu tylko funkcję stałą Wybieramy składnik powodujący największy spadek w błędzie uczącym i dodajemy do modelu M proces jest kontynuowany do czasu, gdy model M zawiera pewną maksymalną liczbę członów następnie rozpoczynamy procedurę usuwania (residual squared error )

28 MARS

29

30 Niekompletne dane Ustalenie losowości MAR-missing at random MCAR-missing completely at random

31 Niekompletne dane Metody postępowania: 1.Odrzucenie obserwacji, które mają brakujące wartości 2.Poleganie na algorytmie uczącym zajmującym się brakującymi danymi na etapie uczenia 3.Uzupełnianie wszystkich brakujących danych przed rozpoczęciem

32 Dziękuję za uwagę


Pobierz ppt "Additive Models, Trees, and Related Methods The Element of Statistical Learning Chapter 9."

Podobne prezentacje


Reklamy Google