Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Modele drzew autoregresyjnych w analizie szeregów czasowych Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive.

Podobne prezentacje


Prezentacja na temat: "Modele drzew autoregresyjnych w analizie szeregów czasowych Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive."— Zapis prezentacji:

1 Modele drzew autoregresyjnych w analizie szeregów czasowych Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive Tree Models for Time-Series AnalysisAutoregressive Tree Models for Time-Series Analysis. In Proceedings of the Second International SIAM Conference on Data Mining, Arlington, VA, pages

2 Agenda  Przypomnienie pojęć  Część teoretyczna – na podst. artykułu  Część praktyczna – SQL Server 2005

3 Wprowadzenie  Analiza i modelowanie szeregów czasowych jest ważnym obszarem badań w wielu zastosowaniach  Rozpatrzymy AutoRegressive Tree models (ART)  Są one połączeniem klasycznej autoregresji i drzewa decyzyjnego  Microsoft Research, 2001  Implementacja w Microsoft SQL Server 2005

4 Proces stochastyczny: definicja  Funkcja losowa, czyli funkcja której wartości leżą w przestrzeni zdarzeń losowych  Pewnej wielkości przypisane jest zdarzenie losowe  Przykład: wielokrotny rzut monetą, D=N, f(D){O,R}  Formalnie, proces stochastyczny to rodzina zmiennych losowych, gdzie X t – zmienna losowa, T – zbiór indeksów

5 Szeregi czasowe: przypomnienie  Serie obserwacji dokonywanych w równych odstępach czasu  Inaczej: proces stochastyczny, którego dziedziną jest czas  Sprzedaż, kursy walut, notowania giełdowe

6 Szeregi czasowe: definicja  Mamy ciąg zmiennych losowych  Szereg czasowy jest ciągiem wartości tych zmiennych  Ograniczamy się do modeli szeregów czasowych, które są probabilistyczne, stacjonarne, Markowa rzędu p:

7 Szeregi czasowe  Stacjonarne – zależność y t od poprzednich wartości nie zmienia się w czasie  Proces Markowa rzędu p – mając dane p poprzednich obserwacji, y t jest niezależny od reszty wcześniejszych obserwacji  Koncentrujemy się więc na modelach postaci Funkcja regresji Zmienna objaśniana Zmienne objaśniające

8 Autoregresja  Najbardziej popularny model analizy szeregów czasowych: autoregresja liniowa (AR)  Liniowy model autoregresyjny o długości p, ozn. AR(p):  - rozklad normalny  - parametry modelu wartość oczekiwana

9 Modele ART  W AR(p) zawsze jedna formuła regresyjna – istotne ograniczenie  Model drzewa autoregresyjnego (ART) – przedziałowy (cząstkowy, piecewise) autoregresyjny model, w którym granice przedziałów są określone przez drzewo decyzyjne, zaś liście zawierają liniowe modele autoregresyjne

10 Przykład drzewa ART

11  Zmienna Y t-1 definiuje 3 regiony: (-∞, -337) (-337, 0) (0, + ∞)  Każdy liść drzewa zawiera model AR(1)

12 ART(p)  Ograniczamy się do podzbioru modeli ART, które nazwiemy drzewami autoregresyjnymi o długości p, ozn. ART(p)  W tym modelu każdy liść zawiera AR(p), zmienne rozdzielające (split variables) dla drzewa decyzyjnego są wybierane wśród poprzednich p zmiennych w szeregu czasowym

13 ART(p) - definiowanie  Każdy węzeł nie będący liściem jest skojarzony z formułą boolowską, która jest funkcją p zmiennych  Np. korzeń drzewa z przykładu testuje czy  Z każdą krawędzią kojarzymy formułę (jej negację) z jej ojca, kiedy etykieta krawędzi ma wartość true (false)  Każdy liść kojarzymy z indykatorem (indicator function), który zwraca 1 gdy wszystkie formuły na krawędziach wzdłuż ścieżki z korzenia do tego liścia mają wartość true, 0 w p.p.

14 Indykator - przykład  1, gdy  0 w p.p.

15 ART(p) - definicja  Ostatecznie model ART(p) jest zadany równaniem gdzie  L – liczba liści  i - parametry modelu dla regresji liniowej w liściu

16 ART(p)  Modele ART są uogólnieniami AR, gdyż ART(p) z drzewem decyzyjnym, które ma jeden węzeł jest modelem AR(p)  ART(p) są mocniejsze niż AR, ponieważ pozwalają uchwycić nieliniowe zależności w szeregu czasowym  Co więcej, ART(p) mogą uwzględniać zjawisko periodyczności (periodic time series)  Przykład: potencjalne przewagi ART nad AR

17 Scatterplot szeregu czasowego oraz modeli AR(1) i ART(1)

18 Scatterplot: wnioski  W zależności od wartości zmiennej, stosowana może być inna formuła autoregresyjna (w przykładzie: 3 różne modele AR)  Model ART tworzy lepszą aproksymację, która jest bardziej dopasowana do danych niż model AR

19 Inne nieliniowe modele autoregresyjne  SETAR – Self Exciting Threshold Autoregressive Models – Tong Słabszy model - pojedyńcza zmienna rozdzielająca  ASTAR – Adaptive Smooth Threshold Regressive Models – Lewis, Ray, Stevens Zastosowanie MARS (multiple adaptative regression splines) do szeregów czasowych  Sieci neuronowe Skuteczne, ale kosztowne w uczeniu

20 Uczenie ART  Uczenie Bayesowskie Każdy obserwowany przykład zmienia estymowane prawdopodobieństwo poprawności Metoda „przeglądu i oceny” Metryka oceny: Bayesian score Koszt obliczenia metryki:, gdzie C i – liczba przypadków, które „wpadają” do liścia l i

21 Uczenie ART - windowing  Transformacja „okienkowa” – windowing Pojedyńczy ciąg przekształcamy do zbioru przypadków wg wzoru:, dla, gdzie  Tak przekształcony zbiór danych nazywamy transformacją o długości p oryginalnego szeregu czasowego  Przykład: y = (1,3,2,4). Transformacją o długości 2 jest zbiór {x 1 =(1,3), x 2 =(3,2), x 3 =(2,4)} Transformacja o długości 3 to x 1 =(1,3,2), x 2 =(3,2,4)

22 Uczenie ART - windowing Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan

23 Uczenie ART  Po uwzględnieniu transformacji, mamy prawdopodobieństwo modelu  To prawdopodobieństwo jest dokładnie prawdopodobieństwem zwykłego modelu regresyjnego ze zmienną objaśnianą i zmiennymi objaśniającymi  Możemy więc zastosować każdą technikę regresyjną, w szczególności drzewa decyzyjne

24 Uczenie ART – budowanie drzewa  2 przypadki: p jest znane – tym się zajmiemy p jest nieznane – pochodna pierwszego przypadku  Znane p: Stosujemy algorytm greedy search i operator split-leaf(Y,n) Początkowo drzewo składa się tylko z korzenia Iteracyjnie aplikujemy split-leaf w każdym liściu dla każdej zmiennej Wybieramy ten podział, który najbardziej zwiększa metrykę (Bayesian score). Jeśli żaden podział nie zwiększa metryki, kończymy

25 Budowanie drzewa – p nieznane  Stosujemy algorytm dla znanego p – trenujemy model ART(i), i wybieramy model z największą wartością metryki Bayesian score  Złożoność:, gdzie L – liczba liści, T – długość szeregu

26 Prognozowanie z użyciem ART  Problem: mając daną sekwencję obserwacji znaleźć rozkład przyszłych obserwacji  Rozróżniamy 2 typy prognozowania: Jednokrokowe (one-step forecasting) Wielokrokowe (multi-step forecasting)

27 Prognozowanie jednokrokowe  Mamy dane, interesuje nas wartość  Przybliżamy ją rozkładem normalnym  Jako wartość przyjmujemy najbardziej prawdopodobną wartość (maximum a posteriori value):  Prognozowanie wielokrokowe jest trudniejsze Metody Monte Carlo

28 Porównanie efektywności   Długość szeregów: od 23 do 126  Dane: produkcja przemysłowa, dane makro- i mikroekonomiczne, finansowe  Dla każdego zbioru danych utworzono 9 zbiorów z użyciem transformacji o długości p, p=0,1,..8  Dane wycentrowane i wystandaryzowane  Dodatkowo podział na dane treningowe i testowe  Metryka: sequential predictive score

29 Wyniki Ograniczenie na p: p≤i

30 Wyniki: AR vs ART

31 Wyniki  Tylko w 5% przypadków wynikowe drzewo ART miało jakiś podział (split) – krótkie szeregi testowe  Dodatnia korelacja między długością szeregu a ilością podziałów w drzewie  Model ART jest lepszy od „zwykłej” autoregresji  Różnica jest tym większa, czym dłuższy badany szereg czasowy

32 Zastosowanie w praktyce  Algorytm ART został zaimplementowany w Microsoft SQL Server 2005 jako podstawowe narzędzie do analizy szeregów czasowych  Nazwa handlowa: Microsoft Time Series

33 Algorytm ART

34 Wiele szeregów czasowych  Szeregi czasowe często wykazują mocną zależność między sobą cena benzyny/sprzedaż nowych samochodów stopy procentowe/koszty kredytów konsumpcyjnych  Microsoft Time Series potrafi rozpoznać i wykorzystać takie korelacje

35 Wiele szeregów czasowych Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan 2 szeregi

36 Sezonowość  Wiele szeregów czasowych wykazuje wyraźne wahania sezonowe  Największe obroty w grudniu, „martwy sezon” latem  Microsoft Time Series posiada wbudowaną obsługę sezonowości: możliwość jawnego podania – np. Periodicity_Hint=12 automatyczne wykrywanie sezonowości na podstawie FFT (szybkiej transformacji Fouriera)  Dodawane są dodatkowe zmienne objaśniające  Można też „odsezonowić” dane przed zastosowaniem algorytmu

37 Sezonowość: nieuwzględniona

38 Sezonowość: uwzględniona

39 Koniec Dziękuję za uwagę!


Pobierz ppt "Modele drzew autoregresyjnych w analizie szeregów czasowych Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive."

Podobne prezentacje


Reklamy Google