Modele drzew autoregresyjnych w analizie szeregów czasowych

Prezentacja na temat: "Modele drzew autoregresyjnych w analizie szeregów czasowych"— Zapis prezentacji:

1 Modele drzew autoregresyjnych w analizie szeregów czasowych
Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive Tree Models for Time-Series Analysis. In Proceedings of the Second International SIAM Conference on Data Mining, Arlington, VA, pages

2 Agenda Przypomnienie pojęć Część teoretyczna – na podst. artykułu
Część praktyczna – SQL Server 2005

3 Wprowadzenie Analiza i modelowanie szeregów czasowych jest ważnym obszarem badań w wielu zastosowaniach Rozpatrzymy AutoRegressive Tree models (ART) Są one połączeniem klasycznej autoregresji i drzewa decyzyjnego Microsoft Research, 2001 Implementacja w Microsoft SQL Server 2005

4 Proces stochastyczny: definicja
Funkcja losowa, czyli funkcja której wartości leżą w przestrzeni zdarzeń losowych Pewnej wielkości przypisane jest zdarzenie losowe Przykład: wielokrotny rzut monetą, D=N, f(D){O,R} Formalnie, proces stochastyczny to rodzina zmiennych losowych , gdzie Xt – zmienna losowa, T – zbiór indeksów

5 Szeregi czasowe: przypomnienie
Serie obserwacji dokonywanych w równych odstępach czasu Inaczej: proces stochastyczny, którego dziedziną jest czas Sprzedaż, kursy walut, notowania giełdowe

6 Szeregi czasowe: definicja
Mamy ciąg zmiennych losowych Szereg czasowy jest ciągiem wartości tych zmiennych Ograniczamy się do modeli szeregów czasowych, które są probabilistyczne, stacjonarne, Markowa rzędu p:

7 Szeregi czasowe Stacjonarne – zależność yt od poprzednich wartości nie zmienia się w czasie Proces Markowa rzędu p – mając dane p poprzednich obserwacji, yt jest niezależny od reszty wcześniejszych obserwacji Koncentrujemy się więc na modelach postaci Zmienna objaśniana Funkcja regresji Zmienne objaśniające

8 Autoregresja Najbardziej popularny model analizy szeregów czasowych: autoregresja liniowa (AR) Liniowy model autoregresyjny o długości p, ozn. AR(p): - rozklad normalny - parametry modelu wartość oczekiwana

9 Modele ART W AR(p) zawsze jedna formuła regresyjna – istotne ograniczenie Model drzewa autoregresyjnego (ART) – przedziałowy (cząstkowy, piecewise) autoregresyjny model, w którym granice przedziałów są określone przez drzewo decyzyjne, zaś liście zawierają liniowe modele autoregresyjne

10 Przykład drzewa ART

11 Przykład drzewa ART Zmienna Yt-1 definiuje 3 regiony:
(-∞, -337) (-337, 0) (0, + ∞) Każdy liść drzewa zawiera model AR(1)

12 ART(p) Ograniczamy się do podzbioru modeli ART, które nazwiemy drzewami autoregresyjnymi o długości p, ozn. ART(p) W tym modelu każdy liść zawiera AR(p), zmienne rozdzielające (split variables) dla drzewa decyzyjnego są wybierane wśród poprzednich p zmiennych w szeregu czasowym

13 ART(p) - definiowanie Każdy węzeł nie będący liściem jest skojarzony z formułą boolowską, która jest funkcją p zmiennych Np. korzeń drzewa z przykładu testuje czy Z każdą krawędzią kojarzymy formułę (jej negację) z jej ojca, kiedy etykieta krawędzi ma wartość true (false) Każdy liść kojarzymy z indykatorem (indicator function) , który zwraca 1 gdy wszystkie formuły na krawędziach wzdłuż ścieżki z korzenia do tego liścia mają wartość true, 0 w p.p.

14 Indykator - przykład 1, gdy 0 w p.p.

15 ART(p) - definicja Ostatecznie model ART(p) jest zadany równaniem
gdzie L – liczba liści i parametry modelu dla regresji liniowej w liściu

16 ART(p) Modele ART są uogólnieniami AR, gdyż ART(p) z drzewem decyzyjnym, które ma jeden węzeł jest modelem AR(p) ART(p) są mocniejsze niż AR, ponieważ pozwalają uchwycić nieliniowe zależności w szeregu czasowym Co więcej, ART(p) mogą uwzględniać zjawisko periodyczności (periodic time series) Przykład: potencjalne przewagi ART nad AR

17 Scatterplot szeregu czasowego oraz modeli AR(1) i ART(1)

18 Scatterplot: wnioski W zależności od wartości zmiennej, stosowana może być inna formuła autoregresyjna (w przykładzie: 3 różne modele AR) Model ART tworzy lepszą aproksymację, która jest bardziej dopasowana do danych niż model AR

19 Inne nieliniowe modele autoregresyjne
SETAR – Self Exciting Threshold Autoregressive Models – Tong Słabszy model - pojedyńcza zmienna rozdzielająca ASTAR – Adaptive Smooth Threshold Regressive Models – Lewis, Ray, Stevens Zastosowanie MARS (multiple adaptative regression splines) do szeregów czasowych Sieci neuronowe Skuteczne, ale kosztowne w uczeniu

20 Uczenie ART Uczenie Bayesowskie
Każdy obserwowany przykład zmienia estymowane prawdopodobieństwo poprawności Metoda „przeglądu i oceny” Metryka oceny: Bayesian score Koszt obliczenia metryki: , gdzie Ci – liczba przypadków, które „wpadają” do liścia li

21 Uczenie ART - windowing
Transformacja „okienkowa” – windowing Pojedyńczy ciąg przekształcamy do zbioru przypadków wg wzoru: , dla , gdzie Tak przekształcony zbiór danych nazywamy transformacją o długości p oryginalnego szeregu czasowego Przykład: y = (1,3,2,4). Transformacją o długości 2 jest zbiór {x1=(1,3), x2=(3,2), x3=(2,4)} Transformacja o długości 3 to x1=(1,3,2), x2=(3,2,4)

22 Uczenie ART - windowing
Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan

23 Uczenie ART Po uwzględnieniu transformacji, mamy prawdopodobieństwo modelu To prawdopodobieństwo jest dokładnie prawdopodobieństwem zwykłego modelu regresyjnego ze zmienną objaśnianą i zmiennymi objaśniającymi Możemy więc zastosować każdą technikę regresyjną, w szczególności drzewa decyzyjne

24 Uczenie ART – budowanie drzewa
2 przypadki: p jest znane – tym się zajmiemy p jest nieznane – pochodna pierwszego przypadku Znane p: Stosujemy algorytm greedy search i operator split-leaf(Y,n) Początkowo drzewo składa się tylko z korzenia Iteracyjnie aplikujemy split-leaf w każdym liściu dla każdej zmiennej Wybieramy ten podział, który najbardziej zwiększa metrykę (Bayesian score). Jeśli żaden podział nie zwiększa metryki, kończymy

25 Budowanie drzewa – p nieznane
Stosujemy algorytm dla znanego p – trenujemy model ART(i), i wybieramy model z największą wartością metryki Bayesian score Złożoność: , gdzie L – liczba liści, T – długość szeregu

26 Prognozowanie z użyciem ART
Problem: mając daną sekwencję obserwacji znaleźć rozkład przyszłych obserwacji Rozróżniamy 2 typy prognozowania: Jednokrokowe (one-step forecasting) Wielokrokowe (multi-step forecasting)

27 Prognozowanie jednokrokowe
Mamy dane , interesuje nas wartość Przybliżamy ją rozkładem normalnym Jako wartość przyjmujemy najbardziej prawdopodobną wartość (maximum a posteriori value): Prognozowanie wielokrokowe jest trudniejsze Metody Monte Carlo

28 Porównanie efektywności
Długość szeregów: od 23 do 126 Dane: produkcja przemysłowa, dane makro- i mikroekonomiczne, finansowe Dla każdego zbioru danych utworzono 9 zbiorów z użyciem transformacji o długości p, p=0,1,..8 Dane wycentrowane i wystandaryzowane Dodatkowo podział na dane treningowe i testowe Metryka: sequential predictive score

29 Wyniki Ograniczenie na p: p≤i

30 Wyniki: AR vs ART

31 Wyniki Tylko w 5% przypadków wynikowe drzewo ART miało jakiś podział (split) – krótkie szeregi testowe Dodatnia korelacja między długością szeregu a ilością podziałów w drzewie Model ART jest lepszy od „zwykłej” autoregresji Różnica jest tym większa, czym dłuższy badany szereg czasowy

32 Zastosowanie w praktyce
Algorytm ART został zaimplementowany w Microsoft SQL Server 2005 jako podstawowe narzędzie do analizy szeregów czasowych Nazwa handlowa: Microsoft Time Series

33 Algorytm ART

34 Wiele szeregów czasowych
Szeregi czasowe często wykazują mocną zależność między sobą cena benzyny/sprzedaż nowych samochodów stopy procentowe/koszty kredytów konsumpcyjnych Microsoft Time Series potrafi rozpoznać i wykorzystać takie korelacje

35 Wiele szeregów czasowych
Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan 2 szeregi

36 Sezonowość Wiele szeregów czasowych wykazuje wyraźne wahania sezonowe
Największe obroty w grudniu, „martwy sezon” latem Microsoft Time Series posiada wbudowaną obsługę sezonowości: możliwość jawnego podania – np. Periodicity_Hint=12 automatyczne wykrywanie sezonowości na podstawie FFT (szybkiej transformacji Fouriera) Dodawane są dodatkowe zmienne objaśniające Można też „odsezonowić” dane przed zastosowaniem algorytmu

37 Sezonowość: nieuwzględniona

38 Sezonowość: uwzględniona

39 Koniec Dziękuję za uwagę!