Modele drzew autoregresyjnych w analizie szeregów czasowych Włodzimierz Bielski Na podstawie: C. Meek, D.M. Chickering and D. Heckerman (2002). Autoregressive Tree Models for Time-Series Analysis. In Proceedings of the Second International SIAM Conference on Data Mining, Arlington, VA, pages 229-244.

Agenda Przypomnienie pojęć Część teoretyczna – na podst. artykułu Część praktyczna – SQL Server 2005

Wprowadzenie Analiza i modelowanie szeregów czasowych jest ważnym obszarem badań w wielu zastosowaniach Rozpatrzymy AutoRegressive Tree models (ART) Są one połączeniem klasycznej autoregresji i drzewa decyzyjnego Microsoft Research, 2001 Implementacja w Microsoft SQL Server 2005

Proces stochastyczny: definicja Funkcja losowa, czyli funkcja której wartości leżą w przestrzeni zdarzeń losowych Pewnej wielkości przypisane jest zdarzenie losowe Przykład: wielokrotny rzut monetą, D=N, f(D){O,R} Formalnie, proces stochastyczny to rodzina zmiennych losowych , gdzie Xt – zmienna losowa, T – zbiór indeksów

Szeregi czasowe: przypomnienie Serie obserwacji dokonywanych w równych odstępach czasu Inaczej: proces stochastyczny, którego dziedziną jest czas Sprzedaż, kursy walut, notowania giełdowe

Szeregi czasowe: definicja Mamy ciąg zmiennych losowych Szereg czasowy jest ciągiem wartości tych zmiennych Ograniczamy się do modeli szeregów czasowych, które są probabilistyczne, stacjonarne, Markowa rzędu p:

Szeregi czasowe Stacjonarne – zależność yt od poprzednich wartości nie zmienia się w czasie Proces Markowa rzędu p – mając dane p poprzednich obserwacji, yt jest niezależny od reszty wcześniejszych obserwacji Koncentrujemy się więc na modelach postaci Zmienna objaśniana Funkcja regresji Zmienne objaśniające

Autoregresja Najbardziej popularny model analizy szeregów czasowych: autoregresja liniowa (AR) Liniowy model autoregresyjny o długości p, ozn. AR(p): - rozklad normalny - parametry modelu wartość oczekiwana

Modele ART W AR(p) zawsze jedna formuła regresyjna – istotne ograniczenie Model drzewa autoregresyjnego (ART) – przedziałowy (cząstkowy, piecewise) autoregresyjny model, w którym granice przedziałów są określone przez drzewo decyzyjne, zaś liście zawierają liniowe modele autoregresyjne

Przykład drzewa ART

Przykład drzewa ART Zmienna Yt-1 definiuje 3 regiony: (-∞, -337) (-337, 0) (0, + ∞) Każdy liść drzewa zawiera model AR(1)

ART(p) Ograniczamy się do podzbioru modeli ART, które nazwiemy drzewami autoregresyjnymi o długości p, ozn. ART(p) W tym modelu każdy liść zawiera AR(p), zmienne rozdzielające (split variables) dla drzewa decyzyjnego są wybierane wśród poprzednich p zmiennych w szeregu czasowym

ART(p) - definiowanie Każdy węzeł nie będący liściem jest skojarzony z formułą boolowską, która jest funkcją p zmiennych Np. korzeń drzewa z przykładu testuje czy Z każdą krawędzią kojarzymy formułę (jej negację) z jej ojca, kiedy etykieta krawędzi ma wartość true (false) Każdy liść kojarzymy z indykatorem (indicator function) , który zwraca 1 gdy wszystkie formuły na krawędziach wzdłuż ścieżki z korzenia do tego liścia mają wartość true, 0 w p.p.

Indykator - przykład 1, gdy 0 w p.p.

ART(p) - definicja Ostatecznie model ART(p) jest zadany równaniem gdzie L – liczba liści i - parametry modelu dla regresji liniowej w liściu

ART(p) Modele ART są uogólnieniami AR, gdyż ART(p) z drzewem decyzyjnym, które ma jeden węzeł jest modelem AR(p) ART(p) są mocniejsze niż AR, ponieważ pozwalają uchwycić nieliniowe zależności w szeregu czasowym Co więcej, ART(p) mogą uwzględniać zjawisko periodyczności (periodic time series) Przykład: potencjalne przewagi ART nad AR

Scatterplot szeregu czasowego oraz modeli AR(1) i ART(1)

Scatterplot: wnioski W zależności od wartości zmiennej, stosowana może być inna formuła autoregresyjna (w przykładzie: 3 różne modele AR) Model ART tworzy lepszą aproksymację, która jest bardziej dopasowana do danych niż model AR

Inne nieliniowe modele autoregresyjne SETAR – Self Exciting Threshold Autoregressive Models – Tong Słabszy model - pojedyńcza zmienna rozdzielająca ASTAR – Adaptive Smooth Threshold Regressive Models – Lewis, Ray, Stevens Zastosowanie MARS (multiple adaptative regression splines) do szeregów czasowych Sieci neuronowe Skuteczne, ale kosztowne w uczeniu

Uczenie ART Uczenie Bayesowskie Każdy obserwowany przykład zmienia estymowane prawdopodobieństwo poprawności Metoda „przeglądu i oceny” Metryka oceny: Bayesian score Koszt obliczenia metryki: , gdzie Ci – liczba przypadków, które „wpadają” do liścia li

Uczenie ART - windowing Transformacja „okienkowa” – windowing Pojedyńczy ciąg przekształcamy do zbioru przypadków wg wzoru: , dla , gdzie Tak przekształcony zbiór danych nazywamy transformacją o długości p oryginalnego szeregu czasowego Przykład: y = (1,3,2,4). Transformacją o długości 2 jest zbiór {x1=(1,3), x2=(3,2), x3=(2,4)} Transformacja o długości 3 to x1=(1,3,2), x2=(3,2,4)

Uczenie ART - windowing Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan

Uczenie ART Po uwzględnieniu transformacji, mamy prawdopodobieństwo modelu To prawdopodobieństwo jest dokładnie prawdopodobieństwem zwykłego modelu regresyjnego ze zmienną objaśnianą i zmiennymi objaśniającymi Możemy więc zastosować każdą technikę regresyjną, w szczególności drzewa decyzyjne

Uczenie ART – budowanie drzewa 2 przypadki: p jest znane – tym się zajmiemy p jest nieznane – pochodna pierwszego przypadku Znane p: Stosujemy algorytm greedy search i operator split-leaf(Y,n) Początkowo drzewo składa się tylko z korzenia Iteracyjnie aplikujemy split-leaf w każdym liściu dla każdej zmiennej Wybieramy ten podział, który najbardziej zwiększa metrykę (Bayesian score). Jeśli żaden podział nie zwiększa metryki, kończymy

Budowanie drzewa – p nieznane Stosujemy algorytm dla znanego p – trenujemy model ART(i), i wybieramy model z największą wartością metryki Bayesian score Złożoność: , gdzie L – liczba liści, T – długość szeregu

Prognozowanie z użyciem ART Problem: mając daną sekwencję obserwacji znaleźć rozkład przyszłych obserwacji Rozróżniamy 2 typy prognozowania: Jednokrokowe (one-step forecasting) Wielokrokowe (multi-step forecasting)

Prognozowanie jednokrokowe Mamy dane , interesuje nas wartość Przybliżamy ją rozkładem normalnym Jako wartość przyjmujemy najbardziej prawdopodobną wartość (maximum a posteriori value): Prognozowanie wielokrokowe jest trudniejsze Metody Monte Carlo

Porównanie efektywności http://www.forecasters.org/data/m3comp/m3comp.htm Długość szeregów: od 23 do 126 Dane: produkcja przemysłowa, dane makro- i mikroekonomiczne, finansowe Dla każdego zbioru danych utworzono 9 zbiorów z użyciem transformacji o długości p, p=0,1,..8 Dane wycentrowane i wystandaryzowane Dodatkowo podział na dane treningowe i testowe Metryka: sequential predictive score

Wyniki Ograniczenie na p: p≤i

Wyniki: AR vs ART

Wyniki Tylko w 5% przypadków wynikowe drzewo ART miało jakiś podział (split) – krótkie szeregi testowe Dodatnia korelacja między długością szeregu a ilością podziałów w drzewie Model ART jest lepszy od „zwykłej” autoregresji Różnica jest tym większa, czym dłuższy badany szereg czasowy

Zastosowanie w praktyce Algorytm ART został zaimplementowany w Microsoft SQL Server 2005 jako podstawowe narzędzie do analizy szeregów czasowych Nazwa handlowa: Microsoft Time Series

Algorytm ART

Wiele szeregów czasowych Szeregi czasowe często wykazują mocną zależność między sobą cena benzyny/sprzedaż nowych samochodów stopy procentowe/koszty kredytów konsumpcyjnych Microsoft Time Series potrafi rozpoznać i wykorzystać takie korelacje

Wiele szeregów czasowych Źródło: Data Mining With SQL Server 2005, Z.Tang, Jamie MacLennan 2 szeregi

Sezonowość Wiele szeregów czasowych wykazuje wyraźne wahania sezonowe Największe obroty w grudniu, „martwy sezon” latem Microsoft Time Series posiada wbudowaną obsługę sezonowości: możliwość jawnego podania – np. Periodicity_Hint=12 automatyczne wykrywanie sezonowości na podstawie FFT (szybkiej transformacji Fouriera) Dodawane są dodatkowe zmienne objaśniające Można też „odsezonowić” dane przed zastosowaniem algorytmu

Sezonowość: nieuwzględniona

Sezonowość: uwzględniona

Koniec Dziękuję za uwagę!