Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Analiza danych w biznesie: problemy i rozwiązania na przykładzie banku detalicznego.

Podobne prezentacje


Prezentacja na temat: "Analiza danych w biznesie: problemy i rozwiązania na przykładzie banku detalicznego."— Zapis prezentacji:

1 Analiza danych w biznesie: problemy i rozwiązania na przykładzie banku detalicznego

2 Kim jest facet obsługujący rzutnik? Nazywam się Sebastian Ptasznik i pracuję w Alior Banku. Zajmuję się przeprowadzaniem analiz na potrzeby sprawozdawczości zarządczej.

3 Plan prezentacji (45 minut) Wstęp (5 minut) 1.Czym jest model? Typowe problemy (20 minut) 1.Wnioskowanie 2.Overfitting 3.Przekleństwo wymiaru 4.Organizacja informacji/struktura organizacji/inne Jak zbudować dobry model? (15 minut) 1.Bootstraping 2.Stacking 3.Boosting Podsumowanie (5 minut) Pytania

4 Wstęp (1) Model jest to mechanizm, który pozwala wnioskować (generować prognozy) opierając się na danej informacji wejściowej. Może odpowiadać na różne pytania: ile wynosi wartość danego samochodu, z jakim prawdopodobieństwem Klient przestanie spłacać kredyt w następnym miesiącu, jaki będzie PKB w kolejnym kwartale, jaka jest zależność między inwestycjami bezpośrednimi a bezrobociem, czy klocek jest w kształcie serduszka, etc.

5 Wstęp (2): Przykłady modeli Czy mam ochotę na piwo? Piję piwo Czekam aż wróci mi ochota Fragment specyfikacji modelu (DSGE) używanego przez NBP do prognozowania zmian w gospodarce. TAKNIE Model zmiennej dla binarnej (drzewo decyzyjne)

6 Typowe problemy

7 Wnioskowanie (1) Odkrywanie znanych zależności (Klient posiadający kartę debetową ma konto) (Klienci po 85 roku życia nie biorą kredytów hipotecznych) Wyciąganie nieistotnych statystycznie wniosków (Lewy słupek wyższy od prawego: mężczyźni biorą wyższe pożyczki) Wnioskowanie fałszu (Używanie nieodpowiednich narzędzi np. porównywanie jedynie średnich) (Jakiekolwiek wyniki lepsze niż brak wyników) Pojęcie prawdy w statystyce W świecie statystyki nie ma pojęcia prawdy, można jedynie z danym prawdopodobieństwem nie mieć podstaw do odrzucenia danej hipotezy. Nasza analiza daje fałszywe wnioski gdyż pominięte zostały ważne zmienne lub uchwycone zależności są przypadkowe. Widać wyraźną zależność między…

8 Wyciąganie nieistotnych biznesowo wniosków (dotyczące małej grupy, lub bez przełożenia na potencjalne zyski: Najwięcej żonatych Stefanów jest w Gdyni) Confidence/Support (Istotność wniosków a wielkość populacji, której dotyczą) (34 letni kawalerowie z Radomia o imieniu Tomek, których nr telefonu zaczyna się od 671 z prawdopodobieństwem 95% wezmą pożyczkę w ciągu następnego kwartału) Wnioskowanie (2) Badane Zjawisko Malutki fragment gdzie wiemy o co chodzi

9 Czym jest overfitting? Sytuacja gdy model opisuje dane, które posiadamy, nie zjawisko, które je wygenerowało. Overfitting (1) (przetrenowanie) Konkurencja Gospodarka Przestrzeń Czas Socjologia Psychologia Biologia Przekonania Doświadczenia Osobowość Wiązka zależności Klient nr Miasto Dochód Płeć Inne posiadane produkty Historia transakcji Stan cywilny … MODEL Wniosek: Każdy Stefan bierze kredyt na frytkownicę

10 Dlaczego się pojawia? Przyczyny techniczne: Używamy za dużo zmiennych, więc łatwiej jest znaleźć nieprawdziwe zależności, które przypadkowo dobrze pasują do tego co obserwujemy. Wybierane są modele najlepiej dopasowane do danych, które dobrze wyglądają w chwili analizy, nie koniecznie te dające dobre (stabilne) prognozy. Przyczyny pozatechniczne: Wybieranie wyników, które są zgodne z przekonaniami analityka lub oczekiwaniami przełożonych (szukajcie a znajdziecie). Bardzo łatwo usprawiedliwić złe własności prognostyczne opracowanego rozwiązania. Overfitting (2)

11 Wraz ze zwiększającą się ilością obserwowanych cech, drastycznie wydłuża się czas potrzebny na dokonanie obliczeń. Istnieje większa skłonność modeli do overfittingu. Problemy z softwareem i sprzętem (350x ) Przykład: szukanie reguł asocjacyjnych (jeżeli A to B) dla Klientów i 2 zmiennych trwa około minut. Dla 5 zmiennych i reguł typu (jeżeli A i B to C) czas wydłuża się ~30 krotnie. Dla 10 zmiennych i reguł typu (jeżeli A i B i C to D) już 2520 krotnie. Dane transakcyjne potrafią zawierać setki zmiennych… Nie wiedząc gdzie szukać, zazwyczaj niczego się nie znajduje. Obliczenia trwające kilka dni nie są niczym niezwykłym (podobnie jak brak wyników). Trudniej jest wybrać cechy istotne w danym badaniu. Przekleństwo Wymiaru (1) (curse of dimensionality)

12 Od czego zależy wynagrodzenie ? Przekleństwo Wymiaru (2) Sytuacja nr 1 wersja szowinistyczna ;) Sytuacja nr 2

13 Organizacja informacji/struktura organizacji/inne Brak odpowiedniego softwareu. Potrzebne dane są w 9 różnych martach, 2 plikach csv, 1 excelu, 2 systemach zewnętrznych, maja rożne formaty, różne struktury, są zgodne tylko w ujęciu kwartalnym. Dane są tragicznej jakości (korekty, braki, obciążenia, błędy). Brak danych. Czas przeznaczony na analizę stanowi 10-20% czasu potrzebnego by ją przeprowadzić. Wyniki 3 tygodniowej pracy należy zaprezentować na 2-3 slajdach, najlepiej graficznie. (swoją analizę należy sprzedać) Źródło: Dilbert.com

14 Jak zbudować dobry model?

15 Bootstraping Metoda polegająca na wielokrotnym losowaniu ze zwracaniem z próby, a następnie wykonywania dla każdej z podprób przeliczeń i obserwacji zmienności otrzymywanych w ten sposób wyników. Losujemy z naszej próby jakąś część (podpróbę). Można losować zachowując strukturę danych (stratyfikacja) Na podstawie tej podpróby budujemy model Zapisujemy wnioski płynące z modelu Losujemy z naszej próby jakąś część (podpróbę) Na podstawie tej podpróby wnioskujemy przy pomocy modelu zbudowanego wcześniej na pełnej próbie. Zapisujemy wnioski płynące z modelu Przykład 1. Badamy czy nasz model jest wrażliwy na dane na jakich jest budowany. Przykład 2. Badamy czy wnioski/prognozy otrzymywane z naszego modelu są stabilne.

16 Boosting Metoda polegająca na łączeniu kilku słabych modeli w jeden mocny. Każdy słaby model staje się ekspertem w wąskim wycinku badanego zjawiska. Modele składowe drogą głosowania decydują jaki jest końcowy wniosek/predykcja ( ekspert ma największą wagę głosu gdy obserwacja jest jego specjalizacją). Obserwacje gdzie model się pomylił przyjmują większa wagę niż te gdzie dał prawidłowe prognozy Budujemy nowy model NieTak Model 3Model 2Model 1 Model 4 Ekspert

17 Meta-modele (1) (Stacked Generalization) Gdyby przeciętny meta-model byłby zwierzęciem, wyglądałby mniej więcej tak ;-) … W metodzie tej łączy się wnioski/predykcje pochodzące z różnych modeli, w taki sposób by zmaksymalizować korzyści płynące z wykorzystania różnych narzędzi (każde z nich może szukać innego typu zależności między danymi). Może być to proste uśrednianie, jak również zbudowanie modelu, który wnioskuje opierając się na predykcjach innych modeli. Meta-model jest hybrydą.

18 Meta-modele (2) RekinoŚmiornicoDźwiedź

19 Podsumowanie 1.Model jest mechanizmem wnioskowania 2.Łatwo popełnić błąd podczas analizy 3.Trudno bez wiedzy eksperckiej na temat danego zjawiska je badać 4.Poza technicznymi przeciwnościami istnieje cała gama innych czynników utrudniających pracę 5.Dobry model musi dawać stabilne wyniki, by to osiągnąć warto skorzystać z symulacji i kombinowania prognoz.

20 Kontakt


Pobierz ppt "Analiza danych w biznesie: problemy i rozwiązania na przykładzie banku detalicznego."

Podobne prezentacje


Reklamy Google