Wprowadzenie do Data Miningu Bartosz Matosiuk

Agenda Data Mining Proces odkrywania wiedzy Działy DM Data Mining w SQL Server

Co to jest Data Mining Proces półautomatyczny Duże zbiory danych Statystyka, metody uczenia maszynowego (reguły, drzewa decyzyjne), logika rozmyta, metody ewolucyjne Przetwarzania danych przy wykorzystaniu modeli

Proces odkrywania wiedzy Knowlegde Discovery: “The science of extracting useful information from large data sets or databases”

Cechy wiedzy Cechy poszukiwanych informacji Trafnie przewidujące rzeczywistość szukamy największej możliwej zdolności generalizacji Zrozumiałe budowanie ufności (decyzje zarządcze muszą być budowane na danych którym się ufa) zastosowanie reprezentacji wysokiego poziomu IF ... THEN, wizualizacja Interesujące Jak to zdefiniować?

Pre-processing Przygotowanie danych do pracy z algorytmem Etapy: Integracja danych Uzgadanianie typów i nazw atrybutów Oczyszczanie danych Błedy wynikające z walidacji formularzy: 00/00/0000 Zdublowane znaczenia atrybutów: zółty-słoneczny Dane celowo błędne: pralka za 1zł netto Dyskretyzacja niektóre algorytmy Selekcja atrybutów Niektóre atrybuty nic nie wniosą do analizy (nip, regon, imie etc)

Post-processing Przygotowanie ‘surowej’ wiedzy do prezentacji Zależne od: Rodzaju algorytmu Architektury systemu odkrywania wiedzy (user-driven, data-driven) Celu systemu (wizualizacja wiedzy, system ekspercki …)

Post-processing Etapy: Filtrowanie wiedzy Interpretacja Usunięcie wiedzy o niskiej jakości Jedna z koncepcji: ograniczenie zbioru do reguł ciekawych Subiektywna – wg użytkownika Obiektywna – oparta na danych Interpretacja Przedstawienie wiedzy w zrozumiałej formie Uzasadnienie wiedzy Testowanie wiedzy Weryfikacja modelu przez zbiór testowy Metoda testowania jest zależna od algorytmu i zadania

Działy Data Miningu Analiza poszukiwawcza Exploratory Data Analysis lub EDA Eksploracja danych dokonywane przez użytkownika Narzędzia interaktywne i graficzne: Kreślenie ‘surowych danych’, Kreślenie statystyk (średnie, odchylenia standardowe etc) Łączenie wykresów Problem: wizualizacja danych p-wymiarowych (p>3)

Działy Data Miningu Segmentacja danych grupowanie rekordów na n grup automatyczne wykrywanie naturalnych grup wykrywanie związków w danych (powiązania pomiędzy atrybutami) K-means, podejście statystyczne, …

Działy Data Miningu Modelowanie prognozujące Przewidywanie wartości jednej zmiennej (atrybut celu) na podstawie innych Classification (atrybut celu jest dyskretny) Regression (atrybut celu jest ciągły) Cel: zbudowanie warunku opisującego klasę IF {A} THEN Goal=1, IF {B} THEN Gloal=0 UID Imie Nazwisko Wiek Saldo Il dzieci S. cyw. … Goal 1 Jan Nowak 26 20000 2 Ż - Płatnik 44 100k 3 Pan Dyrektor 29 30000 4 Kasia 23 1000 K

Działy Data Miningu Odkrywanie asocjacji i odstępstw Algorytm APRIORI Budowanie ciągów powiązań w oparciu o prawdopodobieństwo ich wystapienia TID Chleb Mleko Piwo Czekolada Pieluchy Jajka Śmietana … 1 2 3 4 5 6 7

Działy Data Miningu Ekspoloracja złożonych typów danych (Odzyskiwanie przez treść) Analiza danych multimedialnych Analiza plików tekstowych Webmining (dokumenty z częściową strukturą) Szukanie w bazie wzorców podobnych do szukanego (wyszukiwarki internetowe)

Liderzy rozwiązań and many more…

Data Mining w SQL Server SQL Server Analysis Services Serwer OLAP Serwer data mining Business Intelligence Development Studio Zintegrowane środowisko developerskie

Dostępne algorytmy MS Decision Trees Algorithm Klasyfikacja i regresja Drzewa decyzyjne

MS Clustering Algorithm segmentacja MS Association Algorithm badanie asocjacji MS Sequence Clustering Algorithm grupowanie danych posiadających podobne sekwencje

Dostępne algorytmy cd MS Naive Bayes Algorithm klasyfikacja zakłada ‘naiwnie’ że artybuty nie są skorelowane

Dostępne algorytmy cd MS Time Series Algorithm przewidywanie wartości artybutów ciągłych MS Neural Network Algorithm (SSAS) klasyfikacja i regresja danych wielowarstwowy perceptron MS Logistic Regression Algorithm sieć neuronowa bez warstwy ukrytej realizacja liniowej regresji MS Linear Regression Algorithm wariacja algorytmu drzew decyzyjnych

Showtime Co chcemy zrobić: Narzędzia: BI Studio, SQL Server 2005 Podzielić obecnych klientów na segmenty Zbudować model który zasugeruje którzy potencjalni klienci staną się klientami firmy (jaka jest charakterystyka klienta) Narzędzia: BI Studio, SQL Server 2005

Pytania? Dziękuję za uwagę Bartosz Matosiuk bartosz@matosiuk.net