Eksploracja danych Data Mining Tadeusz Morzy Instytut Informatyki Politechnika Poznańska

Plan wystąpienia Wprowadzenie: Powódź danych Eksploracja danych – przykłady zastosowań Eksploracja danych – metody eksploracji danych

Skąd się biorą dane ? Dane są generowane przez: banki, ubezpieczalnie, firmy sieci handlowe, szpitale Dane eksperymentalne: astronomia, biologia, etc Web, tekst, i e-handel

Przykłady (1) Very Long Baseline Interferometry (VLBI) posiada 16 teleskopów, z których każdy produkuje 1 Gigabit/second danych astronomicznych w czasie 25-dniowej sesji obserwacyjnej AT&T obsługuje miliardy połączeń dziennie Danych jest tyle, że nie można ich wszystkich zapamiętać – analiza tych danych jest wykonywana “on the fly” ( „w locie”)

Przykłady (2) sieć sprzedaży Wal-Mart gromadzi dziennie dane dotyczące ponad 20 milionów transakcji koncern Mobil Oil rozwija magazyn danych pozwalający na przechowywanie ponad 100 terabajtów danych o wydobyciu ropy naftowej system satelitarnej obserwacji EOS zbudowany przez NASA generuje w każdej godzinie dziesiątki gigabajtów danych niewielkie supermarkety rejestrują codziennie sprzedaż tysięcy artykułów

Największe systemy baz danych 2003 Komercyjne bazy danych: Winter Corp. 2003 Survey: France Telecom posiada najwiekszą bazę danych, ~30TB; AT&T ~ 26 TB Web Alexa internet archiwum: 7-letnie dane, 500 TB Google wyszukuje 4+ miliarda stron, tysiące TB IBM WebFountain, 160 TB (2003) Internet archiwum (www.archive.org),~ 300 TB

5 milionów TB wygenerowanych w 2002 UC Berkeley 2003 szacuje: 5 exabytes (5 million terabytes) nowych danych wygenerowanych w 2002. www.sims.berkeley.edu/research/projects/how-much-info-2003/ USA produkuje ~40% danych światowych

Przyrost danych Podwojenie danych w stosunku do roku 1999 (~30% przyrost roczny) Niewielka część danych jest przeglądana i analizowana, oraz wykorzystywana w praktyce!!! Niezbędna jest analiza przechowywanych danych – inaczej przechowywanie takich wolumenów danych nie ma najmniejszego sensu Dziedziną, która zajmuje się analizą i odkrywaniem zależności, reguł, wzorców w BD i DW jest – eksploracja danych (ang. data mining)

Plan wystąpienia Wprowadzenie: Powódź danych Eksploracja danych – przykłady zastosowań Eksploracja danych - metody eksploracji danych

Dziedziny zastosowań Nauka Biznes Web: Administracja astronomia, bioinformatyka, przemysł farmaceutyczny, … Biznes reklama, CRM (Customer Relationship management), inwestycje, finanse, ubezpieczenia, telekomunikacja, medycyna, … Web: Przeglądarki (Google), handel elektroniczny – Amazon, eBay, Allegro Administracja wykrywanie przestępstw, wykrywanie nadużyć podatkowych, etc.

Dziedziny zastosowań Handel i marketing Finanse i bankowość identyfikacja „profilu klienta” dla przewidywania, którzy klienci odpowiedzą na marketing korespondencyjny, wykrywanie schematów zakupów i planowanie lokalizacji artykułów Finanse i bankowość identyfikacja schematów wykorzystywania kradzionych kart kredytowych przewidywanie dochodowości portfela akcji, znajdowanie korelacji wśród wskaźników finansowych Nauka i technologia Odkrywanie nowych obiektów (astronomia) wykrywanie schematów alarmowych w sieciach telekomunikacyjnych

Udzielanie kredytów: Sytuacja: klient występuje o kredyt Zadanie: Czy bank powinien udzielić kredytu? Uwaga: klienci, którzy posiadają najlepsza wiarygodność kredytową nie potrzebują kredytów; ci którzy potrzebują kredytów najczęściej posiadają najgorszą wiarygodność kredytową. Najlepszymi klientami banków są klienci ulokowani pośrodku. Jak ich zidentyfikować???

Genomic Microarrays Dany jest zbiór danych opisujących pacjentów szpitala. Czy potrafimy w oparciu o ten zbiór danych: Poprawnie zdiagnozować pacjenta (określić chorobę)? Przewidzieć poprawnie wynik terapii? Zaproponować najlepszą terapię?

Przykład: ALL vs AML Wynik testu: 33/34 poprawnie, 1 błąd 38 przypadków treningowych, 34 testy 2 klasy: Acute Lymphoblastic Leukemia (ALL) vs Acute Myeloid Leukemia (AML) W oparciu o dane treningowe opracowano model diagnostyczny ALL AML Wynik testu: 33/34 poprawnie, 1 błąd

Plan wystąpienia Wprowadzenie: Powódź danych Eksploracja danych – przykłady zastosowań Eksploracja danych - metody eksploracji danych

Eksploracja danych Eksploracja danych (Data Mining): zbiór technik automatycznego odkrywania nietrywialnych zależności i schematów (patterns) w dużych zbiorach danych (bazach danych) Eksploracja danych (Data Mining) często nazywana jest również odkrywaniem wiedzy w bazach danych (Knowledge Discovery in Databases) lub eksploracją baz danych (Database Mining) DATA MINING DANE SCHEMATY

Data Warehouses/Data Marts Eksploracja danych Increasing potential to support business decisions End User Making Decisions Data Presentation Visualization Business Analyst Data Mining Information Discovery Data Analyst Data Exploration Statistical Analysis, Reporting Data Warehouses/Data Marts OLAP, MDA DBA Data Sources Paper, Files, Database systems, OLTP, WWW

Metody eksploracji danych klasyfikacja/regresja grupowanie odkrywanie sekwencji odkrywanie charakterystyk analiza przebiegów czasowych odkrywanie asocjacji wykrywanie zmian i odchyleń analiza połączeń (eksploracja Web’u)

Metody eksploracji: klasyfikacja Metoda analizy danych, której celem jest predykcja wartości określonego atrybutu w oparciu o pewien zbiór danych treningowych Wiele technik: statystyka, drzewa decyzyjne, sieci neuronowe, ... ???

Metody eksploracji: klasyfikacja przykład klasyfikacji: automatyczny podział kierowców na powodujących i nie powodujących wypadków drogowych: kierowcy prowadzący czerwone pojazdy o pojemności 650 ccm powodują wypadki drogowe kierowcy, którzy posiadają prawo jazdy ponad 3 lata lub jeżdżą niebieskimi samochodami nie powodują wypadków drogowych zastosowania klasyfikacji: diagnostyka medyczna rozpoznawanie trendów na rynkach finansowych automatyczne rozpoznawanie obrazów przydział kredytów bankowych

Metody eksploracji: grupowanie Znajdź „naturalne” pogrupowanie obiektów w oparciu o ich wartości zastosowania grupowania: grupowanie dokumentów grupowanie klientów segmentacja rynku

Metody eksploracji: odkrywanie asocjacji odkrywanie asocjacji: znajdowanie związków pomiędzy występowaniem grup elementów w zbiorach danych przykłady asocjacji: klienci, którzy kupują pieluszki, kupują również piwo klienci, którzy kupują chleb, masło i ser, kupują również wodę mineralną i ketchup zastosowania odkrytych asocjacji: planowanie kampanii promocyjnych planowanie rozmieszczenia stoisk sprzedaży w supermarketach

Metody eksploracji: odkrywanie wzorców sekwencji odkrywanie wzorców sekwencji: znajdowanie najczęściej występujących sekwencji elementów przykład odkrywania wzorców sekwencji: klienci, którzy kupili farbę emulsyjną, kupią w najbliższym czasie pędzel płaski kurs akcji BPH, który podczas ostatnich trzech sesji wzrósł o 0.5%, 0.9%, 0.1%, na następnej sesji spadnie o 0.5% zastosowania odkrytych wzorców sekwencji: planowanie inwestycji giełdowych przewidywanie sprzedaży znajdowanie skutecznej terapii

Metody eksploracji: odkrywanie charakterystyk odkrywanie charakterystyk: znajdowanie zwięzłych opisów (charakterystyk) podanego zbioru danych przykład odkrywania charakterystyk: opis pacjentów chorujących na anginę pacjenci chorujący na anginę cechują się temperaturą ciała większą niż 37.5 C, bólem gardła, osłabieniem organizmu zastosowania odkrywania charakterystyk: znajdowanie zależności funkcyjnych pomiędzy zmiennymi określanie profilu klienta - zbioru cech charakterystycznych

Problemy odkrywania wiedzy w dużych bazach danych mogą zostać odkryte tysiące reguł człowiek nie potrafi rozumieć i przeanalizować bardzo dużych zbiorów informacji różni użytkownicy systemu bazy danych są zainteresowani różnymi typami reguł z różnych relacji odkrywanie reguł jest procesem bardzo złożonym obliczeniowo

Problemy odkrywania wiedzy Rozwiązanie: odkrywanie tylko części wszystkich możliwych reguł - wskazanej przez użytkownika przy pomocy kryteriów tylko użytkownik potrafi ocenić poprawnie wartość odkrytej wiedzy Jak zagwarantować poufność i ochronę danych osobistych w przypadku eksploracji danych?

Proces odkrywania wiedzy użytkownik specyfikuje zapytanie regułowe - żądanie odszukania reguł spełniających określone kryteria system odkrywania wiedzy (Knowledge Discovery Management System) wykorzystuje algorytm generowania reguł dla znalezienia reguł spełniających kryteria użytkownika odkryte reguły stanowią wynik wykonania zapytania po otrzymaniu wyniku, użytkownik może zdecydować o zmianie kryteriów dla szukanych reguł i ponownie wyspecyfikować zapytanie regułowe zapytanie regułowe KDDMS użytkownik baza danych odkryte reguły

Uwagi końcowe Systemy baz danych – narzędzie do przechowywania danych Hurtownie danych – narzędzie wspomagania podejmowania decyzji Eksploracja danych – narzędzie do analizy zgromadzonych danych