Eksploracja danych Data Mining

Prezentacja na temat: "Eksploracja danych Data Mining"— Zapis prezentacji:

1 Eksploracja danych Data Mining
Tadeusz Morzy Instytut Informatyki Politechnika Poznańska

2 Plan wystąpienia Wprowadzenie: Powódź danych
Eksploracja danych – przykłady zastosowań Eksploracja danych – metody eksploracji danych

3 Skąd się biorą dane ? Dane są generowane przez:
banki, ubezpieczalnie, firmy sieci handlowe, szpitale Dane eksperymentalne: astronomia, biologia, etc Web, tekst, i e-handel

4 Przykłady (1) Very Long Baseline Interferometry (VLBI) posiada 16 teleskopów, z których każdy produkuje 1 Gigabit/second danych astronomicznych w czasie 25-dniowej sesji obserwacyjnej AT&T obsługuje miliardy połączeń dziennie Danych jest tyle, że nie można ich wszystkich zapamiętać – analiza tych danych jest wykonywana “on the fly” ( „w locie”)

5 Przykłady (2) sieć sprzedaży Wal-Mart gromadzi dziennie dane dotyczące ponad 20 milionów transakcji koncern Mobil Oil rozwija magazyn danych pozwalający na przechowywanie ponad 100 terabajtów danych o wydobyciu ropy naftowej system satelitarnej obserwacji EOS zbudowany przez NASA generuje w każdej godzinie dziesiątki gigabajtów danych niewielkie supermarkety rejestrują codziennie sprzedaż tysięcy artykułów

6 Największe systemy baz danych 2003
Komercyjne bazy danych: Winter Corp Survey: France Telecom posiada najwiekszą bazę danych, ~30TB; AT&T ~ 26 TB Web Alexa internet archiwum: 7-letnie dane, 500 TB Google wyszukuje 4+ miliarda stron, tysiące TB IBM WebFountain, 160 TB (2003) Internet archiwum ( 300 TB

7 5 milionów TB wygenerowanych w 2002
UC Berkeley 2003 szacuje: 5 exabytes (5 million terabytes) nowych danych wygenerowanych w 2002. USA produkuje ~40% danych światowych

8 Przyrost danych Podwojenie danych w stosunku do roku 1999 (~30% przyrost roczny) Niewielka część danych jest przeglądana i analizowana, oraz wykorzystywana w praktyce!!! Niezbędna jest analiza przechowywanych danych – inaczej przechowywanie takich wolumenów danych nie ma najmniejszego sensu Dziedziną, która zajmuje się analizą i odkrywaniem zależności, reguł, wzorców w BD i DW jest – eksploracja danych (ang. data mining)

9 Plan wystąpienia Wprowadzenie: Powódź danych
Eksploracja danych – przykłady zastosowań Eksploracja danych - metody eksploracji danych

10 Dziedziny zastosowań Nauka Biznes Web: Administracja
astronomia, bioinformatyka, przemysł farmaceutyczny, … Biznes reklama, CRM (Customer Relationship management), inwestycje, finanse, ubezpieczenia, telekomunikacja, medycyna, … Web: Przeglądarki (Google), handel elektroniczny – Amazon, eBay, Allegro Administracja wykrywanie przestępstw, wykrywanie nadużyć podatkowych, etc.

11 Dziedziny zastosowań Handel i marketing Finanse i bankowość
identyfikacja „profilu klienta” dla przewidywania, którzy klienci odpowiedzą na marketing korespondencyjny, wykrywanie schematów zakupów i planowanie lokalizacji artykułów Finanse i bankowość identyfikacja schematów wykorzystywania kradzionych kart kredytowych przewidywanie dochodowości portfela akcji, znajdowanie korelacji wśród wskaźników finansowych Nauka i technologia Odkrywanie nowych obiektów (astronomia) wykrywanie schematów alarmowych w sieciach telekomunikacyjnych

12 Udzielanie kredytów: Sytuacja: klient występuje o kredyt
Zadanie: Czy bank powinien udzielić kredytu? Uwaga: klienci, którzy posiadają najlepsza wiarygodność kredytową nie potrzebują kredytów; ci którzy potrzebują kredytów najczęściej posiadają najgorszą wiarygodność kredytową. Najlepszymi klientami banków są klienci ulokowani pośrodku. Jak ich zidentyfikować???

13 Genomic Microarrays Dany jest zbiór danych opisujących pacjentów szpitala. Czy potrafimy w oparciu o ten zbiór danych: Poprawnie zdiagnozować pacjenta (określić chorobę)? Przewidzieć poprawnie wynik terapii? Zaproponować najlepszą terapię?

14 Przykład: ALL vs AML Wynik testu: 33/34 poprawnie, 1 błąd
38 przypadków treningowych, 34 testy 2 klasy: Acute Lymphoblastic Leukemia (ALL) vs Acute Myeloid Leukemia (AML) W oparciu o dane treningowe opracowano model diagnostyczny ALL AML Wynik testu: 33/34 poprawnie, 1 błąd

15 Plan wystąpienia Wprowadzenie: Powódź danych
Eksploracja danych – przykłady zastosowań Eksploracja danych - metody eksploracji danych

16 Eksploracja danych Eksploracja danych (Data Mining): zbiór technik automatycznego odkrywania nietrywialnych zależności i schematów (patterns) w dużych zbiorach danych (bazach danych) Eksploracja danych (Data Mining) często nazywana jest również odkrywaniem wiedzy w bazach danych (Knowledge Discovery in Databases) lub eksploracją baz danych (Database Mining) DATA MINING DANE SCHEMATY

17 Data Warehouses/Data Marts
Eksploracja danych Increasing potential to support business decisions End User Making Decisions Data Presentation Visualization Business Analyst Data Mining Information Discovery Data Analyst Data Exploration Statistical Analysis, Reporting Data Warehouses/Data Marts OLAP, MDA DBA Data Sources Paper, Files, Database systems, OLTP, WWW

18 Metody eksploracji danych
klasyfikacja/regresja grupowanie odkrywanie sekwencji odkrywanie charakterystyk analiza przebiegów czasowych odkrywanie asocjacji wykrywanie zmian i odchyleń analiza połączeń (eksploracja Web’u)

19 Metody eksploracji: klasyfikacja
Metoda analizy danych, której celem jest predykcja wartości określonego atrybutu w oparciu o pewien zbiór danych treningowych Wiele technik: statystyka, drzewa decyzyjne, sieci neuronowe, ... ???

20 Metody eksploracji: klasyfikacja
przykład klasyfikacji: automatyczny podział kierowców na powodujących i nie powodujących wypadków drogowych: kierowcy prowadzący czerwone pojazdy o pojemności 650 ccm powodują wypadki drogowe kierowcy, którzy posiadają prawo jazdy ponad 3 lata lub jeżdżą niebieskimi samochodami nie powodują wypadków drogowych zastosowania klasyfikacji: diagnostyka medyczna rozpoznawanie trendów na rynkach finansowych automatyczne rozpoznawanie obrazów przydział kredytów bankowych

21 Metody eksploracji: grupowanie
Znajdź „naturalne” pogrupowanie obiektów w oparciu o ich wartości zastosowania grupowania: grupowanie dokumentów grupowanie klientów segmentacja rynku

22 Metody eksploracji: odkrywanie asocjacji
odkrywanie asocjacji: znajdowanie związków pomiędzy występowaniem grup elementów w zbiorach danych przykłady asocjacji: klienci, którzy kupują pieluszki, kupują również piwo klienci, którzy kupują chleb, masło i ser, kupują również wodę mineralną i ketchup zastosowania odkrytych asocjacji: planowanie kampanii promocyjnych planowanie rozmieszczenia stoisk sprzedaży w supermarketach

23 Metody eksploracji: odkrywanie wzorców sekwencji
odkrywanie wzorców sekwencji: znajdowanie najczęściej występujących sekwencji elementów przykład odkrywania wzorców sekwencji: klienci, którzy kupili farbę emulsyjną, kupią w najbliższym czasie pędzel płaski kurs akcji BPH, który podczas ostatnich trzech sesji wzrósł o 0.5%, 0.9%, 0.1%, na następnej sesji spadnie o 0.5% zastosowania odkrytych wzorców sekwencji: planowanie inwestycji giełdowych przewidywanie sprzedaży znajdowanie skutecznej terapii

24 Metody eksploracji: odkrywanie charakterystyk
odkrywanie charakterystyk: znajdowanie zwięzłych opisów (charakterystyk) podanego zbioru danych przykład odkrywania charakterystyk: opis pacjentów chorujących na anginę pacjenci chorujący na anginę cechują się temperaturą ciała większą niż 37.5 C, bólem gardła, osłabieniem organizmu zastosowania odkrywania charakterystyk: znajdowanie zależności funkcyjnych pomiędzy zmiennymi określanie profilu klienta - zbioru cech charakterystycznych

25 Problemy odkrywania wiedzy
w dużych bazach danych mogą zostać odkryte tysiące reguł człowiek nie potrafi rozumieć i przeanalizować bardzo dużych zbiorów informacji różni użytkownicy systemu bazy danych są zainteresowani różnymi typami reguł z różnych relacji odkrywanie reguł jest procesem bardzo złożonym obliczeniowo

26 Problemy odkrywania wiedzy
Rozwiązanie: odkrywanie tylko części wszystkich możliwych reguł - wskazanej przez użytkownika przy pomocy kryteriów tylko użytkownik potrafi ocenić poprawnie wartość odkrytej wiedzy Jak zagwarantować poufność i ochronę danych osobistych w przypadku eksploracji danych?

27 Proces odkrywania wiedzy
użytkownik specyfikuje zapytanie regułowe - żądanie odszukania reguł spełniających określone kryteria system odkrywania wiedzy (Knowledge Discovery Management System) wykorzystuje algorytm generowania reguł dla znalezienia reguł spełniających kryteria użytkownika odkryte reguły stanowią wynik wykonania zapytania po otrzymaniu wyniku, użytkownik może zdecydować o zmianie kryteriów dla szukanych reguł i ponownie wyspecyfikować zapytanie regułowe zapytanie regułowe KDDMS użytkownik baza danych odkryte reguły

28 Uwagi końcowe Systemy baz danych – narzędzie do przechowywania danych
Hurtownie danych – narzędzie wspomagania podejmowania decyzji Eksploracja danych – narzędzie do analizy zgromadzonych danych