Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Eksploracja danych Data Mining Tadeusz Morzy Instytut Informatyki Politechnika Poznańska.

Podobne prezentacje


Prezentacja na temat: "Eksploracja danych Data Mining Tadeusz Morzy Instytut Informatyki Politechnika Poznańska."— Zapis prezentacji:

1 Eksploracja danych Data Mining Tadeusz Morzy Instytut Informatyki Politechnika Poznańska

2 2 Plan wystąpienia  Wprowadzenie: Powódź danych  Eksploracja danych – przykłady zastosowań  Eksploracja danych – metody eksploracji danych

3 3 Skąd się biorą dane ?  Dane są generowane przez:  banki, ubezpieczalnie, firmy sieci handlowe, szpitale  Dane eksperymentalne: astronomia, biologia, etc  Web, tekst, i e-handel

4 4 Przykłady (1)  Very Long Baseline Interferometry (VLBI) posiada 16 teleskopów, z których każdy produkuje 1 Gigabit/second danych astronomicznych w czasie 25-dniowej sesji obserwacyjnej  AT&T obsługuje miliardy połączeń dziennie  Danych jest tyle, że nie można ich wszystkich zapamiętać – analiza tych danych jest wykonywana “on the fly” ( „w locie”)

5 5 Przykłady (2)  sieć sprzedaży Wal-Mart gromadzi dziennie dane dotyczące ponad 20 milionów transakcji  koncern Mobil Oil rozwija magazyn danych pozwalający na przechowywanie ponad 100 terabajtów danych o wydobyciu ropy naftowej  system satelitarnej obserwacji EOS zbudowany przez NASA generuje w każdej godzinie dziesiątki gigabajtów danych  niewielkie supermarkety rejestrują codziennie sprzedaż tysięcy artykułów

6 6 Największe systemy baz danych 2003  Komercyjne bazy danych:  Winter Corp Survey: France Telecom posiada najwiekszą bazę danych, ~30TB; AT&T ~ 26 TB  Web  Alexa internet archiwum: 7-letnie dane, 500 TB  Google wyszukuje 4+ miliarda stron, tysiące TB  IBM WebFountain, 160 TB (2003)  Internet archiwum (www.archive.org),~ 300 TBwww.archive.org

7 7 5 milionów TB wygenerowanych w 2002  UC Berkeley 2003 szacuje: 5 exabytes (5 million terabytes) nowych danych wygenerowanych w  USA produkuje ~40% danych światowych

8 8 Przyrost danych  Podwojenie danych w stosunku do roku 1999 (~30% przyrost roczny)  Niewielka część danych jest przeglądana i analizowana, oraz wykorzystywana w praktyce!!!  Niezbędna jest analiza przechowywanych danych – inaczej przechowywanie takich wolumenów danych nie ma najmniejszego sensu  Dziedziną, która zajmuje się analizą i odkrywaniem zależności, reguł, wzorców w BD i DW jest – eksploracja danych (ang. data mining)

9 9 Plan wystąpienia  Wprowadzenie: Powódź danych  Eksploracja danych – przykłady zastosowań  Eksploracja danych - metody eksploracji danych

10 10 Dziedziny zastosowań  Nauka  astronomia, bioinformatyka, przemysł farmaceutyczny, …  Biznes  reklama, CRM (Customer Relationship management), inwestycje, finanse, ubezpieczenia, telekomunikacja, medycyna, …  Web:  Przeglądarki (Google), handel elektroniczny – Amazon, eBay, Allegro  Administracja  wykrywanie przestępstw, wykrywanie nadużyć podatkowych, etc.

11 11 Dziedziny zastosowań  Handel i marketing  identyfikacja „profilu klienta” dla przewidywania, którzy klienci odpowiedzą na marketing korespondencyjny,  wykrywanie schematów zakupów i planowanie lokalizacji artykułów  Finanse i bankowość  identyfikacja schematów wykorzystywania kradzionych kart kredytowych  przewidywanie dochodowości portfela akcji, znajdowanie korelacji wśród wskaźników finansowych  Nauka i technologia  Odkrywanie nowych obiektów (astronomia)  wykrywanie schematów alarmowych w sieciach telekomunikacyjnych

12 12 Udzielanie kredytów:  Sytuacja: klient występuje o kredyt  Zadanie: Czy bank powinien udzielić kredytu?  Uwaga: klienci, którzy posiadają najlepsza wiarygodność kredytową nie potrzebują kredytów; ci którzy potrzebują kredytów najczęściej posiadają najgorszą wiarygodność kredytową. Najlepszymi klientami banków są klienci ulokowani pośrodku. Jak ich zidentyfikować???

13 13 Genomic Microarrays Dany jest zbiór danych opisujących pacjentów szpitala. Czy potrafimy w oparciu o ten zbiór danych:  Poprawnie zdiagnozować pacjenta (określić chorobę)?  Przewidzieć poprawnie wynik terapii?  Zaproponować najlepszą terapię?

14 14 Przykład: ALL vs AML  38 przypadków treningowych, 34 testy  2 klasy: Acute Lymphoblastic Leukemia (ALL) vs Acute Myeloid Leukemia (AML)  W oparciu o dane treningowe opracowano model diagnostyczny ALLAML Wynik testu: 33/34 poprawnie, 1 błąd

15 15 Plan wystąpienia  Wprowadzenie: Powódź danych  Eksploracja danych – przykłady zastosowań  Eksploracja danych - metody eksploracji danych

16 16 Eksploracja danych  Eksploracja danych (Data Mining): zbiór technik automatycznego odkrywania nietrywialnych zależności i schematów (patterns) w dużych zbiorach danych (bazach danych)  Eksploracja danych (Data Mining) często nazywana jest również odkrywaniem wiedzy w bazach danych (Knowledge Discovery in Databases) lub eksploracją baz danych (Database Mining) DANE DATA MINING SCHEMATY

17 17 Eksploracja danych Increasing potential to support business decisions Data Sources Paper, Files, Database systems, OLTP, WWW Data Warehouses/Data Marts OLAP, MDA Data Exploration Statistical Analysis, Reporting Data Mining Information Discovery Data Presentation Visualization Making Decisions End User DBA Business Analyst Data Analyst

18 18 Metody eksploracji danych  klasyfikacja/regresja  grupowanie  odkrywanie sekwencji  odkrywanie charakterystyk  analiza przebiegów czasowych  odkrywanie asocjacji  wykrywanie zmian i odchyleń  analiza połączeń (eksploracja Web’u)

19 19 Metody eksploracji: klasyfikacja Metoda analizy danych, której celem jest predykcja wartości określonego atrybutu w oparciu o pewien zbiór danych treningowych Wiele technik: statystyka, drzewa decyzyjne, sieci neuronowe,... ???

20 20 Metody eksploracji: klasyfikacja  przykład klasyfikacji: automatyczny podział kierowców na powodujących i nie powodujących wypadków drogowych:  kierowcy prowadzący czerwone pojazdy o pojemności 650 ccm powodują wypadki drogowe  kierowcy, którzy posiadają prawo jazdy ponad 3 lata lub jeżdżą niebieskimi samochodami nie powodują wypadków drogowych  zastosowania klasyfikacji:  diagnostyka medyczna  rozpoznawanie trendów na rynkach finansowych  automatyczne rozpoznawanie obrazów  przydział kredytów bankowych

21 21 Metody eksploracji: grupowanie Znajdź „naturalne” pogrupowanie obiektów w oparciu o ich wartości zastosowania grupowania: -grupowanie dokumentów -grupowanie klientów -segmentacja rynku

22 22 Metody eksploracji: odkrywanie asocjacji  odkrywanie asocjacji: znajdowanie związków pomiędzy występowaniem grup elementów w zbiorach danych  przykłady asocjacji:  klienci, którzy kupują pieluszki, kupują również piwo  klienci, którzy kupują chleb, masło i ser, kupują również wodę mineralną i ketchup  zastosowania odkrytych asocjacji:  planowanie kampanii promocyjnych  planowanie rozmieszczenia stoisk sprzedaży w supermarketach

23 23 Metody eksploracji: odkrywanie wzorców sekwencji  odkrywanie wzorców sekwencji: znajdowanie najczęściej występujących sekwencji elementów  przykład odkrywania wzorców sekwencji:  klienci, którzy kupili farbę emulsyjną, kupią w najbliższym czasie pędzel płaski  kurs akcji BPH, który podczas ostatnich trzech sesji wzrósł o 0.5%, 0.9%, 0.1%, na następnej sesji spadnie o 0.5%  zastosowania odkrytych wzorców sekwencji:  planowanie inwestycji giełdowych  przewidywanie sprzedaży  znajdowanie skutecznej terapii

24 24 Metody eksploracji: odkrywanie charakterystyk  odkrywanie charakterystyk: znajdowanie zwięzłych opisów (charakterystyk) podanego zbioru danych  przykład odkrywania charakterystyk: opis pacjentów chorujących na anginę  pacjenci chorujący na anginę cechują się temperaturą ciała większą niż 37.5 C, bólem gardła, osłabieniem organizmu  zastosowania odkrywania charakterystyk:  znajdowanie zależności funkcyjnych pomiędzy zmiennymi  określanie profilu klienta - zbioru cech charakterystycznych

25 25 Problemy odkrywania wiedzy  Problemy odkrywania wiedzy:  w dużych bazach danych mogą zostać odkryte tysiące reguł  człowiek nie potrafi rozumieć i przeanalizować bardzo dużych zbiorów informacji  różni użytkownicy systemu bazy danych są zainteresowani różnymi typami reguł z różnych relacji  odkrywanie reguł jest procesem bardzo złożonym obliczeniowo

26 26 Problemy odkrywania wiedzy  Rozwiązanie:  odkrywanie tylko części wszystkich możliwych reguł - wskazanej przez użytkownika przy pomocy kryteriów  tylko użytkownik potrafi ocenić poprawnie wartość odkrytej wiedzy  Jak zagwarantować poufność i ochronę danych osobistych w przypadku eksploracji danych?

27 27 Proces odkrywania wiedzy użytkownik specyfikuje zapytanie regułowe - żądanie odszukania reguł spełniających określone kryteria system odkrywania wiedzy (Knowledge Discovery Management System) wykorzystuje algorytm generowania reguł dla znalezienia reguł spełniających kryteria użytkownika odkryte reguły stanowią wynik wykonania zapytania po otrzymaniu wyniku, użytkownik może zdecydować o zmianie kryteriów dla szukanych reguł i ponownie wyspecyfikować zapytanie regułowe KDDMS baza danych użytkownik zapytanie regułowe odkryte reguły

28 28 Uwagi końcowe  Systemy baz danych – narzędzie do przechowywania danych  Hurtownie danych – narzędzie wspomagania podejmowania decyzji  Eksploracja danych – narzędzie do analizy zgromadzonych danych


Pobierz ppt "Eksploracja danych Data Mining Tadeusz Morzy Instytut Informatyki Politechnika Poznańska."

Podobne prezentacje


Reklamy Google