dr Robert Kowalczyk, PWSZ Płock

Prezentacja na temat: "dr Robert Kowalczyk, PWSZ Płock"— Zapis prezentacji:

1 dr Robert Kowalczyk, PWSZ Płock
Drążenie danych dr Robert Kowalczyk, PWSZ Płock

2 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Informacje Ogólne Zaliczenie wykładu: test Ocena z przedmiotu: 50% ćwiczenia + 50% wykład Wykłady na: dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

3 Czym jest drążenie danych?
Eksploracja danych, pozyskiwanie danych, ekstrakcja danych, drążenie danych, wydobywanie danych – jeden z etapów procesu uzyskiwania wiedzy z baz danych. Idea drążenia danych polega na wykorzystaniu szybkości komputera do znajdowania ukrytych dla człowieka (właśnie z uwagi na ograniczone możliwości czasowe) prawidłowości w danych zgromadzonych w hurtowniach danych. Istnieje wiele technik drążenia danych, które wywodzą się z ugruntowanych dziedzin nauki, takich jak statystyka (statystyczna analiza wielowymiarowa) i uczenie maszynowe. dr Robert Kowalczyk, PWSZ Płock

4 Przebieg procesu drążenia danych
metodyka SEMMA Sample – próbkowanie. Badacz dobiera reprezentatywną próbę. Przy analizie większych zbiorów danych oznacza też wybór danych właściwych dla problemu badawczego. Explore – Eksploracja danych. Badacz dokonuje wstępnej analizy danych, w celu rozpoznania prostych wzorców, właściwości danych, ich spójności itp. Modify – Modyfikacja. Badacz czyści dane z niespójności, oraz koryguje braki danych. Model – Budowa modelu. Główny element pracy, badacz aplikuje określony algorytm, które następnie jest optymalizowany. Asses – Ocena jakości modelu. dr Robert Kowalczyk, PWSZ Płock

5 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Map - reduce Map-Reduce - model programowania pochodzący z programowania funkcyjnego. Model opiera się na dwóch operacjach: odwzorowaniu (z ang. map) oraz redukcji (z ang. reduce). Krok map przetwarza listę wartości argumentów w celu wytworzenia następnej listy wartości wyników. Krok reduce działa na częściowo przetworzonej liście wynikowej powstałej jako wynik kroku map, redukując ją do końcowego wyniku przetwarzania. dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

6 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

7 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

8 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

9 dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ
Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

10 Map – reduce – przykład karty
dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

11 dr Robert Kowalczyk, PWSZ Płock
Dziękuję za Uwagę!!!  dr Robert Kowalczyk, PWSZ Płock