dr Robert Kowalczyk, PWSZ Płock Drążenie danych dr Robert Kowalczyk, PWSZ Płock

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Informacje Ogólne Zaliczenie wykładu: test Ocena z przedmiotu: 50% ćwiczenia + 50% wykład Wykłady na: www.math.uni.lodz.pl/~kowalcr dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

Czym jest drążenie danych? Eksploracja danych, pozyskiwanie danych, ekstrakcja danych, drążenie danych, wydobywanie danych – jeden z etapów procesu uzyskiwania wiedzy z baz danych. Idea drążenia danych polega na wykorzystaniu szybkości komputera do znajdowania ukrytych dla człowieka (właśnie z uwagi na ograniczone możliwości czasowe) prawidłowości w danych zgromadzonych w hurtowniach danych. Istnieje wiele technik drążenia danych, które wywodzą się z ugruntowanych dziedzin nauki, takich jak statystyka (statystyczna analiza wielowymiarowa) i uczenie maszynowe. dr Robert Kowalczyk, PWSZ Płock

Przebieg procesu drążenia danych metodyka SEMMA Sample – próbkowanie. Badacz dobiera reprezentatywną próbę. Przy analizie większych zbiorów danych oznacza też wybór danych właściwych dla problemu badawczego. Explore – Eksploracja danych. Badacz dokonuje wstępnej analizy danych, w celu rozpoznania prostych wzorców, właściwości danych, ich spójności itp. Modify – Modyfikacja. Badacz czyści dane z niespójności, oraz koryguje braki danych. Model – Budowa modelu. Główny element pracy, badacz aplikuje określony algorytm, które następnie jest optymalizowany. Asses – Ocena jakości modelu. dr Robert Kowalczyk, PWSZ Płock

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Map - reduce Map-Reduce - model programowania pochodzący z programowania funkcyjnego. Model opiera się na dwóch operacjach: odwzorowaniu (z ang. map) oraz redukcji (z ang. reduce). Krok map przetwarza listę wartości argumentów w celu wytworzenia następnej listy wartości wyników. Krok reduce działa na częściowo przetworzonej liście wynikowej powstałej jako wynik kroku map, redukując ją do końcowego wyniku przetwarzania. dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ Map – reduce - przykład dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

Map – reduce – przykład karty dr Robert Kowalczyk, Katedra Analizy Nieliniowej, WMiI UŁ

dr Robert Kowalczyk, PWSZ Płock Dziękuję za Uwagę!!!  dr Robert Kowalczyk, PWSZ Płock