Statystyka i opracowanie danych

Prezentacja na temat: "Statystyka i opracowanie danych"— Zapis prezentacji:

1 Statystyka i opracowanie danych
Wprowadzenie do badań statystycznych Podstawowe definicje i twierdzenia Rachunku Prawdopodobieństwa Krzysztof Regulski, WIMiIP, KISiM, B5, pok. 408

2 Gdzie stosujemy statystykę?
inne ? polityka zarządzanie ekonomia gospodarka produkcja zarządzanie jakością sztuczna inteligencja: rozpoznawanie wzorców, mowy, pisma, semantyka BigData data mining KISIM, WIMiIP, AGH

3 Zagadnienia Sztucznej Inteligencji (AI)
Soft Computing Optymalizacja badania operacyjne Algorytmy ewolucyjne i genetyczne reprezentacja wiedzy Logika rozmyta Sieci neuronowe wnioskowanie Metody statystyczne Computational Intelligence - numeryczne Artificial Intelligence - symboliczne Systemy ekspertowe Rachunek prawdopodobieństwa Wizualizacja Data mining Uczenie maszynowe Rozpoznawanie Wzorców KISIM, WIMiIP, AGH

4 Przykłady zadań sztucznej inteligencji
dokonywanie ekspertyz ekonomicznych, prawnych, technicznych, medycznych (ocena) wspomaganie podejmowania decyzji (doradzanie) rozpoznawanie obrazów, twarzy, wzorców, etc. optymalizacja (harmonogramowanie, alokacja zasobów, planowanie tras) generacja nowej wiedzy (poszukiwanie zalezności, tendencji, reguł, etc – data mining) prognozowanie zjawisk ekonomicznych, przyrodniczych rozumienie języka naturalnego sterowanie urządzeniami (roboty etc) i inne… KISIM, WIMiIP, AGH

5 Industry 4.0

6 Big Data big data to zbiory informacji o dużej objętości, dużej zmienności lub dużej różnorodności, które wymagają nowych form przetwarzania w celu wspomagania podejmowania decyzji, odkrywania nowych zjawisk oraz optymalizacji procesów: szukanie, pobieranie, gromadzenie i przetwarzanie  model 4V (Volume, Velocity, Variety, Value) : wykorzystanie – wykorzystaj najpierw wewnętrzne (własne) zasoby danych; wnioskowanie – umiejętnie stosuj techniki analityczne, użyj ekspertów; wzbogacanie – wzbogacaj własne dane o informacje z rynku, używaj słowników i baz referencyjnych; weryfikacja – koniecznie weryfikuj hipotezy i wnioski. Big Data as-a-Service (BDaaS), czyli przetwarzanie w chmurze obliczeniowej wielkich zbiorów danych, to dziś najszybciej rozwijająca się gałąź IT Ponad 7 miliardów dolarów – na tyle szacowana jest wartość sektora Big Data as-a-Service (BDaaS) w roku 2020 segment Big Data rozwija się niemal 6-krotnie szybciej niż cały rynek IT

7 Big Data Early detection of defects and production failures, thus enable their prevention, increase productivity, quality, and agility benefits that have significant competitive value. Big Data Analytics consists of 6Cs in the integrated Industry 4.0 and Cyber Physical Systems environment. The 6C system comprises: Connection (sensor and networks) Cloud (computing and data on demand) Cyber (model & memory) Content/context (meaning and correlation) Community (sharing & collaboration) Customization (personalization and value) Data has to be processed with advanced tools (analytics and algorithms) to generate meaningful information. KISIM, WIMiIP, AGH

8 KISIM, WIMiIP, AGH

9 Przechowywanie / Przetwarzanie / Analiza
KISIM, WIMiIP, AGH

10 Plan Organizacja zajęć Zasady zaliczenia i system oceniania
Sprawy organizacyjne: Organizacja zajęć Zasady zaliczenia i system oceniania Wykład 1 – Znaczenie i rola statystyki matematycznej we współczesnych badaniach inżynierskich. Podstawowe pojęcia w statystyce Wprowadzenie do rachunku prawdopodobieństwa: Zdarzenia, przestrzeń zdarzeń. KISIM, WIMiIP, AGH

11 System oceniania z przedmiotu zgodny z Regulaminem studiów AGH
Punkty za ćwiczenia Obecność * 1 = 15 Aktywność * 1 = 15 Sprawdziany Projekt indywidualny Ocena na zaliczenie w [%] =  punktów z ćwiczeń Punkty za udział w wykładach 15 * 2 = bonusy Ocena końcowa = ocena z ćwiczeń + {JEŚLI wykł ≥ 90% → pół stopnia w górę; ≥ 150% → stopień w górę ELSE → nic} Skala ocen Poniżej 50% punktów możliwych do uzyskania ocena 2,0 % ,0 % ,5 % ,0 % ,5 % 5,0

12 Nakład pracy studenta (syllabus)
KISIM, WIMiIP, AGH

13 Statystyka i opracowanie danych Cel przedmiotu
Zdobycie wiedzy o metodach i technikach statystyki matematycznej i poprawnym ich stosowaniu w badaniach naukowych (opracowanie wyników pomiarów i obserwacji) oraz w gospodarce (analiza rynku, kontrola jakości) . Nabycie umiejętności stosowania statystycznych form analizy danych i techniki komputerowej z użyciem programów EXCEL i STATISTICA.

14 Statystyka i opracowanie danych Treści
Badania statystyczne; Podstawowe pojęcia. Statystyka opisowa miary położenia, miary zmienności, asymetrii i koncentracji, reprezentacja graficzna danych. Szeregi. Elementy rachunku prawdopodobieństwa: interpretacja zdarzeń, prawdopodobieństwo – podstawowe twierdzenia. Zmienne losowe, ich rozkłady i parametry rozkładu. Techniki wnioskowania statystycznego: estymacja i estymatory, weryfikacja hipotez statystycznych, testy statystyczne parametryczne i nieparametryczne. Analiza struktury zbiorów danych. Dopasowanie rozkładu empirycznego do teoretycznego. Analiza wariancji. Szukanie i badanie zależności. Podstawy korelacji i regresji: pojęcia podstawowe, korelacje cząstkowe, korelacje nieparametryczne, funkcje regresji. Ocena dopasowania funkcji do danych. Podstawowa wiedza o procesach stochastycznych. Zastosowania programów Excel i Statistica do analizy danych.

15 Polecane podręczniki Lapin L.L.J Statistics for modern engineering, PWS Publishers 1983 Plucińscy A., E. Rachunek Prawdopodobieństwa, Statystyka matematyczna, Procesy stochastyczne, WNT, Warszawa 2000 Stanisz A., Przystępny kurs statystyki z zastosowaniem STATISTICA PL, StatSoft, Kraków 2006 Hand D., Mannila H., Smyth P. Eksploracja danych, WNT Warszawa 2005 Hill T., Lewicki P. Statistics Methods and Applications, Stat Soft Inc. 2006

16 Statystyka pozwala wydobyć wiedzę z chaosu
Znaczenie i rola statystyki matematycznej we współczesnych badaniach inżynierskich Statystyka pozwala wydobyć wiedzę z chaosu (z danych szczegółowych) Stale posługujemy się statystyką, np. uogólniając sądy Zarabiamy mniej niż w innych krajach UE, Dłużej żyjemy Częściej chorujemy Stosujemy pojęcia statystyczne w języku potocznym: Przeciętny konsument Podwyżka energii pociąga za sobą wzrost cen żywności Skąd wynika zła opinia o statystyce „kłamstwo, łgarstwo, statystyka”: Hermetyczna i trudna terminologia, Brak wiedzy na temat metod statystycznej analizy, które chronią przed skutkami niepewności wynikającej z przypadkowości, ze współdziałania wielu czynników i umożliwiają podejmowanie najlepszych decyzji w warunkach niepewności Niepoprawne (świadome) stosowanie statystyki dla osiągania ściśle określonych celów np. politycznych, komercyjnych itp.

17 Podstawowe pojęcia Populacja i próba statystyczna Badania statystyczne Cechy statystyczne, rodzaje cech i stosowane skale ich pomiaru Dane statystyczne i ich wstępne opracowanie

18 Populacja i próba statystyczna
Populacja jest to zbiór wszystkich elementów reprezentujących analizowany problem (zjawisko). Może być zbiorem skończonym, przeliczalnym lub nieprzeliczalnym. Próba statystyczna – to podzbiór właściwy elementów badanej populacji, będący podstawą wnioskowania statystycznego o populacji.

19 Podstawowe cele badań statystycznych i statystycznej analizy zbiorów danych
Badanie struktury populacji, reprezentowanej przez zbiór (danych) wartości wybranych cech (zmiennych) i jej wizualizacja w postaci rozkładów tych zmiennych bądź charakterystyka przy zastosowaniu parametrów statystyki opisowej. Odkrywanie i określanie (charakteru, siły, kierunku) zależności występujących w zbiorach danych reprezentujących różne cechy badanych obiektów, zjawisk, procesów. Wnioskowanie statystyczne – weryfikacja hipotez.

20 Badania statystyczne - rodzaje
Badania pełne obejmują wszystkie elementy populacji, np. na przeglądzie uzębienia danego pacjenta można określić dokładną liczbę zębów i ich stan Badania częściowe – badania elementów próbki statystycznej, mają szerokie zastosowania i są: konieczne w przypadku populacji nieskończonej, stosowane w populacjach skończonych bardzo licznych stosowane w przypadkach badań niszczących

21 Badania statystyczne – próby losowe
Losowy dobór próby polega na tym, że o fakcie znalezienia się poszczególnych elementów populacji w próbie decyduje przypadek. Jest to taki sposób wyboru przy którym spełnione są następujące dwa warunki; każda jednostka populacji ma dodatnie, znane prawdopodobieństwo znalezienia się w próbie istnieje możliwość ustalenia prawdopodobieństwa znalezienia się w próbie dla każdego zespołu elementów populacji

22 Wybór próby reprezentatywnej
Od próby wymaga się reprezentatywności, czyli aby z przyjętą dokładnością opisywała strukturę badanej populacji. O reprezentatywności decydują dwa czynniki: Liczebność (n) Sposób doboru grupy Wybór celowy: o przynależności do grupy decyduje badacz, stopień reprezentatywności zależy wyłącznie od jakości selekcji Wybór losowy: każdy element populacji ma jednakową szansę znalezienia się w próbie z takim samym prawdopodobieństwem, stopień reprezentatywności rośnie wraz ze wzrostem liczebności grupy. Stosowane są dwie techniki losowania: Losowanie niezależne (zwrotne) Losowanie zależne (bezzwrotne)

23 O źródłach błędów w badaniach statystycznych
Badania zawsze obciążone są błędami, zarówno pełne jak i częściowe, związanymi z: organizacją eksperymentu, niedokładnością pomiarową, przetwarzaniem wyników, w badaniach częściowych z niedokładnością odwzorowania struktury populacji w strukturę próbki

24 Cechy statystyczne i ich rodzaje
Cechy, którymi wyróżniają się jednostki wchodzące w skład zbiorowości, nazywa się cechami statystycznymi. Każda zbiorowość statystyczna ma dużo cech, wyboru cech dokonuje się na podstawie zakładanego celu badań. Należy wybierać takie cechy, które stanowią istotną własność badanego zjawiska Typy cech cechy jakościowe – niemierzalne (np. kolor, sprawny, niesprawny) cechy ilościowe – mierzalne to takie, które dadzą się wyrazić za pomocą jednostek miary w pewnej skali ( np. wzrost [cm], waga [kg], udział[%]). Cecha mierzalna jest: ciągła, może przyjmować każdą wartość z określonego, skończonego przedziału liczbowego (np.odległość, ciężar, temperatura) dyskretna, skokowa przyjmuje wartości ze zbioru skończonego lub przeliczalnego (ilość wyrobów wadliwych, liczba zatrudnionych w zawodzie

25 Skale pomiaru cechy Skala nominalna – dotyczy cech jakościowych, operacją pomiarową jest identyfikacja kategorii do której należy zaliczyć wynik, prowadzi do podziału zbioru na zbiory rozłączne ( np. samochody wg kolorów). Skala porządkowa – stosowana jest do badania cech których natężenie jest określane przez przymiotniki, pociąga za sobą porządkowanie lub uszeregowanie badanej zmiennej ( np. poniżej normy, w normie, powyżej normy, albo za mały, mały, średni, duży, za duży) Skala równomierna (przedziałowa) – stosowania do pomiaru cech ilościowych, zakłada że zbiór wartości cechy składa się z liczb rzeczywistych określona przez wskazanie stałej jednostki miary i relacji przyporządkowującej liczbę każdemu wynikowi obserwacji (czas kalendarzowy, temperatura o C) Skala ilorazowa – posiada wszystkie właściwości skali przedziałowej ale pomiary wg tej skali charakteryzują się stałymi stosunkami i bezwzględnym zerem, ma zastosowanie w fizyce, technice np. czas jaki upłynął od chwili t1do t2

26 Dane jako wyniki badań Wyniki obserwacji i pomiarów mogą być wyrażone w postaci Tekstu (cechy jakościowe) Liczb całkowitych Przedziałów liczbowych Dane źródłowe zawierają się w: zbiorze, zbiorze uporządkowanym, zwanym szeregiem szczegółowym zbiorze podzielonym na klasy, zwanym szeregiem rozdzielczym

27 Opracowanie materiału statystycznego Szeregi statystyczne
Celem tych działań jest przejście od danych indywidualnych do danych zbiorowych. Materiał źródłowy należy odpowiednio posegregować i policzyć, w wyniku otrzymuje się tzw. tablice robocze. Klasyfikacja danych musi być przeprowadzona: w sposób rozłączny, jednostki o określonych cechach muszą być jednoznacznie przydzielone do poszczególnych klas W sposób zupełny, tzn. klasy muszą objąć wszystkie występujące cechy danej zbiorowość Technika zestawiania zależy od rodzaju skali pomiarowej

28 Szeregi statystyczne szczegółowe rozdzielcze czasowe Z cechą ilościową
Z cechą jakościową punktowe przedziałowe proste skumulowane proste skumulowane

29 Szereg szczegółowy Badana cecha przyjmuje niewielką liczbę jednostek (mała grupa) {x1, ,xn} Wartości porządkuje się Rosnąco x1< <xn lub Malejąco x1> >xn

30 Szereg czasowy, dynamiczny, chronologiczny
Otrzymuje się w wyniku grupowania typologicznego (wyodrębniającego różne jakościowo cechy) wariancyjnego (porządkującego zbiorowość przez łączenie w klasy jednostek mających odpowiednie wartości cech) gdy podstawą grupowania jest zmiana badanego zjawiska w czasie

31 Analiza zmian w czasie - budowa szeregu czasowego

32 Szereg rozdzielczy Przy budowie szeregu rozdzielczego wyróżnia się trzy etapy: Ustalenie liczby klas oraz wielkości przedziałów klasowych Przyporządkowanie danych przyjętym przedziałom klasowym Zliczanie liczby jednostek w każdej klasie Liczba klas k zależy przede wszystkim od liczby obserwacji n Stosowane bywają następujące wzory pomocne do szacowania liczby przedziałów budowanego szeregu rozdzielczego: k=1+3,322 log n lub

33 Szereg rozdzielczy prosty – analiza struktury wiekowej pacjentów

34 Wykresy

35 Przykład zastosowania pakietu Statistica do analizy zapotrzebowania na energię

36 KISIM, WIMiIP, AGH

37 2016r. 2012r. Odsetek pracujących (skumulowane)
Struktura wynagrodzeń (netto) Liczba pracujących (skumulowane) Odsetek pracujących (skumulowane) Poniżej 1181 zł ok. 800 tys. osób 10% Poniżej 1423 zł ok. 1,44 mln 18% Poniżej 2776 zł ok. 5,2 mln osób 66% Poniżej 3549 zł ok. 6,4 mln osób 80,50% Ponad 3549 zł netto miesięcznie zarabia tylko 19,5% pracujących Ponad 7000 zł ok. 270 tys. osób 3,47% Ponad zł ok. 48 tys. osób 0,60% Ponad zł ok. 16 tys. osób 0,20% Źródło: opracowanie Bankier.pl na podstawie danych GUS *Dane w tabeli dotyczą ok. 8 mln osób zatrudnionych w gospodarce narodowej (sektor przedsiębiorstw plus sektor publiczny) 2016r. 2012r. KISIM, WIMiIP, AGH

38 KISIM, WIMiIP, AGH