Eksploracja Danych ____________________ Repetytorium ze statystyki

Slides:



Advertisements
Podobne prezentacje
Proces doboru próby. Badana populacja – (zbiorowość generalna, populacja generalna) ogół rzeczywistych jednostek, o których chcemy uzyskać informacje.
Advertisements

Ekonometria stosowana WYKŁAD 4 Piotr Ciżkowicz Katedra Międzynarodowych Studiów Porównawczych.
Ekonometria stosowana Slajdy pomocnicze Piotr Ciżkowicz Katedra Międzynarodowych Studiów Porównawczych.
Ekonometria stosowana Autokorelacja Piotr Ciżkowicz Katedra Międzynarodowych Studiów Porównawczych.
Niepewności pomiarowe. Pomiary fizyczne. Pomiar fizyczny polega na porównywaniu wielkości mierzonej z przyjętym wzorcem, czyli jednostką. Rodzaje pomiarów.
Ćwiczenia Zarządzanie Ryzykiem Renata Karkowska, ćwiczenia „Zarządzanie ryzykiem” 1.
Ekonometria Wykład 1 Uwarunkowania modelowania ekonometrycznego. Uogólniona metoda najmniejszych kwadratów dr hab. Mieczysław Kowerski.
Cel analizy statystycznej. „Człowiek –najlepsza inwestycja”
 Czasem pracy jest czas, w którym pracownik pozostaje w dyspozycji pracodawcy w zakładzie pracy lub w innym miejscu wyznaczonym do wykonywania pracy.
Ryzyko a stopa zwrotu. Standardowe narzędzia inwestowania Analiza fundamentalna – ocena kondycji i perspektyw rozwoju podmiotu emitującego papiery wartościowe.
Klasyczny model regresji liniowej (KMRL) Zakład Statystyki Stosowanej Instytut Statystyki i Demografii Kolegium Analiz Ekonomicznych Szkoła Główna Handlowa.
Analiza wariancji (ANOVA) Zakład Statystyki Stosowanej Instytut Statystyki i Demografii Kolegium Analiz Ekonomicznych Szkoła Główna Handlowa w Warszawie.
Zmienne losowe Zmienne losowe oznacza się dużymi literami alfabetu łacińskiego, na przykład X, Y, Z. Natomiast wartości jakie one przyjmują odpowiednio.
Analiza tendencji centralnej „Człowiek – najlepsza inwestycja”
Funkcja liniowa Przygotował: Kajetan Leszczyński Niepubliczne Gimnazjum Przy Młodzieżowym Ośrodku Wychowawczym Księży Orionistów W Warszawie Ul. Barska.
© Prof. Antoni Kozioł, Wydział Chemiczny Politechniki Wrocławskiej MATEMATYCZNE MODELOWANIE PROCESÓW BIOTECHNOLOGICZNYCH Prezentacja – 4 Matematyczne opracowywanie.
STATYSTYKA – kurs podstawowy wykład 10 dr Dorota Węziak-Białowolska Instytut Statystyki i Demografii.
ANALIZA DANYCH DO OPRACOWANIA MAP TEMATYCZNYCH HALINA KLIMCZAK INSTYTUT GEODEZJI I GEOINFORMATYKI UNIWERSYTET PRZYRODNICZY WE WROCŁAWIU.
Metoda kartogramów. Definicja Metoda służy do przedstawiania średniej intensywności zjawiska w granicach określonych pól odniesienia. Wartości obliczane.
RAPORT Z BADAŃ opartych na analizie wyników testów kompetencyjnych przeprowadzonych wśród uczestników szkoleń w związku z realizacją.
Matematyka przed egzaminem czyli samouczek dla gimnazjalisty Przygotowała Beata Czerniak FUNKCJE.
Optymalna wielkość produkcji przedsiębiorstwa działającego w doskonałej konkurencji (analiza krótkookresowa) Przypomnijmy założenia modelu doskonałej.
Definiowanie i planowanie zadań typu P 1.  Planowanie zadań typu P  Zadania typu P to zadania unikalne służące zwykle dokonaniu jednorazowej, konkretnej.
Zmienna losowa dwuwymiarowa Dwuwymiarowy rozkład empiryczny Zakład Statystyki Stosowanej Instytut Statystyki i Demografii Kolegium Analiz Ekonomicznych.
1 Definiowanie i planowanie zadań budżetowych typu B.
Regresja. Termin regresja oznacza badanie wpływu jednej lub kilku zmiennych tzw. objaśniających na zmienną, której kształtowanie się najbardziej nas interesuje,
Budżetowanie kapitałowe cz. III. NIEPEWNOŚĆ senesu lago NIEPEWNOŚĆ NIEMIERZALNA senesu strice RYZYKO (niepewność mierzalna)
O PARADOKSIE BRAESSA Zbigniew Świtalski Paweł Skałecki Wydział Matematyki, Informatyki i Ekonometrii Uniwersytet Zielonogórski Zakopane 2016.
Test analizy wariancji dla wielu średnich – klasyfikacja pojedyncza
W kręgu matematycznych pojęć
Wyznaczanie miejsc zerowych funkcji
Katedra Międzynarodowych Studiów Porównawczych
terminologia, skale pomiarowe, przykłady
MATEMATYCZNE MODELOWANIE PROCESÓW BIOTECHNOLOGICZNYCH
Przywiązanie partnerów a ich kompetencje społeczne
Wyniki egzaminu gimnazjalnego Matematyka Rok szkolny 2016/1017
Modele SEM założenia formalne
Moje szczęście.
Podstawy automatyki I Wykład /2016
Pojedyńczy element, mała grupa
Opracowała: Monika Grudzińska - Czerniecka
Przygotowanie i wstępna obróbka danych
Wnioskowanie statystyczne. Estymacja i estymatory.
Selekcja zmiennych w trybie zaawansowanym -
Ekonometria stosowana
GRUPY DANYCH : Funkcje dostępne z poziomu GRUP DANYCH
Metody Eksploracji Danych (2)
Własności statystyczne regresji liniowej
Repetytorium z probabilistyki i statystyki cz.2
Weryfikacja hipotez statystycznych
Koszyk danych.
Porównywanie średnich prób o rozkładach normalnych (testy t-studenta)
Dr Dorota Rozmus Katedra Analiz Gospodarczych i Finansowych
FORMUŁOWANIE HIPOTEZ STATYSTYCZNYCH
Znajdowanie liczb pierwszych w zbiorze
Doskonalenie rachunku pamięciowego u uczniów
REGRESJA WIELORAKA.
Wyrównanie sieci swobodnych
Analiza zależności pomiędzy zmiennymi losowymi (danymi empirycznymi)
ROZKŁADY STATYSTYCZNE ZMIENNYCH MIERZALNYCH
Statystyka i Demografia wykład 9
Prawa ruchu ośrodków ciągłych c. d.
TESTY NIEPARAMETRYCZNE
Program na dziś Wprowadzenie Logika prezentacji i artykułu
WYBRANE ZAGADNIENIA PROBABILISTYKI
Wiesław Niebudek 7 grudnia 2017r.
Własności asymptotyczne metody najmniejszych kwadratów
Eksploracja Danych ____________________ Analiza danych
Zapis prezentacji:

Eksploracja Danych ____________________ Repetytorium ze statystyki Krzysztof Regulski, WIMiIP, KISiM, regulski@agh.edu.pl B5, pok. 408

• Wnioskowanie statystyczne. Podstawowe cele badań statystycznych; statystycznej analizy zbiorów danych • Badanie struktury populacji, reprezentowanej przez zbiór (danych) wartości wybranych cech (zmiennych) i jej: wizualizacja w postaci rozkładów tych zmiennych bądź charakterystyka przy zastosowaniu parametrów statystyki opisowej. • Odkrywanie i określanie (charakteru, siły, kierunku) zależności występujących w zbiorach danych reprezentujących różne cechy badanych obiektów, zjawisk, procesów. • Wnioskowanie statystyczne. KISIM, WIMiIP, AGH

Rodzaje szeregów statystycznych Badana cecha przyjmuje niewielką liczbę jednostek (mała grupa). Porządkowana rosnąco lub malejąco Charakteryzują stan badanej zbiorowości w określonym momencie (np. w danym miesiącu, roku). Przedstawiają więc populację w układzie statycznym i służą do analizy jej struktury. dane ilościowe Szeregi przestrzenne przedstawiają rozmieszczenie wielkości statystycznych według podziału administracyjnego (gmina, powiat, województwo, krajów, regionów geograficznych). dane jakościowe proste skumulowane proste skumulowane KISIM, WIMiIP, AGH

Szereg rozdzielczy prosty Przy budowie szeregu rozdzielczego wyróżnia się trzy etapy: Ustalenie liczby klas oraz wielkości przedziałów klasowych Przyporządkowanie danych przyjętym przedziałom klasowym Zliczanie liczby jednostek w każdej klasie Liczba klas k zależy przede wszystkim od liczby obserwacji n. Stosowane bywają następujące wzory pomocne do szacowania liczby przedziałów budowanego szeregu rozdzielczego: k=1+3,322 log n KISIM, WIMiIP, AGH

Histogram Histogram to jeden z graficznych sposobów przedstawiania rozkładu cechy. Składa się z szeregu prostokątów umieszczonych na osi współrzędnych. Prostokąty te są wyznaczone przez przedziały klasowe wartości cechy; szerokość przedziału; krok natomiast ich wysokość jest określona przez liczebności częstości elementów należących do określonego przedziału klasowego. KISIM, WIMiIP, AGH

Wykresy Wielobok liczebności Histogram KISIM, WIMiIP, AGH

Szereg rozdzielczy skumulowany Dystrybuanta empiryczna KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

2016r. 2012r. Odsetek pracujących (skumulowane) Struktura wynagrodzeń (netto) Liczba pracujących (skumulowane) Odsetek pracujących (skumulowane) Poniżej 1181 zł ok. 800 tys. osób 10% Poniżej 1423 zł ok. 1,44 mln 18% Poniżej 2776 zł ok. 5,2 mln osób 66% Poniżej 3549 zł ok. 6,4 mln osób 80,50% Ponad 3549 zł netto miesięcznie zarabia tylko 19,5% pracujących Ponad 7000 zł ok. 270 tys. osób 3,47% Ponad 14000 zł ok. 48 tys. osób 0,60% Ponad 19000 zł ok. 16 tys. osób 0,20% Źródło: opracowanie Bankier.pl na podstawie danych GUS *Dane w tabeli dotyczą ok. 8 mln osób zatrudnionych w gospodarce narodowej (sektor przedsiębiorstw plus sektor publiczny) 2016r. 2012r. KISIM, WIMiIP, AGH

Statystyka Opisowa Wyróżnia się następujące grupy parametrów statystycznych: • Miary położenia / skupienia/ koncentracji średnia, moda, mediana, max, min, kwantyle) • Miary zmienności pozycyjne: rozstęp, odchylenie ćwiartkowe, odchylenie przeciętne, wsp. zmienności klasyczne: wariancja, odchylenie standardowe, klasyczny wsp. zmienności • Miary asymetrii i Graficzna interpretacja statystyk KISIM, WIMiIP, AGH

Moda (dominanta) W rozkładach empirycznych określa się dominantę (modę), najczęściej występującą wartość cechy gdzie x0 – dolna granicą przedziału w którym występuje moda, hm – rozpiętość przedziału klasowego, nm, nm-1, nm+1– liczebności odpowiednio przedziału z modą, poprzedniego i następnego KISIM, WIMiIP, AGH

Miary zmienności (rozproszenia) danych – interpretacja graficzna odchylenia standardowego Odchylenie standardowe w zbiorowości (1) jest mniejsze niż w zbiorowości (2). Diagram (1) jest smuklejszy i wyższy. s1 < s2 KISIM, WIMiIP, AGH

Praktyczne wykorzystanie miar zmienności • Przedział TYPOWYCH wartości cechy (miary klasyczne) • Przedział taki ma tą własność, że około 70% jednostek badanej zbiorowości charakteryzuje się wartością cechy należącą do tego przedziału. KISIM, WIMiIP, AGH

Reguła „3 sigma” KISIM, WIMiIP, AGH

Model deterministyczny W analizie często mamy do czynienia ze zjawiskami będącymi funkcjami zdeterminowanymi. Ich wartość może być opisana za pomocą ścisłych zależności matematycznych pomiędzy zmiennymi, wyniki eksperymentów są powtarzalne, np.: ruch satelity po orbicie, zmiana temperatury wody przy podgrzewaniu, KISIM, WIMiIP, AGH

Model probabilistyczny W wielu wypadkach występują jednak zjawiska niezdeterminowane, odpowiadające losowym zjawiskom fizycznym, których nie można opisać ścisłymi zależnościami. Zależność stochastyczna – występuje wtedy, gdy wraz ze zmianą wartości jednej zmiennej zmienia się rozkład prawdopodobieństwa drugiej zmiennej. Szczególnym przypadkiem zależności stochastycznej jest zależność korelacyjna (statystyczna). Polega ona na tym, że określonym wartościom jednej zmiennej odpowiadają ściśle określone średnie wartości drugiej zmiennej. Możemy zatem ustalić, jak zmieni się - średnio biorąc – wartość zmiennej zależnej Y w zależności od wartości zmiennej niezależnej X. KISIM, WIMiIP, AGH

Model probabilistyczny Jeśli mamy do czynienia z czynnikiem losowym, który może obejmować również nie znane nam zmienne wpływające na wartość zmiennej zależnej. Dane = Model + Błąd Model probabilistyczny jest zawsze uproszczeniem. Jeśli zmienna zależna ma charakter ilościowy, model nazywamy modelem regresyjnym. KISIM, WIMiIP, AGH

Wprowadzenie do badania zależności pomiędzy danymi statystycznymi Zwykle badane jednostki statystyczne charakteryzuje się za pomocą wielu zmiennych (cech) i wtedy ważnym jest ustalenie: – czy analizowane grupy danych, reprezentujące określone zmienne, można uznać za niezależne – jeśli hipoteza o niezależności zostaje odrzucona, należy przyjąć, że pomiędzy analizowanymi zmiennymi występuje zależność i szukamy odpowiedzi na pytanie: jaka jest jej: • siła • postać • kierunek Zależność między zmiennymi może być dwojakiego rodzaju: • funkcyjna • stochastyczna (probabilistyczna). KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Wykrywanie korelacji Obserwacja szeregów statystycznych zawierających informacje o cechach pozwala wykrywać zależności korelacyjne. Jeśli naszym celem jest analiza zachowania pewnej wielkości losowej Y, zbieramy również informacje towarzyszące, które mogą mieć znaczenie w analizie interesującej nas wielkości. Badana wartość, choć losowa, w istotny sposób zależy od innych zmiennych i zrozumienie charakteru tej zależności może być pożyteczne w wielu zadaniach np. przewidywania przyszłych wartości interesującej nas zmiennej. KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Współczynnik korelacji Powiązanie między współczynnikiem korelacji a układem punktów Wykresy, które reprezentują graficznie związek pomiędzy zmiennymi, nazywane są wykresami rozrzutu. Wzrokowa ocena umożliwia często określenie siły i rodzaju zależności. Im bliżej położone są punkty na wykresie tym większej korelacji możemy się spodziewać. Najważniejsza jest statystyczna istotność korelacji. Konieczna jest weryfikacja istotności wyliczonego z próby współczynnika. Wartość współczynnika bliska 0 oznacza jedynie brak zależności liniowej. KISIM, WIMiIP, AGH

Badanie istotności współczynnika korelacji liniowej Współczynnik korelacji r (z próby) stanowi ocenę współczynnika korelacji ρ w zbiorowości generalnej. W związku z tym pojawia się potrzeba testowania jego istotności statystycznej. Formułujemy hipotezę zerową H0: ρ = 0, wobec alternatywnej: H1: ρ ≠ 0, a następnie obliczamy wartość statystyki testowej: porównujemy jej wartość z odpowiednią wartością krytyczną t ,n-2 i podejmujemy odpowiednią decyzję co do prawdziwości H0. KISIM, WIMiIP, AGH

Związek korelacyjny pomiędzy zmiennymi X1 i X2, z wyłączeniem działania zmiennej X3 KISIM, WIMiIP, AGH

Postaci zależności Po obliczeniu wartości współczynnika korelacji zawsze zalecane jest utworzenie wykresu rozrzutu. Chodzi o to, aby wizualnie stwierdzić, czy badany związek rzeczywiście najlepiej opisuje funkcja liniowa Może się bowiem okazać, że wyliczona wartość współczynnika korelacji jest zbliżona do zera, a mimo to pomiędzy korelowanymi zmiennymi występuje współzależność, tyle że nieliniowa KISIM, WIMiIP, AGH

Przykład realizowany z pomocą pakietu STATISTICA Dane z badań przeprowadzonych w 1996 roku dotyczące zarobków Polaków. Ankiety wysłano do 5000 pracowników wylosowanych przez GUS. Ankiety zwróciło 1255 osób. Arkusz zawiera następujące informacje o badanych osobach Płeć Wykształcenie Wiek Staż pracy Płaca brutto Stawiam pod wątpliwość twierdzenie, że płeć nie ma wpływu na wysokość zarobków w Polsce, jeśli by tak było to nie powinno być różnic pomiędzy średnimi wartościami zarobków kobiet i mężczyzn. Hipotezą zerową jest zdanie: Zarobki mężczyzn i kobiet nie różnią się H0 : m1=m2 przy hipotezie alternatywnej H1 : m1 m2 , KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Regresja liniowa KISIM, WIMiIP, AGH

Współczynnik determinacji r2 – współczynnik determinacji, przyjmujący wartości z przedziału [0,1], jest miarą stopnia w jakim model wyjaśnia kształtowanie się zmiennej Y. Im jego wartość jest bliższa 1, tym lepsze dopasowanie modelu do danych empirycznych KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Współczynniki korelacji i determinacji Współczynniki, które otrzymujemy jeśli wcześniej dokonamy standaryzacji wszystkich zmiennych na średnią równą 0 i odchylenie standardowe równe 1. Np., Wielkość tych współczynników BETA pozwala na porównanie relatywnego wkładu każdej ze zmiennych niezależnych do predykcji zmiennej zależnej. Współczynniki regresji KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

5.) składniki losowe (reszty) są nieskorelowane Założenia MNK 1.) model jest liniowy 2.) liczba obserwacji n musi być większa lub równa liczbie oszacowanych parametrów 3.) 4.) 5.) składniki losowe (reszty) są nieskorelowane 6.) reszty mają rozkład normalny KISIM, WIMiIP, AGH

Regresja wieloraka KISIM, WIMiIP, AGH

Liniowy model regresji wielorakiej: Regresja wieloraka Jeśli w modelu regresji mamy do czynienia z więcej niż jedną zmienną objaśniającą (niezależną), mówimy o regresji wielorakiej (wielokrotnej). Liniowy model regresji wielorakiej: y = β0+ β1x1 + β2x2 + .. + βkxk + ε gdzie βj – parametry modelu (współczynniki regresji) ε – składnik losowy KISIM, WIMiIP, AGH

5.) składniki losowe (reszty) są nieskorelowane Założenia MNK 1.) model jest liniowy 2.) liczba obserwacji n musi być większa lub równa liczbie oszacowanych parametrów 3.) 4.) 5.) składniki losowe (reszty) są nieskorelowane 6.) reszty mają rozkład normalny KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

brak istotności wyrazu wolnego zmienna zależna brak istotności wyrazu wolnego wzrost istotny statystycznie wiek – brak istotności KISIM, WIMiIP, AGH

oszacowana funkcja regresji: Wyniki regresji model istotny statystycznie oszacowana funkcja regresji: WAGA = 6,55 + 2,05*WIEK+ 0,72*WZROST±4,66 (10,94) (0,94) (0,26) R2=0,78 interpretacja: jeśli wartość zmiennej WIEK wrośnie o 1 to wartość zmiennej WAGA wzrośnie o 2,5kg BETA: standaryzowany wskaźnik siły powiązania brak istotności wpływu wieku dodatnie oddziaływanie wieku i wzrostu na wagę R2=0,78, czyli 78% ogólnej zmienności WAGI wyjaśnione przez model KISIM, WIMiIP, AGH

Predykcja na podstawie modelu ile będzie ważyć dziecko w wieku 13 lat, mające 65 cali wzrostu? Brak dowodu na istotność zmiennej nie jest dostatecznym powodem do usunięcia jej z modelu. Należy sprawdzić współliniowość Tolerancja (1-R2) mówi ile zmienności danej zmiennej nie zostało wyjaśnione przez pozostałe zmienne. Im mniejsza, tym bardziej nadmiarowy jest jej wkład w równanie regresji. tolerancja = 0 (lub bliska) oznacza brak możliwości obliczenia modelu. KISIM, WIMiIP, AGH

Regresja ze zmienną jakościową Jeśli w analizie występują zmienne jakościowe (np. płeć, stanowisko pracy etc) można podzielić zbiorowość na jednorodne grupy pod względem poszczególnych wartości zmiennej a następnie porównać modele. Możemy również zastąpić zmienną jakościową sztucznymi zmiennymi binarnymi (np. płeć: kobieta = 1, mężczyzna = 0) KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

model przybiera postać: CSK = 105,8 + 1,05*WIEK- 17,5*PŁEƱ7,37 (4,5) (0,089) (2,72) R2=0,87 PŁEĆ =0, CSK = 105,8 + 1,05*WIEK PŁEĆ =1, CSK = 88,3 + 1,05*WIEK KISIM, WIMiIP, AGH

Skategoryzowane wykresy rozrzutu KISIM, WIMiIP, AGH

Przygotowanie i wstępna obróbka danych Eksploracja Danych Przygotowanie i wstępna obróbka danych postacie danych, wczytywanie danych, ocena jakości, filtrowanie oraz czyszczenie danych, konsolidacja danych, przekształcenia danych.

STATISTICA: Moduł Podstawowe statystyki i tabele Aby wykonać ten test, idziemy do okna Statystyki opisowe i wybierzmy kartę Odporne. Karta ta zawiera opcje umożliwiające włączenie do arkusza wynikowego średniej Winsora, średniej przyciętej oraz testu Grubbsa. Test Grubbsa na obserwacje odstające może być użyty w celu wskazania jednej obserwacji odstającej podczas jednego przebiegu. Test ten polega na wyliczeniu jak daleko potencjalna obserwacja odstająca znajduje się od pozostałych wartości w zbiorze danych. Statystyka testu Grubbsa (G) liczona jest jako stosunek największego bezwzględnego odchylenia średniej z próby do odchylenia standardowego próby KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Okno Zamiana wartości odstających i rzadkich zawiera różne testy umożliwiające identyfikację obserwacji odstających w zmiennych ciągłych i jakościowych. W przypadku zmiennych jakościowych, STATISTICA za obserwacje odstające uzna te przypadki, których kod lub wartość tekstowa występują rzadziej niż określona częstotliwość. W przypadku zmiennych ciągłych można wybrać jeden z wielu dostępnych testów. KISIM, WIMiIP, AGH

Test Grubbsa KISIM, WIMiIP, AGH

Zamiana obserwacji odstających. 2 1 KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Metoda graficzna KISIM, WIMiIP, AGH

Wykres ramka-wąsy Podejście graficzne. Popularnym sposobem wykrywania obserwacji odstających jest stworzenie wykresu ramkowego. Aby to zrobić, należy kliknąć przycisk Zmienne, który znajduje się w oknie Statystyki opisowe. Otrzymamy okno wyboru zmiennej. Ponieważ interesuje nas znalezienie jakiejkolwiek obserwacji odstającej w naszym zbiorze, klikamy przycisk Wszystkie oraz OK. Następnie, na karcie Podstawowe, klikamy Wykres ramka-wąsy. KISIM, WIMiIP, AGH

Obserwacje odstające Aby włączyć pokazywanie takich obserwacji, należy dwukrotnie kliknąć w tło wykresu. Na ekranie pojawi się okno Opcje wykresu; przechodzimy w nim na kartę Wykres właściwy: Ramka-wąsy. KISIM, WIMiIP, AGH

Przykład: Wykrywanie obserwacji odstających Podejście graficzne. Popularnym sposobem wykrywania obserwacji odstających jest stworzenie wykresu ramkowego. KISIM, WIMiIP, AGH

wybieramy dodatkowe opcje określające wykres, kontrolujące wyświetlanie obserwacji odstających i ekstremalnych oraz wykorzystanie rozkładu przyciętego zmiennej zależnej do policzenia średniej/mediany. W oknie Wykres ramka-wąsy; więcej opcji wybieramy Odstające i ekstremalne z rozwijanej listy Odstające. KISIM, WIMiIP, AGH

Usuwanie odstających wartości Dla każdej ze zmiennej liczbowej wykonuje się wykresy ramka-wąsy, by znaleźć wartości odstające. stosuje się następujące współczynniki: Ramka Wąs Odstające KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Reguła „3 sigma” KISIM, WIMiIP, AGH

Wybór zmiennych

Dobór i eliminacja zmiennych KISIM, WIMiIP, AGH

STATISTICA - Dobór i eliminacja zmiennych Procedura ta sprawdza wpływ zmiennych na zmienną zależną automatycznie eliminuje puste zmienne (niezawierające żadnych wartości) i stałe (przyjmujące tę samą wartość dla wszystkich przypadków). procedura bada wpływ pojedynczych zmiennych na wielkość wyjściową. Sprawdza ona, na ile dla różnych wartości potencjalnego predykatora zmienna zależna przyjmuje różne wartości. KISIM, WIMiIP, AGH

Ważność predyktorów KISIM, WIMiIP, AGH

Dobór i eliminacja zmiennych KISIM, WIMiIP, AGH

korelacje korzystne dla modelu współczynniki > r* α=0,05 tα=2,1009 r*=0,4438 korelacje korzystne dla modelu współczynniki > r* korelacje niekorzystne dla modelu KISIM, WIMiIP, AGH

Metoda analizy grafów (metoda Bartosiewicz) Metoda zmierza do tego, by spośród wszystkich zmiennych objaśniających wyodrębnić grupy zmiennych skorelowanych między sobą oraz znaleźć zmienne, z których żadna nie jest skorelowana z pozostałymi zmiennymi objaśniającymi. Następnie spośród tych grup zmiennych wybiera się zmienne mocniej skorelowane ze zmienną objaśnianą i wprowadza się je do relacji modelu. Do modelu wchodzą również wszystkie zmienne nieskorelowane między sobą, ale skorelowane ze zmienną objaśnianą. KISIM, WIMiIP, AGH

Metoda analizy grafów (metoda Bartosiewicz) Obliczenie współczynników korelacji zmiennych objaśniających ze zmienną objaśnianą rj oraz zmiennych objaśniających pomiędzy sobą rij. Testowanie istotności współczynników korelacji Odrzucenie zmiennych X nieskorelowanych ze zmienna objaśnianą i konstrukcja macierzy R' z zerami w miejscu nieistotnych współczynników rij. Budowa grafu powiązań między zmiennymi objaśniającymi i wybór zmiennych do modelu, tworząc w ten sposób k grafów – grup zmiennych, odpowiadających przyszłym k zmiennym objaśniającym modelu. Do zmiennych objaśniających zalicza się: zmienne, które w odwzorowaniu tworzą grafy zerowe (izolowane), zmienne o maksymalnej liczbie łuków wybrane z każdego grafu spójnego, jeżeli w każdym grafie spójnym jest więcej niż jedna zmienna o takiej samej maksymalnej liczbie łuków, to wybiera się spośród tych zmiennych tę, która jest najbardziej skorelowana ze zmienną objaśnianą. KISIM, WIMiIP, AGH

X1, r*=0,4 r(X2)=3 X2, do modelu wchodzą: X5, KISIM, WIMiIP, AGH

Liniowa postać modelu: α=0,05 tα=2,1009 r*=0,4438 wszystkie zmienne istotne współczynniki > r* do modelu wchodzą: X1, X2, X4 Liniowa postać modelu: Y=a0 + a1X1 + a2X2 + a4X4+ e KISIM, WIMiIP, AGH

wybór predyktorów – ocena zależności zmiennych Rodzaj zmiennych 1:1 Jedna objaśniająca 1:n Wiele zmiennych Ilościowe Korelacja, wykres rozrzutu Macierz korelacji, F Ilościowa zależna, jakościowa objaśniająca ANOVA, χ2 skategoryzowany histogram Skategoryzowany wykres rozrzutu, χ2 Jakościowa zależna Tabela wielodzielcza, χ2 χ2, Tabele wielodzielcze, KISIM, WIMiIP, AGH

Przykład 1a (ANOVA) Wiadomo, że związki chemiczne stosowane w leczeniu nowotworów mogą powodować obniżenie poziomu hemoglobiny we krwi (niedokrwistość). W przypadku pewnego związku chemicznego stosowanego w leczeniu nowotworów (Lek A) podejrzewano, że przy długotrwałym stosowaniu powoduje niedokrwistość (stężenie hemoglobiny we krwi poniżej 11g/dl) w większym stopniu niż inne leki tego typu. Do badania włączono grupę 24 osób z rozpoznaniem nowotworu. 10 z nich podawano wspomniany lek A. Pozostałym pacjentom podawano inne leki o podobnym działaniu. 7 pacjentów zażywało lek B, a 7 lek C. W momencie przystąpienie do badania u wszystkich pacjentów poziom hemoglobiny we krwi był prawidłowy. Po zakończonej obserwacji u pacjentów ponownie wykonano morfologię krwi. Wyniki badania poziomu hemoglobiny u badanych były następujące: KISIM, WIMiIP, AGH

Przykład 1b Lek A Lek B Lek C 10,2 14,3 10,4 8,7 14,1 12 12,5 17 13,6 13,8 13,2 13,5 7,6 11,6 14,7 8,2 10,9 15,3 9,8 9,3 14,9   14,2 Czy pacjenci przyjmujący lek A po zakończeniu terapii mieli niższy poziom hemoglobiny we krwi niż pacjenci leczeni innymi lekami? KISIM, WIMiIP, AGH

Przykład 1c Stąd wniosek, że poziom hemoglobiny u pacjentów stosujących różne leki różni się istotnie. Zakładamy normalność rozkładów oraz jednorodność wariancji w grupach.  KISIM, WIMiIP, AGH

Przykład 1d KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Przykład 1e Analiza post-hoc: Porównania wielokrotne Te testy umożliwiają nam odpowiedzenie na pytanie, które z analizowanych grup różnią się między sobą. KISIM, WIMiIP, AGH

Kontrasty: kombinacje średnich Kontrasty pozwalają badać hipotezy na temat różnic średnich w poszczególnych grupach. Załóżmy że chcemy porównać lek A z lekiem B z wyłączeniem leku C (Przykład 1b). Wtedy kontrasty będą następujące: 1, -1, 0 [przykład 1f] Jeśli grupy (leki) są takie same, to suma średnich pomnożonych przez odpowiednie wagi będzie miała wartość oczekiwaną równą 0. Jeśli pacjenci leczeni lekiem C mają wyższy poziom hemoglobiny, wtedy średnia będzie mniejsza od 0 (waga -1) KISIM, WIMiIP, AGH

Kontrasty: kombinacje średnich Jeśli chcemy sprawdzić, czy leki B i C istotnie różnią się od leku A, tworzymy kontrast: 2, -1, -1 [przykład 1g] Wagi muszą sumować się do 0, tylko wtedy suma ważonych średnich z poszczególnych grup będzie równa 0, a suma ta będzie się różnić od 0 tylko jeśli wystąpią różnice międzygrupowe. KISIM, WIMiIP, AGH

Kontrasty: kombinacje średnich [przykład 1f] KISIM, WIMiIP, AGH

VEPAC Wykres zmienności KISIM, WIMiIP, AGH

Tabele wielodzielcze KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

KISIM, WIMiIP, AGH

Tabele raportujące KISIM, WIMiIP, AGH