Metody klasyfikacyjne

Prezentacja na temat: "Metody klasyfikacyjne"— Zapis prezentacji:

1 Metody klasyfikacyjne
Zastosowanie statystyki w Bioinżynierii Dr Wioleta Drobik-Czwarno

2 Metody klasyfikacyjne w SPSS
Dwustopniowa analiza skupień Analiza skupień metodą K- średnich Hierarchiczna analiza skupień Drzewa klasyfikacyjne Analiza dyskryminacyjna Najbliższego sąsiada

3 Metody klasyfikacyjne
Dwustopniowa analiza skupień Dobra w eksploracji danych, automatycznie proponuje najlepsze rozwiązanie – wskazówka dla właściwych modeli! Możliwość używania zmiennych ilościowych i jakościowych. Analiza skupień metodą K- średnich Z góry określona liczba skupień – minimalizowanie zmienności wewnątrz grup i maksymalizowanie różnic pomiędzy grupami Hierarchiczna analiza skupień Tworzy skupienia tak aby na każdym poziomie otrzymana była grupa złożona z grup obecnych na poprzednich poziomach łączenia. Od pojedynczych obserwacji do coraz większych grup.

4 Metody klasyfikacyjne
Polegają na grupowaniu obserwacji podobnych w klastry Jaki algorytm wybrać? Na ile klastrów podzielić obserwacje? Klasteryzacja należy do metod tzw. Unsepervised learning, czyli technik szukających ukrytych zależności, na podstawie których możemy tworzyć nowe hipotezy badawcze. Trudno walidować ich wyniki. Podstawowym kryterium jakości tych metod jest użyteczność Czy wyniki mają sens? Czy wyniki są przydatne na kolejnych etapach analizy?

5 Parametry decyzyjne Przed wykonywaniem obliczeń musimy podjąć szereg decyzji: wybór zmiennych do modelu (i ich standaryzacji) wybór klasy (hierarchiczna, niehierarchiczna) i metody wybór sposobu liczenia odległości między obserwacjami sposób decydowania o najbliższym sąsiedzie (najbliższy punkt, najdalszy punkt, centroid, itd) liczba poszukiwanych klastrów (zwykle jako część metody, ale dobrze mieć jakiś cel a priori)

6 Metody analizy skupień
Hierarchiczne – lepsze na małych zbiorach danych, intuicyjne np. najbliższego sąsiada Niehierarchiczne – lepsze na dużych zbiorach danych, nieintuicyjne np. K- średnich Łączenie obiektów w grupy odbywa się na podstawie oszacowania odległości (d) w przestrzeni wielowymiarowej Najlepsza stratega: Porównanie kilku metod i wyników. Wybieramy te podzbiory które najlepiej pasują do danych

7 Standaryzacja zmiennych
Standaryzacja – stosowana w celu wyeliminowania wpływu skali dla poszczególnych zmiennych Tendencja centralna np. średnia, mediana Miara rozproszenia np. odchylenie standardowe, odchylenie ćwiartkowe np. w rozkładzie normalnym

8 Podobieństwo obserwacji
Wyznaczamy odległość i przyjmujemy że obserwacje podobne są blisko siebie Odległości wyznaczamy dla każdej pary obserwacji w macierzy o wymiarach n x n gdzie dij to odległość między i-tą i j-tą obserwacją

9 Sposoby liczenia odległości
Odległość euklidesowa: Odległość geometryczna w przestrzeni wielowymiarowej Odległość miejska (manhattan): Suma różnic mierzona wzdłuż wymiarów Oparte o współczynnik korelacji gdzie d = 1 - r Pearsona Eisena Spearmana Kendalla

10 Dwustopniowa analiza skupień
Bardzo dobra dla znalezienia optymalnej liczby klastrów Założenia i weryfikacja: Miara odległości oparta na wiarygodności zakłada, że zmienne w modelu skupień są niezależne (testowanie: korelacje parami dla zmiennych ilościowych, tabele krzyżowe dla zmiennych jakościowych) każda zmienna ilościowa posiada rozkład normalny (weryfikacja: eksploracja) każda zmienna jakościowa rozkład wielomianowy (weryfikacja: test chi-kwadrat) Dość duża odporność metody na niespełnienie założeń Jednak zawsze sprawdzić z czym mamy doczynienia!

11 Dwustopniowa analiza skupień
W polu Wyniki zaznaczamy: Tabele przestawne, Wykresy i tabele w przeglądzie modelu (przenosimy Gatunek w Pola ewaluacyjne), Tworzymy zmienną informującą o przynależności do skupień

12 Dwustopniowa analiza skupień
Optymalna liczba klastrów: Jak najmniejsze BIC Relatywnie wysoki Iloraz zmiany BIC Relatywnie wysoki Iloraz zmiany odległości W tym przypadku: 2 lub 3 klastry

13 Grupowanie metodą k-średnich
Wyznaczamy punkty zwane centroidami zgodnie z wcześniej założoną liczbą klastrów Algorytm działa iteracyjnie w dwóch krokach: Przypisanie do klastra – każdy punkt danych przypisujemy do najbliższego klastra Zmiana położenia centrodiu – obliczanie średnich odległości punktów w klastrze i przesunięcie centroidu Dobre wytłumaczenia i pochodzenie schematów po prawej:

14 Grupowanie metodą k-średnich w SPSS

15 Grupowanie metodą k-średnich w SPSS Wyniki
Czy udało się jednoznacznie ustalić centra skupień?

16 Grupowanie metodą k-średnich w SPSS Jakość klasyfikacji
Wykresy > Wykresy tradycyjne > Rozrzutu / Punktowy

17 Grupowanie metodą k-średnich w SPSS Jakość klasyfikacji
Analiza > Opis statystyczny > Tabele krzyżowe

18 Hierarchiczna analiza skupień
Metoda eksploracyjna, generuje serie rozwiązań dla różnej liczby klastrów łącząc obserwacje w coraz większe grupy Wymaga jednolitego typu danych (liczebności, zmiennych ilościowych lub jakościowych) Odległości w zależności od rodzaju zmiennych: ilościowe: np. euklidesowe, kwadrat odległości euklidesowej, korelacja Pearsona, odległość miejska (prostokątna), odległość Mińkowskiego, odległość Czybyszewa. zmienne porządkowe np. chi kwadrat i phi kwadrat. zmienne binarne np. euklidesowa, kwadrat odległości euklidesowej,  różnica wielkości, lambda, miara Dice’a, miara Kulczyńskiego, miara Ochiai, miara Q Yule’a. 

19 Hierarchiczna analiza skupień
Najważniejsze metody dostępne w SPSS Średniej odległości między skupieniami – średnia z odległości między jednym obiektem z grupy A i jednym z grupy B Najbliższego sąsiedztwa (Single linkage) – odległość między obiektami to odległość między najbliższymi obiektami Najdalszego sąsiedztwa (complete linkage) - odległość między obiektami to odległość między najbardziej oddalonymi obiektami Metoda Warda - dystans pomiędzy skupieniami jest określony jako suma kwadratów odchyleń wewnątrz tych skupień. Podobna do metody pierwszej, dodana jest poprawka na wielkość grup. Celem jest zminimalizowanie wariancji wewnątrzgrupowej.

20 Hierarchiczna analiza skupień Wykresy
Sopelkowy: informacja o sposobie łączenia obserwacji w skupienia przy każdej iteracji analizy Dendrogram: Graficzne przedstawienie sekwencji łączenia lub dzielenia skupień nazywamy dendrogramem

21 Hierarchiczna analiza skupień w SPSS
Zostawiamy ustawienia domyślne Zaznaczamy Dendrogram Najważniejsze okno dialogowe: Tutaj możemy modyfikować metodę mierzenia dystansów (w zależności od typu zmiennych!) oraz metodę analizy (grupowanie obserwacji) Zapisujemy przynależność do klastrów w formie zakresu (tutaj 2 lub 3)

22 Grupowanie metodą hierarchicznej analizy skupień Jakość klasyfikacji
Analiza > Opis statystyczny > Tabele krzyżowe Metoda: Średniej odległości między skupieniami Metoda: Warda

23 Analiza głównych składowych PCA
Redukcja wymiarów Analiza głównych składowych PCA

24 Redukcja wymiarów Analiza czynnikowa (w tym analiza głównych składowych, PCA) Służy do redukcji liczby zmiennych opisujących zjawiska oraz odkrycia ukrytych prawidłowości w danych Czynnik jest nową zmienną, która nie jest bezpośrednio obserwowalna – jest wyznaczana na podstawie zmiennych pierwotnych Analiza korespondencji Opisowa i eksploracyjna technika analizy danych Skalowanie optymalne

25 analiza głównych składowych, PCA
Założenia: Wiele zmiennych o charakterze ilościowym (lub porządkowym) Obserwujemy liniowe zależności pomiędzy zmiennymi. Weryfikacja: macierz korelacji, wykresy punktowe Dostatecznie duża próba. Polecana: minimum 5-10 obserwacji na zmienną Możliwa redukcja ilości zmiennych. Weryfikujemy testem sferyczności Bartletta i miarą KMO Brak znaczących obserwacji odstających

26 Jak podsumować dwie zmienne w jedną, aby stracić jak najmniej informacji?
Nowa linia jest liniową kombinacją dwóch zmiennych Zasady: maksymalizujemy wariancję (rozrzut wzdłuż linii), jak najmniejsza wartość błędu dopasowania (suma długości czerwonych linie)

27 PCA opiera się na macierzy kowariancji (lub Korelacji, dystansów)
Wariancja zmiennej x Kowariancja Wariancja zmiennej y Kowariancja

28 Wektory własne macierzy (eigenvectors)
Wektor, który po przeskalowaniu wskazuje ten sam kierunek jest wektorem własnym (eigenwektorem). Mnożenie przez macierz dla której został wyznaczony może go wydłużyć, skrócić lub zmienić zwrot. Mogą zostać zidentyfikowane jedynie dla macierzy kwadratowej (n x n) Nie wszystkie macierze kwadratowe posiadają eigenwektory Jeżeli macierz n x n posiada eigenwektory ich liczba wynosi n Np. macierz 3 x 3 będzie posiadała 3 eigenwektory Eigenwektory są wzajemnie ortogonalne (nieskorelowane)

29 Wartości własne (eigenvalues)
Wartość własna eigenwektora, to stała, która x-razy zwiększa lub zmniejsza jego długość Każdy eigenwektor ma korespondujące do niego wartości własne czyli wartości informujące nas jak dużo zmienności jest w danych Eigenwektor z najwyższą wartością własną jest tzw. głównym komponentem (ang. principal component)

30 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Przykładowe dane: Etap 1: Odejmujemy średnią Dane pochodzą ze Smith L A tutorial on Principal Components Analysis.

31 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Etap 2 – wyliczamy macierz kowariancji Etap 3 – Wyznaczamy eigenwektory i ich wartości własne dla macierzy kowariancji 1 2 1 2

32 Eigenwektor 2 Eigenwektor 1

33 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Etap 4 – Sprawdzamy wartości własne eigenwektorów i fomułujemy macierz z eigenwektorami które chcemy zostawić (lub wszystkimi) Etap 5 – Transformujemy dane przez eigenwektory Dane po transformacji: (Macierz z eigenwektorami)T x (Macierz z danymi po odjęciu średniej)T Otrzymujemy dane po transformacji przez eignewektor(y), który(e) wybraliśmy

34 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Dane po przekształceniu. Zachowując wszystkie eigenwektory można wrócić do danych wyjściowych bez utraty informacji

35 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Dane po przekształceniu. Zachowując tylko pierwszy eigenwektor można wrócić do danych wyjściowych, ale tracimy informację

36 PCA w SPSS Analiza > Redukcja wymiarów > Analiza czynnikowa
Uwaga: Analiza czynnikowa jest szerokim pojęciem, domyślnie zaznaczone jest PCA

37 PCA w SPSS Zaznaczamy wykres osypiska
Wyodrębnianie: zmieniamy minimum dla wartości własnych (np. na 0.5) lub ustalamy z góry liczbę czynników na 2 lub 3

38 PCA w SPSS Oceny: Zapisz jako zmienne regresja – zapisuje współrzędne na poszczególnych składowych dla każdej obserwacji Rotacja: zmienia ładunki, ułatwia interpretacje np. wybieramy Varimax – rotacja ortogonalna, maksymalizująca wariancję dla wyjściowych zmiennych Opcje do zaznaczenia: Sortuj według wartości ładunków czynnikowych Ukryj małe współczynniki

39 Macierz korelacji – weryfikacja założeń

40 Macierz korelacji – weryfikacja założeń
Współczynnik KMO - porównuje korelacje cząstkowe z dwuzmiennymi wspóczynnikami korelacji. Dalsza analiza ma sens (uzyskamy redukcję wymiarów) jeżeli KMO > 0.5 Test Sferyczności Barletta – Hipoteza zerowa: macierz współczynników korelacji jest macierzą jednostkową → nie ma istotnych korelacji między zmiennymi. Analiza redukcji danych przyniesie sensowny rezultat jeżeli możemy odrzucić hipotezę zerową.

41 Zasób zmienności wspólnej część wariancji objaśniona przez składowe
Zakres od 0 d0 1 – Czym bliżej 1 tym lepiej nasze składowe odzwierciedlają zmienność obserwowana w zmiennych Równe R2 gdybyśmy zrobili model regresji przewidijacy zmienną na podstawie wybranych składowych

42 Wybór najważniejszych składowych
Kryteria wyboru: Skumulowany procent wyjaśnionej wariancji analizowanych zmiennych (min  75%, 80% lub 90%) Kryterium Kaisera - pozostawia się te składowe główne które mają wartości własne większe od jedności (tylko dla macierzy korelacji) Analiza wykresu osypiska

43 Wykres osypiska. Wykres wariancji powiązanej z każdym z czynników
Osypisko czynnikowe element wykresu na którym obserwujemy łagodny spadek wartości własnych składowe, które znalazły się na osypisku poddajemy redukcji

44 Wykres ładunków czynnikowych
Niewielki kąt = duża korelacja zmiennych

45 Źródła SPSS: https://www.ibm.com/support/
Smith L A tutorial on Principal Components Analysis. Dostępny online. Patterson N, Price AL., Reich D Population Structure and Eigenanalysis. Plos ONE. Objaśnienia do tabel wynikowych i wykresów SPSS: analysis/