Analiza głównych składowych PCA

Prezentacja na temat: "Analiza głównych składowych PCA"— Zapis prezentacji:

1 Analiza głównych składowych PCA
Redukcja wymiarów Analiza głównych składowych PCA

2 Redukcja wymiarów Analiza czynnikowa (w tym analiza głównych składowych, PCA) Służy do redukcji liczby zmiennych opisujących zjawiska oraz odkrycia ukrytych prawidłowości w danych Czynnik jest nową zmienną, która nie jest bezpośrednio obserwowalna – jest wyznaczana na podstawie zmiennych pierwotnych Analiza korespondencji Opisowa i eksploracyjna technika analizy danych Skalowanie optymalne

3 analiza głównych składowych, PCA
Założenia: Wiele zmiennych o charakterze ilościowym (lub porządkowym) Obserwujemy liniowe zależności pomiędzy zmiennymi. Weryfikacja: macierz korelacji, wykresy punktowe Dostatecznie duża próba. Polecana: minimum 5-10 obserwacji na zmienną Możliwa redukcja ilości zmiennych. Weryfikujemy testem sferyczności Bartletta i miarą KMO Brak znaczących obserwacji odstających

4 Jak podsumować dwie zmienne w jedną, aby stracić jak najmniej informacji?
Nowa linia jest liniową kombinacją dwóch zmiennych Zasady: maksymalizujemy wariancję (rozrzut wzdłuż linii), jak najmniejsza wartość błędu dopasowania (suma długości czerwonych linie)

5 PCA opiera się na macierzy kowariancji (lub Korelacji, dystansów)
Wariancja zmiennej x Kowariancja Wariancja zmiennej y Kowariancja

6 Wektory własne macierzy (eigenvectors)
Wektor, który po przeskalowaniu wskazuje ten sam kierunek jest wektorem własnym (eigenwektorem). Mnożenie przez macierz dla której został wyznaczony może go wydłużyć, skrócić lub zmienić zwrot. Mogą zostać zidentyfikowane jedynie dla macierzy kwadratowej (n x n) Nie wszystkie macierze kwadratowe posiadają eigenwektory Jeżeli macierz n x n posiada eigenwektory ich liczba wynosi n Np. macierz 3 x 3 będzie posiadała 3 eigenwektory Eigenwektory są wzajemnie ortogonalne (nieskorelowane)

7 Wartości własne (eigenvalues)
Wartość własna eigenwektora, to stała, która x-razy zwiększa lub zmniejsza jego długość Każdy eigenwektor ma korespondujące do niego wartości własne czyli wartości informujące nas jak dużo zmienności jest w danych Eigenwektor z najwyższą wartością własną jest tzw. głównym komponentem (ang. principal component)

8 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Przykładowe dane: Etap 1: Odejmujemy średnią Dane pochodzą ze Smith L A tutorial on Principal Components Analysis.

9 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Etap 2 – wyliczamy macierz kowariancji Etap 3 – Wyznaczamy eigenwektory i ich wartości własne dla macierzy kowariancji 1 2 1 2

10 Eigenwektor 2 Eigenwektor 1

11 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Etap 4 – Sprawdzamy wartości własne eigenwektorów i fomułujemy macierz z eigenwektorami które chcemy zostawić (lub wszystkimi) Etap 5 – Transformujemy dane przez eigenwektory Dane po transformacji: (Macierz z eigenwektorami)T x (Macierz z danymi po odjęciu średniej)T Otrzymujemy dane po transformacji przez eignewektor(y), który(e) wybraliśmy

12 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Dane po przekształceniu. Zachowując wszystkie eigenwektory można wrócić do danych wyjściowych bez utraty informacji

13 Analiza głównych składowych (PCA) Dla dwóch zmiennych
Dane po przekształceniu. Zachowując tylko pierwszy eigenwektor można wrócić do danych wyjściowych, ale tracimy informację

14 PCA w SPSS Analiza > Redukcja wymiarów > Analiza czynnikowa
Uwaga: Analiza czynnikowa jest szerokim pojęciem, domyślnie zaznaczone jest PCA

15 PCA w SPSS Zaznaczamy wykres osypiska
Wyodrębnianie: zmieniamy minimum dla wartości własnych (np. na 0.5) lub ustalamy z góry liczbę czynników na 2 lub 3

16 PCA w SPSS Oceny: Zapisz jako zmienne regresja – zapisuje współrzędne na poszczególnych składowych dla każdej obserwacji Rotacja: zmienia ładunki, ułatwia interpretacje np. wybieramy Varimax – rotacja ortogonalna, maksymalizująca wariancję dla wyjściowych zmiennych Opcje do zaznaczenia: Sortuj według wartości ładunków czynnikowych Ukryj małe współczynniki

17 Macierz korelacji – weryfikacja założeń

18 Macierz korelacji – weryfikacja założeń
Współczynnik KMO - porównuje korelacje cząstkowe z dwuzmiennymi wspóczynnikami korelacji. Dalsza analiza ma sens (uzyskamy redukcję wymiarów) jeżeli KMO > 0.5 Test Sferyczności Barletta Hipoteza zerowa: macierz współczynników korelacji jest macierzą jednostkową → nie ma istotnych korelacji między zmiennymi. Redukcja danych przyniesie dobry rezultat jeżeli możemy odrzucić hipotezę zerową

19 Zasób zmienności wspólnej część wariancji objaśniona przez składowe
Zakres od 0 d0 1 – Czym bliżej 1 tym lepiej nasze składowe odzwierciedlają zmienność obserwowana w zmiennych Równe R2 gdybyśmy zrobili model regresji przewidujący zmienną na podstawie pozostałych zmiennych

20 Wybór najważniejszych składowych
Kryteria wyboru: Procent wyjaśnionej wariancji - Skumulowany procent wyjaśnionej wariancji analizowanych zmiennych (min  75%, 80% lub 90%) Kryterium Kaisera - pozostawia się te składowe główne które mają wartości własne większe od 1 Analiza wykresu osypiska (Metoda Catella) – wyszukujemy punkt za którym kończy się stromizna i zliczamy czynniki nad tym punktem

21 Wykres osypiska Metoda Catella
Wykres wariancji powiązanej z każdym z czynników Osypisko czynnikowe element wykresu na którym obserwujemy łagodny spadek wartości własnych składowe, które znalazły się na osypisku poddajemy redukcji

22 Ładunki czynnikowe Stopień nasycenia danego stwierdzenia skali danym czynnikiem Metody: Osi głównych – wymaga spełnienia założenia o normalności rozkładu Największej wiarygodności wymaga spełnienia założenia o normalności rozkładu Podaje poziom istotności pomiędzy strukturą idealną (modelową) a empiryczną (obserwowaną w badaniu) – istotny wynik wskazuje, że trzeba dobrać inną liczbe czynników

23 Wykres ładunków czynnikowych
Niewielki kąt = duża korelacja zmiennych

24 PCA w regresji wielokrotnej Współliniowość zmiennych objaśniających
Baza Irysy: Sepal length – długość działek kielicha Sepal width – szerokość działek kielicha Petal length – długość płatków korony Petal width – szerokość płatków korony

25 PCA w regresji wielokrotneJ Współliniowość zmiennych objaśniających
VIF – czynnik inflacji wariancji (ang. Variance Inflation Factor) Informuje o ile wariancje współczynników są zawyżone z powodu zależności liniowych w badanym modelu regresji Współczynnik nie powinien przekroczyć 10 – innym często przyjmowanym punktem odcięcia jest 5 Zmienne objaśniające są współliniowe, gdy są mocno skorelowane ze sobą → weryfikacja przez macierz kowariancji Może to skutkować zawyżonym oszacowaniem współczynników, dużymi wartościami błędów standardowych oraz zaniżeniem R2

26 Współliniowość zmiennych objaśniających
Tolerancja Ile procent wariancji danej zmiennej objaśniającej nie jest wyjaśnione przez pozostałe predyktory Współczynnik nie powinien wynosić mniej niż 0,1 –ponad 90% zmienności wyjaśniają pozostałe zmienne Innym często przyjmowany punktem odcięcia jest 0,2 Współliniowość zmiennych objaśniających – co robić? Usunięcie jednej ze skorelowanych zmiennych objaśniających Analiza czynnikowa i połączenie predyktorów w jeden komponent Modelowanie równań strukturalnych

27 Źródła SPSS: https://www.ibm.com/support/
Smith L A tutorial on Principal Components Analysis. Dostępny online. Patterson N, Price AL., Reich D Population Structure and Eigenanalysis. Plos ONE. Objaśnienia do tabel wynikowych i wykresów SPSS: analysis/