Analiza głównych składowych PCA Redukcja wymiarów Analiza głównych składowych PCA

Redukcja wymiarów Analiza czynnikowa (w tym analiza głównych składowych, PCA) Służy do redukcji liczby zmiennych opisujących zjawiska oraz odkrycia ukrytych prawidłowości w danych Czynnik jest nową zmienną, która nie jest bezpośrednio obserwowalna – jest wyznaczana na podstawie zmiennych pierwotnych Analiza korespondencji Opisowa i eksploracyjna technika analizy danych Skalowanie optymalne

analiza głównych składowych, PCA Założenia: Wiele zmiennych o charakterze ilościowym (lub porządkowym) Obserwujemy liniowe zależności pomiędzy zmiennymi. Weryfikacja: macierz korelacji, wykresy punktowe Dostatecznie duża próba. Polecana: minimum 5-10 obserwacji na zmienną Możliwa redukcja ilości zmiennych. Weryfikujemy testem sferyczności Bartletta i miarą KMO Brak znaczących obserwacji odstających

Jak podsumować dwie zmienne w jedną, aby stracić jak najmniej informacji? Nowa linia jest liniową kombinacją dwóch zmiennych Zasady: maksymalizujemy wariancję (rozrzut wzdłuż linii), jak najmniejsza wartość błędu dopasowania (suma długości czerwonych linie)

PCA opiera się na macierzy kowariancji (lub Korelacji, dystansów) Wariancja zmiennej x Kowariancja Wariancja zmiennej y Kowariancja

Wektory własne macierzy (eigenvectors) Wektor, który po przeskalowaniu wskazuje ten sam kierunek jest wektorem własnym (eigenwektorem). Mnożenie przez macierz dla której został wyznaczony może go wydłużyć, skrócić lub zmienić zwrot. Mogą zostać zidentyfikowane jedynie dla macierzy kwadratowej (n x n) Nie wszystkie macierze kwadratowe posiadają eigenwektory Jeżeli macierz n x n posiada eigenwektory ich liczba wynosi n Np. macierz 3 x 3 będzie posiadała 3 eigenwektory Eigenwektory są wzajemnie ortogonalne (nieskorelowane)

Wartości własne (eigenvalues) Wartość własna eigenwektora, to stała, która x-razy zwiększa lub zmniejsza jego długość Każdy eigenwektor ma korespondujące do niego wartości własne czyli wartości informujące nas jak dużo zmienności jest w danych Eigenwektor z najwyższą wartością własną jest tzw. głównym komponentem (ang. principal component)

Analiza głównych składowych (PCA) Dla dwóch zmiennych Przykładowe dane: Etap 1: Odejmujemy średnią Dane pochodzą ze Smith L. 2002. A tutorial on Principal Components Analysis.

Analiza głównych składowych (PCA) Dla dwóch zmiennych Etap 2 – wyliczamy macierz kowariancji Etap 3 – Wyznaczamy eigenwektory i ich wartości własne dla macierzy kowariancji 1 2 1 2

Eigenwektor 2 Eigenwektor 1

Analiza głównych składowych (PCA) Dla dwóch zmiennych Etap 4 – Sprawdzamy wartości własne eigenwektorów i fomułujemy macierz z eigenwektorami które chcemy zostawić (lub wszystkimi) Etap 5 – Transformujemy dane przez eigenwektory Dane po transformacji: (Macierz z eigenwektorami)T x (Macierz z danymi po odjęciu średniej)T Otrzymujemy dane po transformacji przez eignewektor(y), który(e) wybraliśmy

Analiza głównych składowych (PCA) Dla dwóch zmiennych Dane po przekształceniu. Zachowując wszystkie eigenwektory można wrócić do danych wyjściowych bez utraty informacji

Analiza głównych składowych (PCA) Dla dwóch zmiennych Dane po przekształceniu. Zachowując tylko pierwszy eigenwektor można wrócić do danych wyjściowych, ale tracimy informację

PCA w SPSS Analiza > Redukcja wymiarów > Analiza czynnikowa Uwaga: Analiza czynnikowa jest szerokim pojęciem, domyślnie zaznaczone jest PCA

PCA w SPSS Zaznaczamy wykres osypiska Wyodrębnianie: zmieniamy minimum dla wartości własnych (np. na 0.5) lub ustalamy z góry liczbę czynników na 2 lub 3

PCA w SPSS Oceny: Zapisz jako zmienne regresja – zapisuje współrzędne na poszczególnych składowych dla każdej obserwacji Rotacja: zmienia ładunki, ułatwia interpretacje np. wybieramy Varimax – rotacja ortogonalna, maksymalizująca wariancję dla wyjściowych zmiennych Opcje do zaznaczenia: Sortuj według wartości ładunków czynnikowych Ukryj małe współczynniki

Macierz korelacji – weryfikacja założeń

Macierz korelacji – weryfikacja założeń Współczynnik KMO - porównuje korelacje cząstkowe z dwuzmiennymi wspóczynnikami korelacji. Dalsza analiza ma sens (uzyskamy redukcję wymiarów) jeżeli KMO > 0.5 Test Sferyczności Barletta Hipoteza zerowa: macierz współczynników korelacji jest macierzą jednostkową → nie ma istotnych korelacji między zmiennymi. Redukcja danych przyniesie dobry rezultat jeżeli możemy odrzucić hipotezę zerową

Zasób zmienności wspólnej część wariancji objaśniona przez składowe Zakres od 0 d0 1 – Czym bliżej 1 tym lepiej nasze składowe odzwierciedlają zmienność obserwowana w zmiennych Równe R2 gdybyśmy zrobili model regresji przewidujący zmienną na podstawie pozostałych zmiennych

Wybór najważniejszych składowych Kryteria wyboru: Procent wyjaśnionej wariancji - Skumulowany procent wyjaśnionej wariancji analizowanych zmiennych (min  75%, 80% lub 90%) Kryterium Kaisera - pozostawia się te składowe główne które mają wartości własne większe od 1 Analiza wykresu osypiska (Metoda Catella) – wyszukujemy punkt za którym kończy się stromizna i zliczamy czynniki nad tym punktem

Wykres osypiska Metoda Catella Wykres wariancji powiązanej z każdym z czynników Osypisko czynnikowe element wykresu na którym obserwujemy łagodny spadek wartości własnych składowe, które znalazły się na osypisku poddajemy redukcji

Ładunki czynnikowe Stopień nasycenia danego stwierdzenia skali danym czynnikiem Metody: Osi głównych – wymaga spełnienia założenia o normalności rozkładu Największej wiarygodności wymaga spełnienia założenia o normalności rozkładu Podaje poziom istotności pomiędzy strukturą idealną (modelową) a empiryczną (obserwowaną w badaniu) – istotny wynik wskazuje, że trzeba dobrać inną liczbe czynników

Wykres ładunków czynnikowych Niewielki kąt = duża korelacja zmiennych

PCA w regresji wielokrotnej Współliniowość zmiennych objaśniających Baza Irysy: Sepal length – długość działek kielicha Sepal width – szerokość działek kielicha Petal length – długość płatków korony Petal width – szerokość płatków korony

PCA w regresji wielokrotneJ Współliniowość zmiennych objaśniających VIF – czynnik inflacji wariancji (ang. Variance Inflation Factor) Informuje o ile wariancje współczynników są zawyżone z powodu zależności liniowych w badanym modelu regresji Współczynnik nie powinien przekroczyć 10 – innym często przyjmowanym punktem odcięcia jest 5 Zmienne objaśniające są współliniowe, gdy są mocno skorelowane ze sobą → weryfikacja przez macierz kowariancji Może to skutkować zawyżonym oszacowaniem współczynników, dużymi wartościami błędów standardowych oraz zaniżeniem R2

Współliniowość zmiennych objaśniających Tolerancja Ile procent wariancji danej zmiennej objaśniającej nie jest wyjaśnione przez pozostałe predyktory Współczynnik nie powinien wynosić mniej niż 0,1 –ponad 90% zmienności wyjaśniają pozostałe zmienne Innym często przyjmowany punktem odcięcia jest 0,2 Współliniowość zmiennych objaśniających – co robić? Usunięcie jednej ze skorelowanych zmiennych objaśniających Analiza czynnikowa i połączenie predyktorów w jeden komponent Modelowanie równań strukturalnych

Źródła SPSS: https://www.ibm.com/support/ Smith L. 2002. A tutorial on Principal Components Analysis. Dostępny online. Patterson N, Price AL., Reich D. 2006. Population Structure and Eigenanalysis. Plos ONE. Objaśnienia do tabel wynikowych i wykresów SPSS: https://stats.idre.ucla.edu/spss/output/principal-components- analysis/