Dwie metody rozwiązywania układów równań liniowych:

Prezentacja na temat: "Dwie metody rozwiązywania układów równań liniowych:"— Zapis prezentacji:

1 Dwie metody rozwiązywania układów równań liniowych:
Bezpośrednie Iteracyjne

2 Metody bezpośrednie Transformują układ równań na inny układ równań (prostszy do rozwiązania) Transformacjom podlegają równocześnie lewa i prawa strona równania:

3 Metody bezpośrednie Operacje wykorzystywane w przekształceniach:

4 Dekompozycja LU Potrzeba: układy równań rozwiązywane wielokrotnie, dla różnych wektorów danych bi (RHS – prawe strony równań) Uzupełnienie macierzy A o wszystkie wektory bi:

5 Dekompozycja LU W fazie eliminacji Gaussa-Jordana przekształceniom podlegają wszystkie wektory bi, Faza wstecznego podstawiania jest realizowana dla każdego bi osobno Dekompozycja LU oferuje bardziej ekonomiczny i elastyczny schemat (nie trzeba znać z góry bi)

6 Dekompozycja LU Dekompozycja LU kwadratowej macierzy A: gdzie L – macierz trójkątna dolna, U – macierz trójkątna górna:

7 Dekompozycja LU Dekompozycja nie jest unikalna (nieskończenie wiele możliwych) Niektóre ograniczenia dają metodę z nazwą:

8 Dekompozycja LU Idea zastosowania:
Najpierw rozwiązanie Ly=b (podstawianie wprzód) Następnie rozwiązanie Ux=y (podstawianie wstecz) Gdy już są znane L, U, to dla każdego wektora bi potrzebne są dwa tanie procesy podstawiania

9 Dekompozycja Doolittle
Dekompozycja ma ścisły związek z eliminacją Gaussa Po dekompozycji: Przed dekompozycją:

10 Dekompozycja Doolittle
Zastosowanie eliminacji Gaussa: A(2,:)=A(2,:)-L21 A(1,:) A(3,:)=A(3,:)-L31 A(1,:) A(3,:)=A(3,:)-L32 A(2,:)

11 Dekompozycja Doolittle
Macierz U uzyskiwana w trakcie eliminacji Gaussa-Jordana jest identyczna, jak w dekompozycji Doolittle Macierz L dekompozycji Doolittle składa się ze współczynników używanych do eliminacji kolejnych równań w metodzie Gaussa-Jordana Dekompozycję Doolittle można więc zrealizować poprzez eliminację Gaussa-Jordana, w której mnożniki używane do eliminacji tworzą macierz L

12 Dekompozycja Doolittle
Mnożniki eliminacyjne można zapisywać w miejsce zer w przekształcanej macierzy A

13 Dekompozycja Doolittle

14 LU: rozwiązanie układu I

15 LU: rozwiązanie układu II

16 Dekompozycja Cholesky’ego
Dekompozycja o postaci: Macierz A musi być: Symetryczna Dodatnio określona Takie macierze pojawiają się w wielu zastosowaniach, jak choćby w metodzie najmniejszych kwadratów (później w tym semestrze)

17 Cholesky

18 Cholesky Macierz A jest symetryczna, więc można się zajmować tylko częścią trójkątną dolną Sześć równań

19 Cholesky pierwsza kolumna: druga kolumna: trzecia kolumna:

20 Specjalne rodzaje macierzy
Macierze rzadkie – większość elementów ma wartość zero Macierze wstęgowe – macierze rzadkie, w których elementy niezerowe są położone tylko na głównej przekątnej i przekątnych przyległych

21 Macierze rzadkie Macierz trójprzekątniowa – elementy tylko na głównej przekątnej i dwóch przekątnych przyległych

22 Macierz trójprzekątniowa
Bardzo mało kosztowne pod względem pamięci (np. dla m=n=100, 298 vs liczb)

23 Dekompozycja LU 3-diag A(k,:)=A(k,:)-c(k-1)/d(k-1)*A(k,:), k=2,3...n
e(k) nie ulega zmianie, mnożnik eliminacyjny jest zapisywany w pozycji c(k-1):

24 Dekompozycja LU 3-diag

25 Rozwiązanie po dekompozycji
Faza Ly=b:

26 Rozwiązanie po dekompozycji
Faza Ux=y:

27 Metody iteracyjne

28 Algorytm Gaussa-Seidela
Algebraiczny zapis i-tego równania Wyłączając komponent xi:

29 Algorytm Gaussa-Seidela
Rozwiązując: Pomysł na schemat iteracyjny:

30 Algorytm Gaussa-Seidela
Procedura startuje z pewnego wstępnie wybranego (np. losowo) oszacowania rozwiązania xo Zastosowanie wzoru: poprawia oszacowanie i tworzy jeden cykl algorytmu Procedura jest powtarzana dotąd, aż zmiana xp w stosunku do xp-1 w kolejnej iteracji p jest nieznaczna

31 Gauss-Seidel - relaksacja
Wartość xp w kolejnej iteracji jest sumą ważoną: ω jest współczynnikiem relaksacji: Gdy ω=1 – efektywnie brak relaksacji Gdy ω < 1 – interpolacja Gdy ω >= 1 - ekstrapolacja

32 Gauss-Seidel

33 Dobieranie współczynnika ω
Zazwyczaj stosuje się przepis: gdzie: jest przeregulowaniem w k-tej iteracji bez relaksacji, k powinno być rzędu 10, a p >= 1

34 Gauss-Seidel z relaksacją
Przeprowadzić k (np. k=10) iteracji bez relaksacji, czyli dla ω = 1, zarejestrować Δx(k) Przeprowadzić dodatkowe p (p >= 1) iteracji bez relaksacji, zarejestrować Δx(k+p) Z podanego wzoru wyznaczyć ωopt i resztę obliczeń przeprowadzać z relaksacją ωopt

35 Piwot - motywacja Kolejność używania równań może mieć decydujący wpływ na rozwiązanie

36 Piwot - motywacja Przykład. (rozwiązanie  x1=x2=x3=1
„Dobre” uporządkowanie: Algorytm Gaussa-Jordana zawiedzie (dzielenie przez zero w pierwszej operacji) „Złe” uporządkowanie:

37 Dwa ostatnie równania są sprzeczne
Piwot - motywacja A gdyby to nie było zero, ale bardzo mała wartość... 1/ε, 2/ε jest bardzo duże Dwa ostatnie równania są sprzeczne Po eliminacji pierwszego równania:

38 Piwot - motywacja Jeśli nawet zła kolejność rozwiązywania nie prowadzi do takich krytycznych sytuacji, to akumulacja błędów zaokrąglania czyni często rozwiązanie całkowicie bezwartościowym

39 Diagonalna dominacja Stosując piwot, dążymy do uzyskania diagonalnej dominacji Macierz wykazuje d.d., jeśli w każdym wierszu wyraz na przekątnej jest większy od sumy pozostałych wyrazów (w sensie wartości bezwzględnych):

40 Diagonalna dominacja Przykład: Macierz nie wykazuje d.d.:
... ale po przestawieniu wierszy wykazuje:

41 Skalowany piwot Jak poprzestawiać wiersze, żeby uzyskać d.d. (wtedy najmniej podatne na problemy rozwiązanie) Przydatne też, aby wyraz na przekątnej miał nie tylko wartość dominującą w wierszu, ale i możliwie jak największą z wszystkich dostępnych w macierzy

42 Skalowany piwot Dodatkowy wektor kolumnowy współczynników skalujących:
Wyznaczony przez:

43 Skalowany piwot Rozstrzygnięcia posługują się relatywną wielkością wyrazów: Eliminacja przy użyciu wiersza k: Zamiast akceptować automatycznie Akk jako dzielnik, poszukiwany jest poniżej lepszy wiersz piwotowy (dlaczego tylko poniżej?)

44 Skalowany piwot Wybierany jest wiersz p, w którym Apk ma największą względną wielkość: Po znalezieniu takiego wiersza, zamienia się go miejscami z wierszem k (stosowna zamiana musi też być dokonana w wektorze współczynników skalujących s)

45 Skalowany piwot

46 Skalowany piwot Pomocnicza funkcja swapRows:

47 Dekompozycja Doolittle
W piwocie zamieniamy miejscami wiersze, dbając to, żeby zamiana dotyczyła także wektora b (RHS) Przy dekompozycji LU szykujemy się na „przyszłe” wektory bj, ale ich wyrazy będą uporządkowane wg pierwotnej kolejności Wyrazy wektorów bj przed rozwiązaniem korzystającym z LU należy poddać przestawieniu takiemu samemu, jak w czasie eliminacji Gaussa

48 Dekompozycja Doolittle
W algorytmie Gaussa z piwotem potrzebny jest dodatkowy wektor permutacyjny p, wstępnie równy (1:n)’ Zamiana wierszy miejscami dotyczy także wektora p Po zakończonym algorytmie G.-J. Wektor p wskazuje kolejność wierszy Uporządkowanie „przyszłych” wektorów b  w zapisie Matlab: b(p)