Dwie metody rozwiązywania układów równań liniowych: Bezpośrednie Iteracyjne

Metody bezpośrednie Transformują układ równań na inny układ równań (prostszy do rozwiązania) Transformacjom podlegają równocześnie lewa i prawa strona równania:

Metody bezpośrednie Operacje wykorzystywane w przekształceniach: Zamiana dwóch równań miejscami Mnożenie równania przez niezerową stałą Mnożenie równania przez niezerową stałą i odjęcie wyniku od innego równania

Metody bezpośrednie

Układy Lx=c, Uy=d Rozwiązanie układu Lx=c metodą podstawiania do przodu Analogicznie rozwiązanie układu Uy=d (kod podany przy omawianiu dekompozycji LU)

Metoda eliminacji Gaussa-Jordana Podstawowa operacja: Eq.(j) – tzw. równanie (wiersz) piwotu

Przykład – faza eliminacji Do roz

Przykład – faza eliminacji

Przykład – zapis macierzowy Postać „uzupełniona” (augmented)

Przykład – faza podstawiania wstecz

Eliminacja Gaussa-Jordana - algorytm k wierszy przekształconych k-ty wiersz – wiersz piwotu transformowany i-ty wiersz

Eliminacja Gaussa-Jordana - algorytm Do wyeliminowania wyraz Aik Trzeba podzielić wiersz piwotu przez λ=Aik/Akk i odjąć wynik od transformowanego wiersza:

Eliminacja Gaussa-Jordana - algorytm „Jądro” algorytmu: k - wiersz piwotu - musi przebiegać: k=1,2, ..., n-1 i - transformowany wiersz dla ustalonego wiersza piwotu k – musi przebiegać: i = k+1, k+2, ..., n j – kolumna w wierszu musi przebiegać: j = k, k+1, ..., n, takie przekształcenie jak na wierszu i - na wyrazie b(i) wektora reprezentującego prawą stronę układu równań

Eliminacja Gaussa-Jordana - algorytm Kod źródłowy:

Eliminacja Gaussa-Jordana - optymalizacje Pętla operacji na elementach wiersza i zastąpiona jedną operacją wektorową:

Eliminacja Gaussa-Jordana - optymalizacje Zastosowana uzupełniona reprezentacja macierzy A (A=[A b])

Eliminacja Gaussa-Jordana - optymalizacje Wyrazy pod główną przekątną nie są nam potrzebne (Lx=c), więc nie jest konieczne aby je zerować:

Eliminacja Gaussa-Jordana - optymalizacje

Eliminacja Gaussa-Jordana - optymalizacje Nie trzeba przekształcać wiersza, jeśli na odpowiedniej pozycji już jest zero:

Eliminacja Gaussa

Faza podstawiania wstecz – kod Rozwiązanie ostatniego równania:

Faza podstawiania wstecz – kod Ogólna sytuacja: jesteśmy na wysokości równania k, wszystkie równania poniżej (k+1...n) zostały już rozwiązane, mamy więc: xk+1 do xn są już znane, a więc:

Faza podstawiania wstecz – kod

Algorytm Gaussa-Jordana - kod

Dekompozycja LU Potrzeba: układy równań rozwiązywane wielokrotnie, dla różnych wektorów danych bi (RHS – prawe strony równań) Uzupełnienie macierzy A o wszystkie wektory bi:

Dekompozycja LU W fazie eliminacji Gaussa-Jordana przekształceniom podlegają wszystkie wektory bi, Faza wstecznego podstawiania jest realizowana dla każdego bi osobno Dekompozycja LU oferuje bardziej ekonomiczny i elastyczny schemat (nie trzeba znać z góry bi)

Dekompozycja LU Dekompozycja LU kwadratowej macierzy A: gdzie L – macierz trójkątna dolna, U – macierz trójkątna górna:

Dekompozycja LU Dekompozycja nie jest unikalna (nieskończenie wiele możliwych) Niektóre ograniczenia dają metodę z nazwą:

Dekompozycja LU Idea zastosowania: Najpierw rozwiązanie Ly=b (podstawianie wprzód) Następnie rozwiązanie Ux=y (podstawianie wstecz) Gdy już są znane L, U, to dla każdego wektora bi potrzebne są dwa tanie procesy podstawiania

Dekompozycja Doolittle Dekompozycja ma ścisły związek z eliminacją Gaussa Po dekompozycji: Przed dekompozycją:

Dekompozycja Doolittle Zastosowanie eliminacji Gaussa: A(2,:)=A(2,:)-L21 A(1,:) A(3,:)=A(3,:)-L31 A(1,:) A(3,:)=A(3,:)-L32 A(2,:)

Dekompozycja Doolittle Macierz U uzyskiwana w trakcie eliminacji Gaussa-Jordana jest identyczna, jak w dekompozycji Doolittle Macierz L dekompozycji Doolittle składa się ze współczynników używanych do eliminacji kolejnych równań w metodzie Gaussa-Jordana Dekompozycję Doolittle można więc zrealizować poprzez eliminację Gaussa-Jordana, w której mnożniki używane do eliminacji tworzą macierz L

Dekompozycja Doolittle Mnożniki eliminacyjne można zapisywać w miejsce zer w przekształcanej macierzy A

Dekompozycja Doolittle

LU: rozwiązanie układu I

LU: rozwiązanie układu II

Dekompozycja Cholesky’ego Dekompozycja o postaci: Macierz A musi być: Symetryczna Dodatnio określona Takie macierze pojawiają się w wielu zastosowaniach, jak choćby w metodzie najmniejszych kwadratów (później w tym semestrze)

Cholesky

Cholesky Macierz A jest symetryczna, więc można się zajmować tylko częścią trójkątną dolną Sześć równań

Cholesky pierwsza kolumna: druga kolumna: trzecia kolumna:

Cholesky Ogólniej:

Cholesky Dla pierwszej kolumny: Dowolna kolumna – niewiadomą jest Lij: Dla elementu diagonalnego (i=j):

Cholesky

Specjalne rodzaje macierzy Macierze rzadkie – większość elementów ma wartość zero Macierze wstęgowe – macierze rzadkie, w których elementy niezerowe są położone tylko na głównej przekątnej i przekątnych przyległych

Macierze rzadkie Macierz trójprzekątniowa – elementy tylko na głównej przekątnej i dwóch przekątnych przyległych

Macierz trójprzekątniowa Bardzo mało kosztowne pod względem pamięci (np. dla m=n=100, 298 vs. 10000 liczb)

Dekompozycja LU 3-diag A(k,:)=A(k,:)-c(k-1)/d(k-1)*A(k,:), k=2,3...n e(k) nie ulega zmianie, mnożnik eliminacyjny jest zapisywany w pozycji c(k-1):

Dekompozycja LU 3-diag

Rozwiązanie po dekompozycji Faza Ly=b:

Rozwiązanie po dekompozycji Faza Ux=y:

Metody iteracyjne

Algorytm Gaussa-Seidela Algebraiczny zapis i-tego równania Wyłączając komponent xi:

Algorytm Gaussa-Seidela Rozwiązując: Pomysł na schemat iteracyjny:

Algorytm Gaussa-Seidela Procedura startuje z pewnego wstępnie wybranego (np. losowo) oszacowania rozwiązania xo Zastosowanie wzoru: poprawia oszacowanie i tworzy jeden cykl algorytmu Procedura jest powtarzana dotąd, aż zmiana xp w stosunku do xp-1 w kolejnej iteracji p jest nieznaczna

Gauss-Seidel - relaksacja Wartość xp w kolejnej iteracji jest sumą ważoną: ω jest współczynnikiem relaksacji: Gdy ω=1 – efektywnie brak relaksacji Gdy ω < 1 – interpolacja Gdy ω >= 1 - ekstrapolacja

Gauss-Seidel

Dobieranie współczynnika ω Zazwyczaj stosuje się przepis: gdzie: jest przeregulowaniem w k-tej iteracji bez relaksacji, k powinno być rzędu 10, a p >= 1

Gauss-Seidel z relaksacją Przeprowadzić k (np. k=10) iteracji bez relaksacji, czyli dla ω = 1, zarejestrować Δx(k) Przeprowadzić dodatkowe p (p >= 1) iteracji bez relaksacji, zarejestrować Δx(k+p) Z podanego wzoru wyznaczyć ωopt i resztę obliczeń przeprowadzać z relaksacją ωopt

Piwot - motywacja Kolejność używania równań może mieć decydujący wpływ na rozwiązanie

Piwot - motywacja Przykład. (rozwiązanie  x1=x2=x3=1 „Dobre” uporządkowanie: Algorytm Gaussa-Jordana zawiedzie (dzielenie przez zero w pierwszej operacji) „Złe” uporządkowanie:

Dwa ostatnie równania są sprzeczne Piwot - motywacja A gdyby to nie było zero, ale bardzo mała wartość... 1/ε, 2/ε jest bardzo duże Dwa ostatnie równania są sprzeczne Po eliminacji pierwszego równania:

Piwot - motywacja Jeśli nawet zła kolejność rozwiązywania nie prowadzi do takich krytycznych sytuacji, to akumulacja błędów zaokrąglania czyni często rozwiązanie całkowicie bezwartościowym

Diagonalna dominacja Stosując piwot, dążymy do uzyskania diagonalnej dominacji Macierz wykazuje d.d., jeśli w każdym wierszu wyraz na przekątnej jest większy od sumy pozostałych wyrazów (w sensie wartości bezwzględnych):

Diagonalna dominacja Przykład: Macierz nie wykazuje d.d.: ... ale po przestawieniu wierszy wykazuje:

Skalowany piwot Jak poprzestawiać wiersze, żeby uzyskać d.d. (wtedy najmniej podatne na problemy rozwiązanie) Przydatne też, aby wyraz na przekątnej miał nie tylko wartość dominującą w wierszu, ale i możliwie jak największą z wszystkich dostępnych w macierzy

Skalowany piwot Dodatkowy wektor kolumnowy współczynników skalujących: Wyznaczony przez:

Skalowany piwot Rozstrzygnięcia posługują się relatywną wielkością wyrazów: Eliminacja przy użyciu wiersza k: Zamiast akceptować automatycznie Akk jako dzielnik, poszukiwany jest poniżej lepszy wiersz piwotowy (dlaczego tylko poniżej?)

Skalowany piwot Wybierany jest wiersz p, w którym Apk ma największą względną wielkość: Po znalezieniu takiego wiersza, zamienia się go miejscami z wierszem k (stosowna zamiana musi też być dokonana w wektorze współczynników skalujących s)

Skalowany piwot

Skalowany piwot Pomocnicza funkcja swapRows:

Dekompozycja Doolittle W piwocie zamieniamy miejscami wiersze, dbając to, żeby zamiana dotyczyła także wektora b (RHS) Przy dekompozycji LU szykujemy się na „przyszłe” wektory bj, ale ich wyrazy będą uporządkowane wg pierwotnej kolejności Wyrazy wektorów bj przed rozwiązaniem korzystającym z LU należy poddać przestawieniu takiemu samemu, jak w czasie eliminacji Gaussa

Dekompozycja Doolittle W algorytmie Gaussa z piwotem potrzebny jest dodatkowy wektor permutacyjny p, wstępnie równy (1:n)’ Zamiana wierszy miejscami dotyczy także wektora p Po zakończonym algorytmie G.-J. wektor p wskazuje kolejność wierszy Uporządkowanie „przyszłych” wektorów b  w zapisie Matlab: b(p)