Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Introduction to Numerical Analysis Marek Kręglewski.

Podobne prezentacje


Prezentacja na temat: "Introduction to Numerical Analysis Marek Kręglewski."— Zapis prezentacji:

1 Introduction to Numerical Analysis Marek Kręglewski

2 Course content Week 1Solutions of nonlinear equations in one variable: the bisection algorithm. Week 2The Newton-Raphson method, the secant method. Fixed point iteration. Week 3Numerical integration: trapezoidal rule and Simpsons rule. Week 4Numerical differentiation: forward and backward-difference formula. Three-point formula of numerical differentiation. Week 5Initial value-problem for differential equations: Eulers method, the Runge-Kutta methods. Week 6Taylor expansion – error of a numerical method. The Richardsons extrapolation. Week 7Initial value-problem for differential equations: Eulers method, the Runge-Kutta methods. Week 8Polynomial interpolation: Newton and Lagrange polynomials. Week 9Methods for solving linear systems: linear systems of equations, Cramers rule, Gaussian elimination. Week 10Approximation theory: least-squares approximation. Week 11Linear algebra, matrix inversion and the determinant of a matrix. Week 12The similarity transformations. Eigenvalues and eigenvectors. Week 13Iterative techniques in matrix algebra: Jacobi iterative method. Week 14Optimization. Week 15Round-off errors: absolute error, relative error, significant digits.

3 Course content 2 LABORATORY CLASSES 1.MS Excel – general introduction 2.Application of the MS Excel in solving numerical problems MANUALS: 1.E. Steiner, Mathematics for chemists, Oxford. 2.A. Ralston, Introduction to numerical analysis.

4 Solution of equation in one variable x=f(x ) READ x, ε, A START STOP y=x x=y y=½(x+A/x) |x-y|< ε WRITE y YES NO Trace of operations

5 Algorithm notation START and STOP of a sequential algorithm INPUT and OUTPUT operations SUBSTITUTION operations CONDITIONAL operation LOOP ? = SUBSTITUTION variable = expression Calculate the value of the expression and save it under the name of the variable

6 Convergent process: x=½(x+4/x) xy Iteration process

7 Divergent process: x=6-x*x xy E E E E+95

8 Solution of equation in one variable Bisection method Solution of an equation f(x)=0, i.e. search for zero points of the function f(x). Search for the a zero point in the range, in which: 1) the function f(x) is continuous 2) f(x) changes the sign in the range, i.e. f(a)*f(b)<0 x y b a p1p1 p4p4 p3p3 p2p2 b a b a zero point

9 Bisection Algorithm READ a, b, ε START STOP f(a)*f(b)<0 p=(a+b)/2 f(a)*f(p)<0 WRITE a,b YES NO WRITE: incorrect range |a-b|<ε NO b=pa=p YES Trace of operations NO YES

10 Differential Calculus Derivative of a function – a measure how rapidly the dependent variable changes with changes of the independent variable x1x1 x2x2 y1y1 y2y2 y = y 2 -y 1 x = x 2 -x 1 Tangent line tan( α) (slope) y=y(x) α derivative

11 Differential Calculus Find the derivative of the function y = a x 2 Let x = x 2 -x 1 and y = y(x 2 )-y(x 1 ) y = a(x 2 ) 2 -a(x 1 ) 2 = a(x 1 + x) 2 -a(x 1 ) 2 = a[(x 1 ) 2 +2x 1 x+( x) 2 ]-a(x 1 ) 2 = = a[2x 1 x+( x) 2 ] After dividing by x In the limit as x 2 x 1 (i.e. x 0) The derivative of the function y=ax 2 is dy/dx=2ax

12 Differential Calculus Function y=y(x)Derivative dy/dx=y(x) xnxn n x n-1 axax a x ln(a) ln(x)1/x sin(x)cos(x) -sin(x) a0 Derivatives of some elementary functions (a is a constant): Let y(x) and z(x) are differentiable functions of x: Composite function f(u(x))

13 Solution of equation in one variable Newton-Raphson method The search of a zero point begins at any point x 0, if: 1) the function f(x) and its first derivative are continuous 2) the first derivative is different from zero x y zero point x0x0 x2x2 x3x3 x1x1 The expansion inTaylor series:

14 Newton-Raphson algorithm READ x 0, ε START STOP x 1 =x 0 - f(x 0 ) / f (x 0 ) |x 0 -x 1 |< ε WRITE x 1 YES NO Trace of operations x0=x1x0=x1

15 Solution of equation in one variable Secant Method The search for the zero point begins from a pair of points(x 0, x 1 ), if: 1) the function f(x) is continuous 2) f(x 0 ) f(x 1 ), when x 0 x 1 x y zero point x0x0 x1x1 x3x3 x2x2 The first derivative from the Newton-Raphson method approximated with an expression:

16 Secant method algorithm READ x 0, x 1, ε START STOP x 2 =x 1 – q 1 (x 1 -x 0 ) /(q 1 -q 0 ) |x 2 -x 1 |< ε WRITE x 2 YES NO Trace of operations x 0 =x 1 ; x 1 =x 2 q 0 =q 1 ; q 1 =f(x 2 ) q 0 =f(x 0 ) q 1 =f(x 1 )

17 Integral Calculus – principal facts The antiderivative F(x) of f(x) is the function such that dF(x)/dx=f(x) The indefinite integral is the same thing as the antiderivative function A definite integral is the limit of a sum of terms f(x) x

18 Integral Calculus - examples A car moves with constant velocity v(t)=50 km/h. Calculate the distance it covers in 2 hours. A stone is falling with the acceleration g(t) = 10 m/s 2. At the begining its velocity is 0 m/s. Calculate the distance the stone covers between 2 nd and 4 th second of the fall.

19 Numerical integration a b T2T2 Trapezoidal rule TmTm h

20 Numerical integration a b Simpsons rule S m/2 m must be even

21 Analytical integration – an example f(x)=x 3 f(x)=x 4

22 Numerical integration – an example f(x) xx3x3 x4x Calculation results x3x3 x4x4 T(h=2) T(h=1) S(h=1) ,67 I (accurate) ,4 f(x)=x 3 f(x)=x 4 Errors of the trapezoidal rule error ~ h 2 hT(h)T(h)-I hT(h)T(h)-I , ,6

23 Geometrical series When a =1 i) The sum is equal to ii) is a series expansion of the function

24 Taylor series expansion at x=0 constants Thus

25 Taylor series expansion constants Thus

26 Series expansion of a function Call the Taylor series Calculate the value f(6) using the Taylor series expansion

27 Różniczkowanie numeryczne Przybliżenia jednostronne: Średnia P i L (różnica centralna):

28 Różniczkowanie – błąd metody pochodna błąd ~ h 1 pochodna błąd ~ h 2 Pochodna jednostronna Pochodna centralna _

29 Przykład – obliczenie pochodnej f(x)=ln(x)ln'(3)=1/3ln(3)= f'(x)=[f(x+h)-f(x-h)]/(2*h) h x hf(x h) f'(3)błądh^2błąd/h^ f'(x)=[f(x+h)-f(x)]/h hx+hf(x+h)f(3)błądhbłąd/h Oblicz pochodną ln(x) w punkcie x=3 metodą pochodnej centralnej oraz jednostronnej dla różnych długości kroków: Zmniejszenie kroku zmniejsza błąd, przy czym szybciej błąd maleje w metodzie różnic centralnych

30 Równanie różniczkowe I rzędu Równanie różniczkowe opisujące rozpad promieniotwórczy Propozycja rozwiązania: Sprawdzanie poprawności: Podstawienie do równania: Lewa strona równa prawej, gdy: Wartość a wyznaczana z warunku początkowego: Ostateczne rozwiązanie analityczne: k – stała szybkości rozpadu promieniotwórczego

31 Rozpad promieniotwórczy Równanie różniczkowe opisujące rozpad promieniotwórczy Rozwiązanie analityczne: Okres połowicznego rozpadu :

32 Równanie różniczkowe – metoda Eulera Równanie ( f jest znaną funkcją): Wzór przybliżony na pochodną: Uproszczony zapis: Ostatni wzór pozwala na obliczanie wartości funkcji y punkt po punkcie. Wartość funkcji w punkcie zerowym y 0 określają warunki początkowe. Po przekształceniu:

33 Równanie różniczkowe I rzędu itNdN/dtNanalit

34 Równanie różniczkowe II rzędu Drgania harmoniczne F p = ma a - przyspieszenie F w = -kx x - wychylenie Przyjmijmy: m=1 k=1 Równowaga sił F p = F w a=-x x 0 F Rozwiązania szczególne równania: Rozwiązanie ogólne równania: Stałe c 1 i c 2 wyznaczane z warunków początkowych

35 Równanie różniczkowe II rzędu x 1 0 Warunki początkowe: Rozwiązanie ogólne z uwzględnieniem warunków początkowych:

36 Rozwiązanie numeryczne I Korzystamy z przybliżonych wzorów na pochodne: Oznaczamy: Z postaci równania wynika:

37 Rozwiązanie numeryczne I c.d. Gdy t=0 : kt(k)x(k)v(k)a(k)

38 Rozwiązanie numeryczne II Korzystamy z przybliżonych wzorów na pochodne centralne: Oznaczamy: Z postaci równania wynika:

39 Rozwiązanie numeryczne II c.d. Gdy t=0 : kt(k)x(k)v(k+1/2)a(k)

40 Ekstrapolacja Richardsona Czy wykonując obliczenia ze skończona długością kroku h można oszacować wynika graniczny dla h 0 ? F(h) – wartość obliczona dla długości kroku h a 0 = F(0) hipotetyczna wartość dla zerowej długości kroku p – rząd błędu metody numerycznej Obliczamy wynik numeryczny F dla dwóch różnych kroków h i (qh)

41 Ekstrapolacja Richardsona c.d. a 0 też jest obarczone błędem i postępowanie można prowadzić dalej. Najczęściej ekstrapolację stosujemy dla q=2, a wtedy: odejmujemy stronami

42 Ekstrapolacja Richardsona przykład 1 hT(h) Wyniki numeryczne metodą trapezów:

43 Ekstrapolacja Richardsona przykład 2 f(x)=ln(x)f'(x)=[f(x+h)-f(x-h)]/(2*h) ln'(3)=1/3 hP(h) /3 a0a błąd metody różnic centralnych h 2, czyli p=2. = P(h)-P(2h)

44 Interpolacja wielomianem Dana jest funkcja f(x) w postaci tablicy, tzn. znamy jej wartości w (n+1) punktach (węzłach) f(x 0 ), f(x 1 ), f(x 2 ),..., f(x n ). Zadanie: znaleźć wielomian n-tego stopnia taki, że: w(x 0 )= f(x 0 ) w(x 1 )= f(x 1 )... w(x n )= f(x n ) w n (x) nazywamy wielomianem interpolacyjnym. Cele interpolacji: łatwe zapamiętanie postaci funkcji (współczynniki) wykonywanie operacji matematycznych na wielomianie wyznaczanie pośrednich wartości funkcji

45 Obliczanie wartości wielomianu Postać naturalna wielomianu Obliczanie wartości wielomianu wg schematu Hornera

46 Obliczanie wartości wielomianu Algorytm Wczytaj n, {a i }, x START STOP w=a n i0 Wypisz w TAK NIE i=n-1 w=w*x+a i i=i-1

47 Ślad działań w 3 (x)=1+3x-2x 2 +4x 3 n=3 a 0 =1 a 1 =3 a 2 =-2 a 3 =4 Oblicz wartość wielomianu w punkcie x=3. nwi 342 4*3-2=101 10*3+3=330 33*3+1=100 Wartość wielomianu w punkcie x=3 wynosi 100.

48 Postać Newtona wielomianu Niech x 0, x 1, x 2,..., x n-1 są danymi liczbami, dla których wartości wielomianu są określone (dane). Tworzymy wielomiany pomocnicze p k (k=0,1,2,...,n) takie, że p 0 (x) = 1 p 1 (x) = x-x 0 p 2 (x) = (x-x 0 )(x-x 1 )... p k (x)= (x-x 0 )(x-x 1 )... (x-x k-1 ) Wielomian w n (x) przedstawiamy jako Jak wyznaczyć współczynniki b k ?

49 Wyznaczanie współczynników b k xf(x)f[x l,x l+1 ]f[x l,x l+1,x l+2 ] x0x0 f(x 0 ) x1x1 f(x 1 ) x2x2 f(x 2 )... xnxn f(x n )

50 Przykład xf(x)f[x0,x1]f[x0,..,x2]f[x0,...,x3] b 0 = 100 b 1 = 183 b 2 = 58 b 3 = 4

51 Interpolacja liniowa Prosta: w 1 (x)=a 0 +a 1 x x y x1x1 x0x0 f0f0 f1f1 f(x 0 ) = f 0 = a 0 +a 1 x 0 (/ x 1 ) f(x 1 ) = f 1 = a 0 +a 1 x 1 (/ x 0 ) Wyznacz a 0, a 1 f 1 -f 0 = a 1 x 1 – a 1 x 0 a 1 =(f 1 -f 0 )/(x 1 -x 0 ) f 0 x 1 -f 1 x 0 = a 0 x 1 – a 0 x 0 a 0 =(f 0 x 1 –f 1 x 0 )/(x 1 -x 0 ) w 1 (x)= [(f 0 x 1 –f 1 x 0 )/(x 1 -x 0 )] + [(f 1 -f 0 )/(x 1 -x 0 )] x w 1 (x)= [(f 0 x 1 –f 0 x 0 +f 0 x 0 –f 1 x 0 )/(x 1 -x 0 )] + [(f 1 -f 0 )/(x 1 -x 0 )] x w 1 (x)=f 0 + [(f 1 -f 0 )/(x 1 -x 0 )] (x-x 0 ) to postać Newtona dla w 1 (x) = b 0 p 0 (x) + b 1 p 1 (x), gdzie p 0 (x) = 1 b 0 = f 0 p 1 (x) = x-x 0 b 1 = (f 1 -f 0 )/(x 1 -x 0 )

52 Zjawisko Rungego Przy interpolacji wielomianem wysokiego stopnia, np. 10-tego dla funkcji w przedziale [-1,1] dla węzłów równoodległych x i = -1 + i *0,2 i = 0,1,2,...,10 xf(x)w(x) E E

53 Zjawisko Rungego Porównanie wykresu funkcji i wielomianu:

54 Rozwiązywanie układu równań Przykład: x 1 +2x 2 +3x 3 =1 2x 1 +3x 2 +4x 3 =1 3x 1 +4x 2 + x 3 =1 x 1 =-1 x 2 =1 x 3 =0

55 Macierze a przekształcenia geometryczne y2y2 x1x1 x2x2 y1y1 inwersja P y2y2 x1x1 x2x2 y1y1 odbicie w płaszczyźnie P y2y2 x1x1 x2x2 y1y1 obrót P φ Macierze transformacji geometrycznych są macierzami ortogonalnymi

56 Przekształcenie macierzy przez podobieństwo Istnieje odwzorowanie A, które przekształca x y: y x x y Jeżeli wektory x i y przekształcane są do wektorów x i y poprzez transformację Q, jak wygląda odwzorowanie wektora x w wektor y ? Jeżeli oraz, to Jeżeli macierz Q jest nieosobliwa, to Macierze A i B są swoimi transformatami przekształconymi przez podobieństwo

57 Przekształcenie - przykład φ=-45°

58 Przekształcenie - przykład (x 1,x 2 )=(1,2) (y 1,y 2 )=(3,-1) 1+2=3 1-2=-1 x y -45 ° (x 1,x 2 )= (y 1,y 2 )=

59 Równanie charakterystyczne macierzy λ – skalar, A(n n) I(n n) K(n n) K = A – λI macierz charakterystyczna macierzy A detK = K(λ) = det(A - λI)= A - λI = 0 równanie charakterystyczne macierzy K(λ) = λ n + a n-1 λ n-1 + a n-2 λ n a 1 λ + a 0 = 0 Pierwiastki wielomianu K(λ): λ 1, λ 2,..., λ n-1, λ n nazywamy pierwiastkami charakterystycznymi (wartościami własnymi) macierzy A. Jeżeli B = Q -1 AQ, to macierz charakterystyczna macierzy B K = B – λI = Q -1 AQ - Q -1 IQ = Q -1 (A - I)Q, a wyznacznik detK = B - λI = Q -1 A - λI Q = A - λI = 0 Dwie macierze związane przekształceniem przez podobieństwo mają te same pierwiastki charakterystyczne.

60 Pierwiastki charakterystyczne

61 Macierz diagonalna Jeżeli istnieje takie przekształcenie przez podobieństwo, które macierz A sprowadzi do macierzy diagonalnej D, to elementy na przekątnej macierzy diagonalnej są zarazem pierwiastkami charakterystycznymi (wartościami własnymi) macierzy A.

62 Przykład diagonalizacji macierzy Aby wyzerować elementy niediagonalne: Po przekształceniu otrzymujemy macierz:

63 Pierwiastki i wektory charakterystyczne C -1 AC jest przekształceniem diagonalizującym macierz A. Kolumny macierzy C są wektorami charakterystycznymi. Jeżeli macierz C jest ortogonalna, to C -1 =C T, a C -1 AC = C T AC. Obustronne pomnożenie macierzy A przez wektor charakterystyczny daje wartość charakterystyczną: Ogólnie:

64 64 Regresja liniowa Regresja liniowa: y=a*x+b Zadanie: Wyznaczyć optymalne wartości a oraz b. (x 1,y 1 ) (x 2,y 2 )

65 65 Regresja liniowa Podstawowe założenia: 1)Rozkład y i wokół linii prostej jest losowy 2)Wariancja σ y 2 jest niezależna od x Metoda najmniejszych kwadratów: Wyznaczamy min Φ(a,b) względem a oraz b:

66 66 Regresja liniowa Rozwiązanie układu równań ze względu na a, b:

67 67 Regresja liniowa Estymata wariancji dla wartości y i : Estymata wariancji dla parametrów a oraz b: Współczynnik korelacji liniowej dla próbki r Wartość r zawiera się między -1 i +1. r>0 wskazuje na zależność dodatnią, a r<0 na zależność ujemną między x oraz y. r=0 wskazuje na brak zależności liniowej między x oraz y.

68 68 Regresja liniowa - przykład

69 69 x [km]y [kg]x*xx*yy-a*x-b(y-a*x-b)^2x-xsry-ysr Sum: a=-4.6 kg/km b=3 kg s^2=0.5333s= kg sa^2=0.0133sa= sb^2=0.44sb= xsr=5cov(x,y)= ysr=-20var(x)= var(y)= r(x,y)=

70 70 Więcej o korelacji - kwadranty III IV III μxμx μyμy Kwadranty: Ix-μ x 0 II x-μ x >0y-μ y <0(x-μ x )(y-μ y )<0 III x-μ x >0y-μ y >0(x-μ x )(y-μ y )>0 IV x-μ x 0(x-μ x )(y-μ y )<0

71 71 Współczynnik korelacji liniowej r=-1 x y -1

72 Regresja liniowa jako układ równań Niewiadome: a, b Szukamy rozwiązania takiego, aby uzyskać Zapis macierzowy:

73 Układ równań nadmiarowy Poszukujemy rozwiązania a, dla którego T jest minimalne. Tak obliczone wartości parametrów a zapewniają minimalizację sumy kwadratów odchyleń od prostej

74 Przykład przedstawienia macierzowego

75 Wariancje Wariancja dla zmiennej y Wariancje i kowariancja dla parametrów Współczynnik korelacji liniowej

76 Jakobian W regresji liniowej funkcja modelu to prosta y= a*x + b. Jakobian to macierz pochodnych po parametrach a, b we wszystkich punktach danych i = 1,2,...,n Jeżeli do danych chcielibyśmy dopasować wielomian 2-go stopnia y= a 0 + a 1 *x + a 2 *x 2, to jakobian miałby postać:

77 77 Rozkład złożonego pasma Należy dopasować do pasma krzywe Gaussa w postaci a - wysokość b - położenie c - szerokość Pasmo doświadczalne

78 78 Metoda najmniejszych kwadratów {a k }, k=1:M, M dopasowanych parametrów Funkcja błędu (suma po n punktach): Φ{a k } = j [y j (dośw) - y j ({a k }] 2 Zadanie Minimalizować Φ modyfikując zbiór {a k } startując z wartości początkowych {a k } 0

79 Funkcja błędu i jakobian 79 Rozkład na N pasm Elementy jakobianu

80 Algorytm 80 Poprawiona wartość {a k }

81 81 Metoda najmniejszych kwadratów

82 Calculation precision Sources of errors: input data errors round-off errors cut-off errors the model errors accidental errors Absolute and relative errors: approximate value accurate value absolute error relative error

83 Round-off and cut off errors round-off cut-off round-off to t digit after the decimal point the resulting absolute error ½·10 -t Example above: ½·10 -3 = 0.,240 0,0005 How to round-off numbers ending with 5? in addition the errors cancel

84 Przenoszenie się błędów Dodawanie i odejmowanie Jaki jest błąd sumy? Jaki jest błąd różnicy?

85 Przenoszenie się błędów Dodawanie i odejmowanie Podobnie: Błąd bezwzględny sumy lub różnicy równa się sumie błędów bezwzględnych składników.

86 Znoszenie się składników przy odejmowaniu błąd bezwzględny błąd względny

87 Przenoszenie się błędów Mnożenie i dzielenie Podobnie: Błąd względny iloczynu lub ilorazu równa się sumie błędów względnych czynników.

88 Wykorzystanie zasad przenoszenia błędów Oblicz pierwiastki równania kwadratowego wykonując obliczenia z dokładnością do 5 cyfr znaczących. tylko 2 cyfry znaczące 5 cyfr znaczących

89 Wykorzystanie zasad przenoszenia błędów Wykorzystanie wzorów Vietea

90 Błędy maksymalne złożonych wyrażeń Dana zależność funkcyjna Parametry x i obarczone błędami. Jaki jest błąd maksymalny wielkości złożonej y?

91 Przykład szacowania błędu maksymalnego

92 Błędy standardowe złożonych wyrażeń Dana zależność funkcyjna s x to błędy standardowe zmiennych x. Jaki jest błąd standardowy wielkości złożonej y?

93 Przykład szacowania błędu standardowego


Pobierz ppt "Introduction to Numerical Analysis Marek Kręglewski."

Podobne prezentacje


Reklamy Google