MATEMATYCZNE MODELOWANIE PROCESÓW BIOTECHNOLOGICZNYCH Prezentacja – 3 Matematyczne opracowywanie wyników eksperymentalnych Metoda najmniejszych kwadratów

UWAGI OGÓLNE Eksperymenty wykonywane w nauce można podzielić na dwie kategorie: eksperymenty jakościowe, których wynikiem jest potwierdzenie lub zaprzeczenie określonej tezy eksperymenty ilościowe, których wynikiem jest szereg liczb wyznaczonych dla określonych parametrów. Liczby te najczęściej dają wartości pewnych funkcji na ogół niewiadomych. Wyniki eksperymentów jakościowych są opracowywane metodami statystyki matematycznej. Większość eksperymentów ma charakter ilościowy. Odpowiednie opracowanie takich ilościowych wyników pozwala zarówno na ilościowy opis badanego procesu, jak i na pewne jakościowe wnioski dotyczące naukowego wyjaśnienia różnych zjawisk. W toku opracowywania wyników ilościowych bardzo ważną rolę odgrywa fakt, że nie są one dokładne ale są zawsze obarczone pewnym błędem.

UWAGI OGÓLNE W przypadku badania przebiegu jakiejś funkcji możliwe jest jej doświadczalne wyznaczenie tylko w określonych punktach. Badanie polega na tym, że po ustaleniu wartości zmiennej x niezależnej w punkcie xi dokonuje się pomiaru wartości funkcji a wynik zapisuje się jako yi. Aby dobrze uchwycić przebieg funkcji wykonuje się szereg pomiarów w różnych punktach. Wynikiem eksperymentu jest zatem zbiór par {xi,yi}. Taki zbiór jest to doświadczalnie wyznaczona funkcja y=f(x) w postaci dyskretnej. Opis jednak funkcji w postaci dyskretnej jest na ogół mało przydatny. W zastosowaniach bardziej użyteczne są funkcje ciągłe określone dla dowolnych argumentów x. Zagadnienie zastępowania funkcji dyskretnej otrzymanej doświadczalnie, pewną funkcją ciągłą mającą na ogół podstawę teoretyczną, nazywamy aproksymacją. Jedną z metod aproksymacji bardzo szeroko stosowaną w inżynierii jest tzw. metoda najmniejszych kwadratów. W dalszym ciągu omówię tę metodę dla przypadku funkcji jednej zmiennej. W łatwy sposób można rozważania uogólnić na funkcje wielu zmiennych.

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Zakładamy, że w danym problemie występuje funkcja jednej zmiennej x, która jest określona za pomocą k stałych parametrów aj: W celu wyznaczenia wartości parametrów przeprowadza się n eksperymentów dla pewnego zbioru wartości zmiennej x mierząc odpowiednie wartości y:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Rozważmy wzajemne relacje między k i n tzn. między liczbą niewiadomych parametrów a liczbą niezależnych eksperymentów. Przypadek I n<k (liczba eksperymentów jest mniejsza niż liczba parametrów). W takim przypadku na ogół proces aproksymacji nie będzie jednoznaczny. Przypadek II n=k (liczba eksperymentów jest równa liczbie parametrów) Dla każdego niezależnego eksperymentu można napisać równanie, w którym prawa strona jest wynikiem eksperymentu. W rezultacie otrzymujemy układ równań:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Rozwiązanie tego układu równań daje nam niewiadomy wektor parametrów a=[a1,a2,…,ak]. Tak można postąpić pod warunkiem, że pomiary są absolutnie dokładne czyli obarczone zerowym błędem. W rzeczywistości błędy pomiarowe mogą być dosyć duże. Aby uniknąć przenoszenia się tych błędów na wyznaczane parametry, wykonuje się zazwyczaj znacznie więcej pomiarów niż wynosi liczba parametrów.

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Przypadek III n>k (liczba eksperymentów jest większa niż liczba parametrów). Do tego właśnie przypadku stosowana jest metoda najmniejszych kwadratów. Podobne postępowanie jak w przypadku II prowadzi do układu równań, w którym jest więcej równań niż niewiadomych. Takie układy równań są z reguły sprzeczne tzn. nie mają dokładnych rozwiązań. Możemy jednak poszukiwać rozwiązań przybliżonych tzn. takich, dla których funkcja będzie opisywać wyniki doświadczeń z pewnym błędem. Minimalizację tych błędów zapewnia właśnie metoda najmniejszych kwadratów. Rozważmy prosty przykład funkcji liniowej o dwu parametrach:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Wykonajmy 5 eksperymentów dla [x1,x2,x3,x4,x5] otrzymując wyniki [y1,y2,y3,y4,y5]. Arbitralne przeprowadzenie linii prostej daje wektor odchyleń (błędów bezwzględnych): y δi xi x

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Rozważmy teraz szczegółowo przypadek aproksymacji funkcji z k parametrami za pomocą wyników n eksperymentów, przy czym n>k. Ponieważ poszczególne eksperymenty mogą mieć różną dokładność, fakt ten uwzględnia się za pomocą tzw. wag. Mamy więc:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW W celu minimalizacji wektora błędów wprowadźmy funkcję S zdefiniowaną jako ważoną sumę kwadratów błędów poszczególnych pomiarów:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Funkcja S ma swoje głębokie uzasadnienie w rachunku prawdopodobieństwa. Jest ona ściśle związana z tzw. rozkładem normalnym Gaussa. Istotą metody najmniejszych kwadratów jest poszukiwanie takich wartości parametrów a1,a2,…,ak, przy których wartość S jest najmniejsza.

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW Poszukiwaniem ekstremalnych punktów różnych funkcji zajmuje się osobny dział matematyki – optymalizacja. W przypadku różniczkowanych funkcji wielu zmiennych, najprostszą metodą optymalizacji jest porównanie do zera wszystkich pochodnych cząstkowych. W naszym przypadku należy przyrównać do zera pochodne cząstkowe funkcji S względem szukanych parametrów. W rezultacie otrzymujemy układ k równań z k niewiadomymi:

APROKSYMACJA FUNKCJI ZA POMOCĄ METODY NAJMNIEJSZYCH KWADRATÓW W ogólnym przypadku rozwiązanie analityczne tego układu nie jest możliwe. Jednak dla szerokiej klasy funkcji układ ten jest liniowy i teraz zajmiemy się tym przypadkiem.

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Funkcje, w których parametry a1,a2,…,ak występują w postaci liniowej nazywamy funkcjami liniowymi ze względu na parametry. Funkcje takie można zapisać w postaci: gdzie są to stosunkowo proste ale liniowo niezależne tzw. funkcje bazowe. Przykłady:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Załóżmy teraz że nasza funkcja, której parametrów poszukujemy ma taką postać. W celu znalezienia parametrów należy wyznaczyć pochodne cząstkowe funkcji S względem kolejnych parametrów i skonstruować odpowiedni układ równań. Funkcja S będzie miała postać:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Pochodna ze względu na parametr a1 będzie miała postać: Porównanie tej pochodnej do zera daje nam pierwsze równanie z układu równań. Możemy łatwo zauważyć, że jest to równanie liniowe ze względu na szukane niewiadome a1,a2,…,ak. W sposób analogiczny otrzymujemy kolejne równania. Cały układ będzie miał postać:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Wprowadzenie oznaczeń: gdzie j oznacza numer kolumny a r numer równania otrzymujemy układ równań w postaci:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Układ ten ma bardzo prostą postać macierzową: Układ równań liniowych ma jednoznaczne rozwiązanie wtedy gdy wyznacznik macierzy głównej jest różny od zera tzn. W takim przypadku rozwiązanie możemy zapisać macierzowo:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY W naszym przypadku można wykazać że jeżeli: a) układ funkcji φ1,φ2,…,φk jest liniowo niezależny b) punkty xi dla których były wykonywane doświadczenia są różne (nie powtarzają się) to wyznacznik macierzy [B] jest różny od zera i układ ma jednoznaczne rozwiązanie. W praktyce układy równań liniowych rozwiązujemy albo metodami analitycznymi (np. metodą Cramera) albo przybliżonymi (np. Gaussa).

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Jako szczególny przypadek powyższej metody wyprowadzimy wzory określające współczynniki w równaniu linii prostej: Ponieważ mamy 2 parametry układ równań liniowych będzie układem dwu równań z dwoma niewiadomymi. Poszczególne współczynniki w tym układzie będą miały postać:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Rozwiążmy ten układ metodą Cramera tzn. za pomocą wyznaczników:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Czyli:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY W celu uproszczenia zapisu wprowadźmy jako oznaczenia tzw. średnie ważone:

METODY NAJMNIEJSZYCH KWADRATÓW DLA FUNKCJI LINIOWYCH ZE WZGLĘDU NA PARAMETRY Dzieląc licznik i mianownik w powyższych wzorach przez (Σwi)2 i wprowadzając średnie ważone otrzymujemy wzory w postaci łatwej do stosowania i zapamiętania:

METODY NAJMNIEJSZYCH KWADRATÓW FUNKCJE NIELINIOWE ZE WZGLĘDU NA PARAMETRY W praktyce inżynierskiej często parametry wchodzą do funkcji w sposób nieliniowy. W takim przypadku układ równań wynikający z przyrównania pochodnych do zera też jest nieliniowy. Można ten układ rozwiązywać numerycznie. W praktyce jednak często stosuje się metodę linearyzacji. Metodyka postępowania jest następująca: Zasadnicze zmienne x i y zastępujemy nowymi zmiennymi X i Y w ten sposób, aby po podstawieniu i przekształceniu otrzymać funkcję liniową ze względu na parametry.

METODY NAJMNIEJSZYCH KWADRATÓW FUNKCJE NIELINIOWE ZE WZGLĘDU NA PARAMETRY Metodę linearyzacji można zapisać za pomocą następującego schematu:

METODY NAJMNIEJSZYCH KWADRATÓW FUNKCJE NIELINIOWE ZE WZGLĘDU NA PARAMETRY Należy zwrócić uwagę, że linearyzacja co prawda ułatwia rozwiązanie problemu, ale wprowadza pewien dodatkowy błąd związany z przekształceniem funkcji. Minimalizuje się tutaj nie odchylenia badanej funkcji ale odchylenia funkcji przekształconej. Na ogół ten dodatkowy błąd jest niewielki i pomijalny. Można go jednak skorygować wprowadzając odpowiednią wagę: W przypadku gdy funkcja linearyzacyjna Y(y) jest funkcją logarytmiczną linearyzacja prowadzi do minimalizacji błędów względnych funkcji y.

METODY NAJMNIEJSZYCH KWADRATÓW FUNKCJE NIELINIOWE ZE WZGLĘDU NA PARAMETRY Przykład Załóżmy, że funkcja aproksymowana ma postać: Funkcję tę można łatwo zlinearyzować za pomocą następujących przekształceń: Korekta błędów linearyzacji za pomocą wag będzie miała postać: