W technice: inżynieria obliczeniowa: modelowanie i symulacja zjawisk i urządzeń. badania i optymalizacji procesów produkcyjnych oraz produktów. Obliczenia naukowe – interpretacja i przewidywanie danych doświadczalnych, zrozumienie obserwacji, przewidywanie nowych zjawisk. Modelowanie naukowe/inżynieryjne: metody podobne, różnica w celu oraz obiekcie badań inżynierskie metody numeryczne D10/230, konsultacje: środy 8:30-10:00 cel przedmiotu: przygotowanie do pracy w zakresie numerycznego modelowania zjawisk i urządzeń stosowanego w zagadnieniach techniki (inżynierii) i nauki

Postęp w technologii komputerowej i metodach obliczeniowych sprawia, że znaczenie inżynierii obliczeniowej w przemyśle i nauce ciągle rośnie - co dotyczy wszystkich gałęzi przemysłu i dziedzin naukowych. Personel wykwalifikowany do prowadzenia obliczeń jest na świecie coraz bardziej poszukiwany. Najczęściej poszukiwani są specjaliści z danej dziedziny inżynierii obeznani z podstawami modelowania komputerowego - stosujący gotowe pakiety obliczeniowe. Wykład dla kierunku informatyka stosowana – nie pracujemy z pakietami obliczeniowymi, metody implementujemy od podstaw – przygotowanie do działalności w opracowaniu oprogramowania obliczeniowego. inżynierskie metody numeryczne

Metody wyznaczania własności układów: 1)Metody teoretyczne (ścisłe, analityczne) ograniczone do prostych problemów (w nauce – te akurat są często najważniejsze) lub wyidealizowanych modeli. Idealizacja oparta na intuicji, które bywa błędna. 2)Badania doświadczalne nieodzowne i najważniejsze, ale drogie (i / lub czasochłonne) często same w sobie nie pozwalają na zrozumienie zjawiska przydatne wsparcie ze strony obliczeń ścisłych lub przybliżonych 3)Symulacje numeryczne pozwalają na rozwiązywanie dokładnych równań z kontrolowalną dokładnością często do wykonania taniej i szybciej niż badania doświadczalne pozwalają prześledzić wyniki w funkcji dowolnych parametrów – pełna informacja o możliwych do osiągnięcia własnościach

Tematyka wykładu: głównie rozwiązywanie równań różniczkowych: zwyczajnych i cząstkowych. Równania różniczkowe – opis zjawisk wprowadzony w XVIII / XIX w. Możliwy w praktycznym zastosowaniu w modelowaniu od niedawna – od pojawienia się wydajnych komputerów [np. Równania dynamiki płynów znane od połowy XIX wieku Navier/Stokes - dopiero od niedawna (ok. 30 lat) są rozwiązywane poza najprostszymi przypadkami] Metody numeryczne – przybliżone i wydajne rozwiązania równań równie stare jak same równania, ale przed komputerami stosowalne tylko do najprostszych problemów (co nie znaczy, że bez znaczenia – odkrycie Neptuna)

Znaczenie modelowania numerycznego rosło i będzie rosło z rozwojem sprzętu obliczeniowego Rok FLOPS Pamięć 1949 EDSAC (lampowy) kB 1997 ASCI Red (symulator eksplozji jądrowych) GB 2002 NEC Earth Simulator (modelowanie klimatu) TB 2009 IBM Blue Gene / Q TB Rok Tempo rachunków 1970 Eliminacja Gaussa Metoda Gaussa-Seidla Nadrelaksacja Metoda gradientów sprzężonych1 k 1990 Metody wielosiatkowe5 k 2005Siatka adaptowana 50 k Metody obliczeniowe również się rozwijają (za M. Schaeferem, computational engineering)

Symulacja numeryczne Matematyka numeryczna Informatyka Fizyka/Chemia Dziedzina pochodzenia problemu (inżynieria/nauka) Symulacje numeryczne są ze swej natury interdyscyplinarne (matematyka, metody numeryczne, nauki ścisłe, konkretna dziedzina inżynierii / nauki + programowanie) - gdzie trzeba będę starał się podawać elementarną wiedzę z zakresu fizyki opisywanych zjawisk. Tylko w ujęciu inter – symulacje są użyteczne (interesujące)

Problem (naukowy/inżynieryjny) Dane doświadczalne, modele matematyczne Równania różniczkowe / warunki brzegowe Generacja siatki, dyskretyzacja (czasu / obszaru całkowania) Układy równań algebraicznych Algebraiczne algorytmy numeryczne ** programowanie *** Rozwiązanie numeryczne (milion liczb) *** Obróbka danych *** wartości użyteczne / mierzalne Przetworzona informacja *** Weryfikacja i korekta modelu Rozwiązanie Analiza i interpretacja * *wykład (FDM,FVM,FEM,BEM) ** wykład (ten lub KSN) *** laboratorium Miejsce numeryki w rozwiązywaniu problemów

Szczegółowy program wykładu: galaxy.uci.agh.edu.pl/~bszafran/imn10/planw10.pdf Literatura: Press, Numerical Recipes (The art of scientific computing). Haupt, Practical Genetic Algorithms. Weinberger, A first course in partial differential equations. Koonin, Computational Physics. Solin, Partial Differential Equations and the Finite Element Method. Zienkiewicz, Finite Element Method, its basis & fundamentals. Lienhard, A Heat Transfer Textbook. Sabersky, Fluid flow : a first course in fluid mechanics. Quarteroni, Numerical mathematics. Trefethen, Finite difference and spectral methods for ordinary and partial differential equations. Cichoń, Metody Obliczeniowe. Sewell, The numerical solution of ordinary and partial differential equations. Evans, Numerical Methods for Partial Differential Equations R.Grzymkowski, A.Kapusta, I. Nowak, D. Słota, Metody Numeryczne, Zagadnienia Brzegowe Schafer, Computational Engineering, Introduction to Numerical Methods

Laboratorium: staramy się aby związek wykładu z laboratorium był bliski 1:1 Tematy (za treść odpowiedzialny – wykładowca) - na stronie Podane jest w tej chwili około 10 tematów – ich treść może się zmieniać, ale nie później niż 7 dni przed zajęciami laboratoryjnymi. 4 Grupy: Wtorek 14:30-17:30dr inż. Małgorzata Krawczyk Środa dr inż. Przemysław Gawroński Środa 14:30-17:30 dr inż. Krzysztof Malarz Środa dr inż. Maciej Wołoszyn

Ocena z laboratorium: Średnia arytmetyczna z aktywności i raportów. Aktywność: oceniana na podstawie wyników i źródeł przesłanych prowadzącemu pod koniec zajęć. Raporty: pełne, lecz możliwe krótkie opisy uzyskanych wyników. Aby raport kwalifikował się do zaliczenia (dt): musi zawierać poprawne wyniki Raport dobry – ma wyniki przedstawione w sposób czytelny i jasno opisany Bardzo dobry raport musi zawierać samodzielnie napisany zwięzły wstęp i wnioski. Raport należy przysłać prowadzącemu w terminie 14 dni (w semestrze zimowym 7 dni) od zakończenia zajęć. Raporty przysłane później nie będą czytane/oceniane.

Ocena z laboratorium: Student ma prawo do dwukrotnego poprawiania zajęć laboratoryjnych. Dwa dodatkowe zajęcia laboratoryjne. Na każdym z nich można poprawić jedną aktywność i jeden raport albo anulujemy każdemu studentowi dwie najgorsze oceny z aktywności / raportu

Egzamin: pisemny (test), 5 zadań do rozwiązania. Przystąpić mogą osoby z zaliczonymi obydwoma semestrami lab. Ocena: 1/3 średniej z zaliczeń + 2/3 wyniku testu Dla potrzeb egzaminu średnia z zaliczeń policzona będzie z górnych widełek dla danej oceny: Regulamin AGH: 91 – 100% bardzo dobry (5.0); 81 – 90% plus dobry (4.5); 71 – 80% dobry (4.0); 61 – 70% plus dostateczny (3.5); 50 – 60% dostateczny (3.0); Przykład: osoba z dwoma czwórkami rozwiązuje 2 zadania na 5 1/3  80% + 2/3  40% >50 % Wniosek: dobre zaliczenie bardzo pomaga zdać egzamin ( )/2 = (70%+100%)/2 = 85%

Zwolnienie z egzaminu: Student, którego średnia z zaliczeń laboratoryjnych będzie odpowiadała 4.5 (>80%) - może zostać zwolniony z egzaminu [średnia z zaliczeń zostaje wpisana wtedy jako wynik egzaminu]: Pary ocen uprawniających do zwolnienia z egzaminu: → →

Zajęcia 1: algorytm kolonii mrówek Zajęcia 2: symulowane wygrzewanie ( Środki przeszkód do zadania 2). Zajęcia 3: wariacyjne MC z algorytmem Metropolisa dla równania Poissona Zajęcia 4: schematy jawne i niejawne dla rrz Zajęcia 5: ekstrapolacja Richardsona: szacowanie błędów i automatyczny dobór kroku czasowego Zajęcia 6: problemy sztywne Zajęcia 7: niejawne metody RK Zajęcia 8: problem brzegowy 1D, metoda Numerowa Zajęcia 9: iteracja wielosiatkowa dla równania Laplace'a Zajęcia 10: metody relaksacyjne Zajęcia 11: przepływ potencjalnyalgorytm kolonii mróweksymulowane wygrzewanie Środki przeszkód do zadania 2).wariacyjne MC z algorytmem Metropolisa dla równania Poissonaschematy jawne i niejawne dla rrzekstrapolacja Richardsona: szacowanie błędów i automatyczny dobór kroku czasowegoproblemy sztywneniejawne metody RKproblem brzegowy 1D, metoda Numerowaiteracja wielosiatkowa dla równania Laplace'ametody relaksacyjneprzepływ potencjalny Obecny plan laboratorium: Zanim dojdziemy do równań różniczkowych – mniej twarde rachunki, być może mniej ważne – ale nie mniej ciekawe niż główny wątek wykładu... Zaczynamy od mrówek...

optymalizacja kombinatoryczna – dla zmiennej dyskretnej Przykład: najkrótsza sieć (kanalizacyjna, energetyczna, światłowodowa) dla miast powiatowych województwa małopolskiego:

Przykład: najkrótsza sieć (kanalizacyjna, energetyczna, światłowodowa) dla miast powiatowych województwa małopolskiego: 31 Województwo zakodowane w postaci grafu – poszukiwane najkrótsze drzewo spinające. optymalizacja kombinatoryczna – dla zmiennej dyskretnej

Rozwiązanie: Przykład: najkrótsza sieć (kanalizacyjna, energetyczna, światłowodowa) dla miast powiatowych województwa małopolskiego: 31 Województwo zakodowane w postaci grafu – poszukiwane najkrótsze drzewo spinające. optymalizacja kombinatoryczna – dla zmiennej dyskretnej

Przykład: najkrótsza sieć (kanalizacyjna, energetyczna, światłowodowa) dla miast powiatowych województwa małopolskiego: 31 Województwo zakodowane w postaci grafu – poszukiwane najkrótsze drzewo spinające. Problem równie łatwy jak regresja liniowa rozwiązanie dane przez algorytm zachłanny Kruskula : tworzymy las dodając po kolei najkrótsze krawędzie tak aby nie utworzyć pętli: dostaniemy najlepsze rozwiązanie a. zachłanny: kieruje się regułą maksymalnego zysku w najbliższym kroku (w szachach sukcesów nie odnosi) Rozwiązanie: optymalizacja kombinatoryczna – dla zmiennej dyskretnej

G T NS L B K M NT S W C Limanowa-Nowy Sącz 31

G T NS L B K M NT S W C Wadowice-Chrzanów 31

Myślenice-Kraków G T NS L B K M NT S W C

Bochnia-Limanowa C G T NS L B K M NT S W

Wadowice-Myślenice G T NS L B K M NT S W C

B Nowy Sącz-Gorlice G T NS L K M NT S W C

G T NS L B K M NT S W C Kraków-Bochnia 31 bezpośrednie połączenie CK już się nie przyda

M-NT B-T G T NS L B K M NT S W C

Rozwiązanie: Algorytm zachłanny – skuteczny więc - problem najkrótszego drzewa spinającego jest łatwy. Złożoność dla najlepszej implementacji O(|V|log|V|), V – liczba wierzchołków

0) Oznacz wszystkie wierzchołki kolorem białym. Przypisz wierzchołkowi startowemu (A) wagę 0 1)Znajdź i zaczerń biały wierzchołek v o najmniejszej wadze 2)Dla każdego B - białego wierzchołka przyległego do v: jeśli waga B > waga v + waga krawędzi (v,B) lub jeśli waga B nie została wcześniej zdefiniowana waga B:=waga v + waga krawędzi (v,B) oraz ustaw etykietę B na v 3)Jeśli są jeszcze białe wierzchołki idź do 1 (złożoność V 2 ) Problem najkrótszej drogi z wierzchołka A do wszystkich pozostałych w grafie (przeszukiwanie grafu wszerz z oznaczaniem wierzchołków) Każda krawędź ma wagę (długość) – ustalone i definiujące problem Wierzchołkom przyznajemy: Wagi: najkrótsza znaleziona odległość z wierzchołka A Koloru: biały oznacza, że waga tymczasowa, czarny, że ustalona (krócej nie będzie) Etykiety: którędy do A Wagi, kolory i etykiety wierzchołków zmieniają się w czasie działania algorytmu

1) Gorlice malujemy na czarno, miastom sąsiednim nadajemy wagi – odległości od Gorlic i indeks G. 2) Szukamy białego miasta o najmniejszej wadze i malujemy je na czarno (Nowy Sącz), wagę czarnego miasta ustalamy (mniejszej nie będzie) 3) sąsiedzi Nowego Sącza otrzymują próbne wagi i etykiety przykład: najkrótsze trasy z Gorlic do pozostałych miast G T NS L B K M NT S W C G 45 G G T NS L B K M NT S W C G 45 G G T NS L B K M NT S W C G 45 G 93 NS 59 NS

4) Najmniejszą wagę ma teraz Tarnów, 5) Następnie Limanowa G T NS L B K M NT S W C G 45 G 93 NS 59 NS 89 T 91 L ? 101 L do Bochni z Gorlic bliżej przez Tarnów niż przez Limanową 6) Bochnia do Myślenic jednak bliżej przez Limanową 7) Po Nowy Targu – Myślenice, z nich bliżej do Wadowic G T NS L B K M NT S W C G 45 G 93 NS 59 NS 89 T 101 L 131B 131B? G T NS L B K M NT S W C G 45 G 93 NS 59 NS 89 T

ostatecznie Np.: z Chrzanowa do Gorlic trafimy po etykietach Zamiast stosować algorytmu można zrobić model z nitek i koralików, potem naciągnąć koraliki oznaczające Chrzanów i Gorlice

Widzieliśmy, że dwa ważne problemy mają efektywne, deterministyczne, dokładne rozwiązanie Niektóre problemy są jednak obiektywnie trudne (nie istnieje algorytm o złożoności wielomianowej): wybór najkrótszej zamkniętej trasy przez wszystkie miasta (problem komiwojażera): -algorytm deterministyczny rozwiązujący problem dokładny z wielomianową złożonością nie istnieje, gdy problem o dużym rozmiarze należy rozwiązać – stosuje się podejścia heurystyczne lub Monte Carlo Algorytm zachłanny dla komiwojażera: ruszaj do najbliższego miasta, którego jeszcze nie odwiedziłeś. - rozsądny: wyeliminuje przynajmniej długie przejazdy bez zatrzymywania się Odwiedzić wszystkie miasta w cyklu zamkniętym w takiej kolejności aby pokonana trasa była najkrótsza. Klasyczny problem testowy dla algorytmów optymalizacyjnych

Rozwiązanie zachłanne: start ze Szczecina: Najlepsze PL: 46 miast Zachłanne rozwiązanie nie jest optymalne (choć nie najgorsze) Szukana jest permutacja - przejrzeć wszystkie N! - niewykonalne 46!= najlepszy algorytm dokładny: złożoność rzędu 2 N –lepiej niż n!, ale wciąż zbyt wiele 2 46 = Gdy problem zbyt trudny by go rozwiązać dokładnie przy pomocy algorytmu deterministycznego – można zadowolić się przybliżonym (heurystycznym) lub próbować je poprawić przy pomocy MC

Problem obiektywnie trudny = gdy najlepszy deterministyczny algorytm nie zakończy swojego działania w skończonym czasie  klasy złożoności obliczeniowej Problemy NP P NP-zupełne Problemy decyzyjne: z odpowiedzią tak/nie Schemat obowiązuje pod warunkiem że P  NP NP – można sprawdzić odpowiedź w czasie wielomianowym zadanie rozkładu na czynniki pierwsze liczby nieznany jest wielomianowy algorytm (na komputer klasyczny) ale jeśli ktoś nam poda odpowiedź  szybko sprawdzimy. P – problemy, w których istnieje algorytm o wielomianowej złożoności (nie ma dowodu, że P  NP.) NP – zupełne (najtrudniejsze) – można do nich sprowadzić dowolny problem z NP z nadkładem wielomianowym. Jeśli jeden z problemów NP.-zupełnych zostanie rozwiązany w czasie wielomianowym, to P=NP.

Faktoryzacja jest na pewno NP, wydaje się, że nie jest P i że nie jest NP-zupełna. [„Wydaje się, że nie P” na tyle bardzo, że protokół klucza publicznego RSA oparty na niewykonalności faktoryzacji w krótkim czasie] NP.-zupełne: problem spełnialności binarnego układu logicznego, problem komiwojażera, izomorfizmu grafów, kliki, kolorowania wierzchołków grafu i inne. Problemy NP P NP-zupełne F W praktyce problemy, które nie są P – stają się niemożliwe do dokładnego rozwiązania dla dużych rozmiarów zadania

najkrótsza trasa z A do B – problem łatwy (bo wielomianowy algorytm znany) najkrótsza trasa po wszystkich miastach – problem trudny (bo algorytm wielomianowy nieznany) Inna znana para pozornie podobnych problemów o skrajnie różnej złożoności obliczeniowej: problem istnienia cyklu Eulera i cyklu Hamiltona Cykl (zamknięta ścieżka) Eulera Zadanie: zaplanować trasę spaceru: przejść po każdym moście dokładnie raz i wrócić do punktu wyjścia (odwiedź wszystkie krawędzie grafu dokładnie raz)

Cykl Eulera w grafie istnieje wtedy i tylko wtedy gdy wszystkie jego wierzchołki są stopnia parzystego przy każdym przejściu przez wierzchołek używamy 2 krawędzi zaczynamy spacer od dowolnego wierzchołka usuwając z grafu przebyte krawędzie, wrócimy do wierzchołka startowego bez rozspójniania grafu stopień wierzchołka = liczba przyległych krawędzi Jeśli istnieje to parzyste stopnie Jeśli parzyste stopnie to można wskazać cykl E

Cykl Hamiltona odwiedzić wszystkie wierzchołki bez powtarzania przemarszu przez żadną z krawędzi wracając do punktu wyjścia (nie trzeba korzystać z każdej krawędzi, co wcale nie ułatwia zadania, bo problem istnienia CH – np.-zupełny ) graf planarny (rzut środkowy dwunastościanu)

cykl Hamiltona dla dwunastościanu

Jeśli wiemy, że problem NP-zupełny, a rozmiar problemu duży – poszukajmy rozwiązania przybliżonego Metoda dokładna nie zadziała w skończonym czasie. Jeśli nie wiemy jak szukać- poszukajmy losowo. Lecz: Całkiem ślepe przeszukiwanie losowe nie różni się od przeglądania wszystkich rozwiązań: prawdopodobieństwo znalezienia najlepszego jest żadne, a i rozsądnego znikome. Problem komiwojażera dla 20 miast w pd-wsch Polsce Wszystkich permutacji jest 20!= Najlepsza trasa znaleziona po prób (długość [j.umowne] ) Widać, że kiepska: 1) skrzyżowane trasy 2) krócej będzie Tarnów-Nowy Sącz-Kraków Katowice

Najlepsza trasa znaleziona po losowaniach (długość [j.umowne] ) Algorytm zachłanny start z Częstochowy Wniosek: jeśli przeszukiwanie MC ma być skuteczne – nie może być całkiem losowe

Optymalizacja wg podejścia „kolonii mrówek” Mrówki zostawiają na swojej trasie szlak zapachowy (feromonowy). Pozostałe mrówki starają się go śledzić. Ręcznie położony szlak zapachowy Ślad zapachowy: 1) wyznacza trasę między mrowiskiem a źródłem pożywienia 2) pozwala na jej optymalne wytyczenie 3) umożliwia adaptację do zmieniającego się środowiska źródło rysunków: Eberhart,Shi,Kennedy: Swarm Intelligence Dorigo M, Gambardella LM BIOSYSTEMS

Dodatnie sprzężenie zwrotne (najsilniejszy ślad na najkrótszej drodze). źródło rysunków: Eberhart,Shi,Kennedy: Swarm Intelligence

wstawiona przeszkoda ?? losowo na prawo/lewo Na krótszej drodze szlak feromonowy szybciej domknięty Dodatnie sprzężenie zwrotne Szlak zapachowy i adaptacja trasy dla zmienionego otoczenia Dorigo M, Gambardella LM BIOSYSTEMS

Algorytm kolonii mrówek dla problemu komiwojażera 1W metodzie: grupa przemieszczających się wędrowców symulujących zachowanie mrówek 2Preferowany szlak o największym nasileniu feromonu 3Wzrost feromonu na najkrótszej trasie 4Komunikacja między mrówkami przez szlak feromonowy 5Strategia najbliższego sąsiada włączona w algorytm (mrówki kierują się nie tylko feromonem, ale również starają się dostać do miast raczej bliżej niż dalej położonych) Założenia: Sztuczne mrówki potrafią więcej niż prawdziwe: (1) Pamiętają swoją trasę (2)Ustalają, która przeszła najkrótszą drogę

Miasta połączone w graf pełny: krawędź między wierzchołkami i oraz j opisana (1) długością d(i,j) stała, definiuje problem (2) natężeniem feromonu f(i,j) zmienia się w trakcie nauki Z długości (stałej) i feromonu (zmiennego) budujemy funkcję preferowanego ruchu: t(i,j) = f(i,j) / [d(i,j)]  im większe t(i,j) tym większe będzie pstwo przejścia z i do j  – parametr [znaczenie feromonu/długości krawędzi]  =0 tylko feromon, duże  tylko długość optymalne:  =2

Mrówki wykonują wiele obiegów przed każdym z nich są losowo rozmieszczane po miastach przykład:

Losujemy q z przedziału (0,1): jeśli q q 0 [eksploracja] miasto j jest losowane z rozkładem, w którym prawdopodobieństwo jest proporcjonalne do t(i,j) Wybór mrówki: jest w mieście i do którego miasta iść? i Tu nie pójdzie bo już była Każda krawędź opisana przez t(i,j) Parametr q 0 z przedziału (0,1). q 0 – jeśli wysokie mrówki bardziej skłonne korzystać z doświadczenia społeczności – jeśli niskie mrówki chętniej eksperymentują z nowymi trasami ? optymalne q0=0.9 mrówka kieruje się doświadczeniem zdobytym przez mrowisko, nawet gdy wybór miasta następuje przy użyciu generatora liczb losowych

Odkładanie feromonu na krawędziach : globalne i lokalne 1)Globalne: Ma preferować najkrótszy szlak. Następuje na całej trasie gdy mrówki wykonają pełen obieg i porównają długości swoich tras. f(i,j):=(1-  )f(i,j)+  dla wszystkich krawędzi (i,j) na najkrótszej trasie,  – długość najkrótszej trasy  – parametr z (0,1)  ostatni przebieg ignorowany  =1ignorowane doświadczenie z poprzednich przebiegów zazwyczaj optymalne około  =0.1 Najkrótsza w jednym obiegu: czerwona Feromon na każdej z krawędzi należącej do najkrótszej trasy zostaje zmieniony wg.

Odkładanie feromonu na krawędziach : globalne i lokalne 2)Lokalne (zniechęcające, wykonywane po każdym kroku) Ma zniechęcać mrówki w przed poruszaniem się po dokładnie tej samej trasie (w tym samym obiegu) tym samym stymulując pozostałe do poszukiwań. Następuje na krawędzi (i,j) po przejściu mrówki z i do j. Feromon na krawędzi (i,j): f(i,j):=(1-  )f(i,j)+  p p – parametr zniechęcający (p=ML, M-liczba miast, L-długość trasy wg. heurystyki najbliższego sąsiada f(i,j):=(1-  )f(i,j)+  1) Globalne (zachęcające, wykonywane po każdym obiegu)  – długość najkrótszej trasy

Algorytm kolonii mrówek dla problemu komiwojażera wprowadzamy problem – graf pełny o N wierzchołkach. z długościami krawędzi d(i,j). Na krawędzi (i,j) ustawiamy początkowy poziom feromonu f(i,j)=1/[d(i,j)]  rozmieszczamy m mrówek w losowo wybranych miastach każda z mrówek przechodzi z miasta i do miasta j, którego jeszcze nie odwiedziła z pstwem q 0 miasto j jest wybierane tak aby t(i,j) max z pstwem 1-q 0 miasto wybierane jest losowo z rozkładem danym funkcją preferencji. przy przejściu mrówka odkłada feromon lokalnie (zniechęcająco) na krawędzi (i,j) powtarzamy N razy każda z mrówek kończy obieg po pełnym obiegu mrówki porównują swoje trasy. feromon jest odkładany globalnie po najkrótszej trasie (zachęcająco na wszystkich krawędziach trasy) powtarzamy dopóki długość trasy ulega skróceniu

Dobór parametru q 0 okres nauki (rozkład prawdopodobieństwa zmienia się z czasem) Eksploracja przydaje się żeby przyspieszyć zbieżność. Losowe tylko rozmieszczanie mrówek przed każdym obiegiem Wyniki

10 iteracja25 iteracja500 iteracja 20 miast PL południowo-wschodnia trasa optymalna – na niebiesko czerwone – krawędzie najbardziej preferowane [ max t(i,j) ] Społeczność uczy się najkrótszej trasy cd: Tylko 3 najbardziej preferowane krawędzie należą do trasy optymalnej. Przypadkowe zagęszczenie w okolicach Lublina i Świdnika Tylko 2 najbardziej preferowane krawędzie nie należą do trasy optymalnej: Przemyśl-Rzeszów, Katowice-Częstochowa Wszystkie najbardziej preferowane należą do trasy optymalnej

Optymalna liczba mrówek Okres nauki

Bartłomiej Urbaniec: 20 krawędzi o największej funkcji preferencji w kolejnych iteracjach 20 najczęściej używanych krawędzi parametry  =2, q0=0.2, m=10

Trasy mrówek w ostatniej iteracji (Bartłomiej Urbaniec)

Bartłomiej Urbaniec: Zastosowanie algorytmu dla problemu najkrótszej drogi (do problemu rozwiązywanego przez prawdziwe mrowisko – który stanowił inspirację dla stworzenia algorytmu) 1)wprowadzamy prostokątna siatkę punktów 2)punkty nie są łączone w graf pełny łączymy krawędziami tylko najbliższych sąsiadów punkt czerwony przeszkoda długość czerwonych krawędzi ustawiany nieskończona pozostałe d(i,j)=1 3) mrówka wybiera spośród (zazwyczaj) 4 możliwości ruchu 4) pozwalamy jej wracać do punktów już odwiedzonych 5) nakładamy ograniczenie na maksymalną liczbę kroków

1 obieg

Przewodnik do przeszukiwania losowego - inspiracje przyrodnicze Przyrodnicze (naturalne) algorytmy optymalizacji MC 1)teoria doboru naturalnego – algorytmy genetycze 2)wzrost i hodowla kryształów, metalurgia – algorytm symulowanego wygrzewania wygląd owada zoptymalizowany na drodze przypadkowego krzyżowania genów oraz mutacji z mechanizmem selekcji naturalnej

Stabilne formy węgla: każda – lokalne minimum energii +6e orbitale walencyjne 2p x,2p y,2p z -węgiel -tworzy kierunkowe wiązania kowalencyjne grafit diament E wiązania (funkcja struktury układu)=E wiązania (10 23 położeń atomów) E nieobsadzone miejsca na orbitalach atom węgla: grafitdiament

metoda Czochralskiego hodowli kryształów zarodek krystaliczny roztopiony materiał ciut powyżej temperatury topnienia Wzrost kryształów jako proces optymalizacji niska T wysoka T E wiązania (funkcja struktury układu)=E wiązania (10 23 położeń atomów)

metoda Czochralskiego wzrostu kryształów zarodek roztopiony materiał nieco powyżej temperatury topnienia zarodek wolno wyciągany roztopiony materiał stygnie i powoli krystalizuje jeśli odpowiednio wolno schładzany materiał krystalizuje w idealnej strukturze (o optymalnej energii wiązania) jeśli zarodek zbyt szybko wyciągnięty: kryształ będzie złej jakości – defekty [układ osiąga najbliższe minimum lokalne] Wzrost kryształów jako proces optymalizacji E wiązania ( funkcja struktury układu)=E wiązania ( położeń atomów)

Struktura krystaliczna i defekty: Defekty powodują naprężenia wewnętrzne. Kryształ z defektami jest twardy. przywrócenie idealnej struktury: wymaga pokonania bariery energetycznej dyslokacja krawędziowa położenie międzywęzłowe wakansja położenie atomu energia kryształu dla usunięcia defektów (usunięcia naprężeń i zmiany twardości metalu) kryształ nagrzewa się do wysokiej temperatury, potem powoli schładza. Bariera energetyczna pokonana dzięki energii dostarczonej w formie ciepła. [proces odwrotny do hartowania stali]

Symulowane wygrzewanie (simulated annealing) Kirkpatrick, Science praca wykonana w IBM przy optymalizacji fizycznego projektowania układów scalonych) Pomysł: optymalizacja funkcji wielu zmiennych naśladująca proces usuwania defektów z kryształu. usuwanie defektów: optymalizacja energii wiązania w funkcji położeń wielkiej liczby atomów. Idealne optimum osiągane, gdy układ powoli schładzany (tak aby zachowana chwilowo równowaga termiczna). Metoda z symulacji mechaniki statystycznej - układu o bardzo wielu stopniach swobody w równowadze termicznej z otoczeniem – algorytm Metropolisa. Kirkpatrick –algorytm Metropolisa do optymalizacji złożonych problemów

kontakt termiczny Zachowanie układów o dużej liczbie stopni swobody w równowadze termicznej ze zbiornikiem ciepła kilka informacji o równowadze termodynamicznej i temperaturze – przyda się dla również dla symulacji transportu ciepła (źródło: F. Reiff Mechanika Statystyczna)

układ otoczenie kontakt termiczny EoEo EuEu Zachowanie układów o dużej liczbie stopni swobody w równowadze termicznej ze zbiornikiem ciepła

układ otoczenie kontakt termiczny EoEo EuEu całość izolowana = układ zamknięty

układ otoczenie kontakt termiczny EoEo EuEu całość izolowana = układ zamknięty E c =E u +E o (zachowana)

układ otoczenie kontakt termiczny EoEo EuEu całość izolowana = układ zamknięty E c =E u +E o (zachowana) E c – niezależna od czasu

układ otoczenie kontakt termiczny EoEo EuEu za F. Reiff Mechanika Statystyczna całość izolowana = układ zamknięty E c =E u +E o (zachowana) E c – niezależna od czasu ale E c =E u (t)+E o (t) – układy wymieniają energię wymiana energii = w stanie równowagi [równe temperatury zbiorników] fluktuacje (uśredniające się do zera) = poza równowagą [różne temperatury] ukierunkowany transfer ciepła dla wyrównania temperatur (doprowadzenia do równowagi)

układ otoczenie kontakt termiczny EoEo EuEu za F. Reiff Mechanika Statystyczna całość izolowana = układ zamknięty E c =E u +E o (zachowana) dążenie do równowagi zimny gorący przekaz energii między układem „gorącym” i „zimnym” aż do osiągnięcia równowagi gorącyzimny (np. blok lodu) (np. garnek z wrzątkiem) stany mikroskopowe gorącego i zimnego zbiornika

równowaga (jedna z definicji): stan najbardziej prawdopodobny P(E u )=C  (E u )  ’(E c -E u ) pstwo, że układ zawiera energię E u (że podział energii E u,E o =E c -E u ) (inaczej: że układ w takim stanie makroskopowym, że u ma energię E u ) stan mikroskopowy o minimalnej energii – jeden stanów mikro o większej energii – znacznie więcej  (E) liczba stanów mikroskopowych układu (stan mikro – położenia i prędkości cząsteczek), dla której energia zgromadzona w układzie wynosi E mniejszy podukład większy założenie: każdy stan mikroskopowy jest równie prawdopodobny wtedy: pstwo, że realizowany dany stan makroskopowy = proporcjonalne do liczby stanów mikro odpowiadających danemu stanowi makro  (E) – funkcja silnie rosnąca z E (oraz z rozmiarem układu)

P(E u )=C  (E u )  ’(E c -E u ) transfer energii (w formie ciepła) między u a o aż do osiągnięcia równowagi stan równowagi: maksymalne prawdopodobieństwo. Możliwe fluktuacje wokół wartości najbardziej prawdopodobnej. E u  E  (E) – funkcja silnie rosnąca z E (oraz z rozmiarem układu)

P(E u )=C  (E u )  ’(E c -E u ) transfer energii (w formie ciepła) między u a o aż do osiągnięcia równowagi stan równowagi: maksymalne prawdopodobieństwo. Możliwe fluktuacje wokół wartości najbardziej prawdopodobnej. jeśli P max to również log P max: poniżej na tej folii log = ln E o =E c - E u w równowadze: E u w równowadze (stan najbardziej prawdopodobny): (def. temperatury) transfer ciepła – napędzany gradientem T i dążący do jej wyrównania  E  (E) – funkcja silnie rosnąca z E (oraz z rozmiarem układu)

w równowadze: układ bardzo mały w porównaniu z otoczeniem, z którym znajduje się w równowadze termicznej pytanie: jakie jest prawdopodobieństwo, że układ ma energię E u : P(E u ) ? E u <<E c,  <<  ’ Taylor: czynnik Boltzmanna inne

niska T- układ będzie przechowywał minimalną wartość energii jeśli T bliskie zeru: znajdziemy go tylko w stanie o najmniejszej energii granica wysokiego T: układ może znaleźć się z równym prawdopodobieństwem przechowywać dowolnie wysoką energię znalezienie układu w stanie o dużej energii jest prawdopodobne

Algorytm Metropolisa – symulacja układu, który fluktuuje termicznie w równowadze z otoczeniem (zbiornikiem ciepła) kolejne kroki czasowe – zmiany stanu mikroskopowego układu układ ma podlegać rozkładowi Boltzmana E N exp(-E/10) exp(-E) exp(-E*10)

Układ opisany zbiorem zmiennych X=(x 1,x 2,x 3,...,x N ) – punkt w wielowymiarowej przestrzeni chcemy zasymulować fluktuacje termiczne zmiennych, X 1  X 2  X 3  X 4  X 5  tak, żeby układ był w „równowadze” termicznej z otoczeniem o temperaturze T. prawdopodobieństwo tego, że na „ścieżce” fluktuacji pojawi się stan X ma być dane przez zadany z góry rozkład w(X), u nas: Boltzmana w(X)= Cexp(-E(X)/kT) Algorytm Metropolisa za S.Kooninem

układ jest w stanie X. Do jakiego stanu przejdzie? wybieramy losowo stan próbny X p z pewnego otoczenia stanu X X p :=X+(  x 1,  x 2,...,  x n ) –  x i losowane z przedziału [-d,d] z rozkładem równomiernym możliwości: 1) X p mniej prawdopodobne liczymy r=w(X p )/w(X) jeśli r  1 [ w(X p )  w(X) ] – akceptujemy stan próbny X:=X p jeśli r<1 [w(X p )<w(X) ] akceptujemy punkt próbny z prawdopodobieństwem r losujemy liczbę losową q z przedziału [0,1] jeśli q < r – akceptujemy stan próbny X:=X p jeśli q  r – odrzucamy Algorytm Metropolisa zawsze akceptujemy bardziej prawdopodobny punkt punkt mniej prawdopodobny akceptujemy z pstwem w(X p )/w(X) X XpXp w(X) [rozkład pstwa] X XpXp w(X) X XpXp 2) X p bardziej prawdopodobne

punkty na ścieżce wygenerowanej algorytmem M. istotnie podlegają rozkładowi pstwa w(X): wyobraźmy sobie, że mamy wielu wędrowców poruszających się zgodnie z algorytmem Metropolisa N(X) – aktualna liczba wędrowców w punkcie X zmiana liczby wędrowców w Y w wyniku migracji z i do punktu X  = N(X)P(X  Y) - N(Y)P(Y  X) XY w warunkach równowagi (bez zmian w średnim rozkładzie wędrowców N r (X) ) równowaga osiągana po odpowiednio dużej liczbie kroków algorytmu uwagę koncentrujemy na 2 stanach układu

N= wędrowców. rozkład w(x)=C exp(-50x 2 ) kropki: liczba wędrowców w przedziale x-dx/2, x+dx/2 dx=0.01 równowaga w schemacie Metropolisa start: rozkład równomierny niebieska linia łączy punkty dane

pozostaje pokazać, że N r (X) jest proporcjonalne do w(X) pstwo podjęcia próby (wylosowania Y jako p.próbnego) pstwo zaakceptowania próby losujemy punkty próbne z rozkładem równomiernym mamy 2 przypadki: w(X)>w(Y) : A(Y  X) = 1 A(X  Y) =w(Y)/w(X) w(X)<w(Y) : A(X  Y) = 1 A(Y  X) =w(X)/w(Y) Algorytm Metropolisa co chcieliśmy zobaczyć

Algorytm symulowanego wyżarzania dla optymalizacji E(P) Wystartuj w punkcie P, ustaw wysoką „temperaturę” T Przesuń P losowo P’=P+dP Nowy punkt akceptowany (P:=P’) zawsze gdy lepszy E(P’) E(P) –prawdopodobieństwo zaakceptowania punktu gorszego P’ dane przez np. exp(-(E(P’)-E(P)) / kT) (rozkład Boltzmana) zmniejszyć T Koniec jeśli T=0 Losujemy liczbę losową q wg rozkładu równomiernego, jeśli q < exp (-(E(P’)-E(P)) / kT) P:=P’ Im niższe T, tym mniej chętnie akceptujemy przesunięcia w górę na skali energii Kirkpatrick – symulowane wygrzewanie w[E(X)]=Cexp(-E(X)/kT) alg. Metropolisa z modyfikacją rozkładu pstwa (T) w miarę działania algorytmu

Przykład 1: f(x)=sin(x)+x 2 /1000 w każdej T wykonywana pewna liczba losowań (przesunięcia z przedziału [-2,2]) Wysokie T – punkt P wędruje między minimami Niskie T – P uwięziony wokół jednego minimum Sposób zmiany temperatury: T=0.001 i 2 gdzie i spada od 100 do 1 W wysokiej T przeszukiwany szeroki zakres zmiennych. W niższej – algorytm bada dokładnie minimum, które może być globalne, jeśli schładzanie zostało odpowiednio wykonane. Techniczna uwaga: gdy zmieniamy T: najlepiej startować od najlepszego rozwiązania uzyskanego do tej pory.

T>5T<5 Zastosowanie S.A. Dla funkcji testowej de Jonga: Położenia P w kolejnych iteracjach: T<1 Przykład 2.

ścieżka (25 kroków) dla T=1 ścieżka (50 kroków) dla T=2 ścieżka (100 kroków) dla T=4 zawężanie zakresu przeszukiwań z temperaturą: generowane ścieżki

Przykład 3: Problem komiwojażera Generowanie P’ z P: P = [ ] Losujemy pierwsze i ostatnie miasto P’ = [ ] Losowo zmieniamy kolejność Sposób zmiany T długość P Najlepsze rozwiązanie Strategia schładzania a wynik końcowy zbyt szybkie schłodzenie [do najbliższego minimum lokalnego]

Przykład 4: klaster jonowy najprostsze przybliżenie: naładowane kule bilardowe (nie mogą się przenikać) r d dodatnio naładowane – współrzędne r 1,r 2,... ujemnie naładowane – współrzędne d 1,d 2,...

Przykład 4: klaster jonowy najprostsze przybliżenie: naładowane kule bilardowe (nie mogą się przenikać) r d dodatnio naładowane – współrzędne r 1,r 2,... ujemnie naładowane – współrzędne d 1,d 2,... potencjał oddziaływania: załóżmy że promienie jonowe są równe 1 oddziaływanie jonów o różnym znaku o tym samym znaku

r d fcja 20 zmiennych Weźmy 5 jonów dodatnich, pięc ujemnych, dwa wymiary konfiguracje z symulacji, strzałki pokazują wyniki dla obniżanej temperatury

ominięte minima lokalne minimum globalne

Przykład 5: najkrótsza droga na płaszczyźnie (kontinuum, nie graf) start meta wzniesienia: utrudnienia na trasie można je pokonać ale to kosztuje y x przeszkody środki przeszkód V(x,y)

poruszamy się po odcinkach prostych: liczba zakrętów = parametr rachunku funkcja kosztu: długość z definicji: całka z 1 wzdłuż trasy: całka liczona numerycznie rozwiązanie próbne = przesunięcie każdego z zakrętów w zakresie [-.5,.5]* T (zależna od T) schładzanie paraboliczne

wyniki: jeden zakręt

3 zakręty 2 zakręty !

algorytm Metropolisa położenia „wędrowca” jest zmienną losową podległą zadanemu rozkładowi w(x) Generacja liczb losowych o zadanym (ciągłym) rozkładzie prawdopodobieństwa generacja liczb losowych o zadanym rozkładzie przydatne dla symulacji MC, obliczania całek, rozwiązywanie równań różniczkowych, itd.

obliczenia całek MC 1)hit or miss generator o rozkładzie równomiernym f(x) losujemy x losujemy y odchylenie standardowe (cecha w) błąd wyznaczenia średniej: szacowanie błędu

obliczenia całek MC 1)hit or miss generator o rozkładzie równomiernym N (jedna sekwencja) wartość dokładna [1-exp(-1)] wartości plus minus   1/sqrt(N)

obliczenia całek MC 2) Metoda szacowania średniej generator o rozkładzie równomiernym f(x) losujemy x hit or miss średnia  1/sqrt(N) hom średnia

obliczenia całek MC 3)użycie niejednorodnego rozkładu pstwa g(x)  0 taka aby g(x) mogło być gęstością prawdopodobieństwa wtedy: I = g(x) dla zmiennej losowej x opisanej rozkładem g(x) jeśli g(x) tak wybrana, aby h(x) słabo zmienna w przedziale (a,b) - mamy szanse na niski błąd uwaga: jeśli h(x i )=const – błąd będzie 0 / N

Przykład liczenia całek z użyciem a. Metropolisa h(x)=sqrt(5*pi) cos(x)/C liczba kroków a.Metropolisa start – wędrowcy rozmieszczeni wg rozkładu równomiernego z przedziału [-5,5] czerwona kreska: = niebieska kreska: dokładna wartość całki (1.1355) -5 5 N=1000 wędrowców : amplituda fluktuacji maleje z N C (gdzie C bliskie jedynce)