Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Sztuczne sieci neuronowe w doświadczeniach nad fizyką spinową w CERN Beata Pawlukiewicz Seminarium Fizyki Wysokich Energii Warszawa 05.10.2007 Plan seminarium:

Podobne prezentacje


Prezentacja na temat: "Sztuczne sieci neuronowe w doświadczeniach nad fizyką spinową w CERN Beata Pawlukiewicz Seminarium Fizyki Wysokich Energii Warszawa 05.10.2007 Plan seminarium:"— Zapis prezentacji:

1 Sztuczne sieci neuronowe w doświadczeniach nad fizyką spinową w CERN Beata Pawlukiewicz Seminarium Fizyki Wysokich Energii Warszawa Plan seminarium: Eksperymenty SMC i COMPASS Detekcja procesów fuzji fotonowo-gluonowej Wyniki analiz SMC/COMPASS, w których użyto sieci neuronowych Sieci neuronowe Budowa sieci Trening sieci Przykład klasyfikacji w doświadczeniach SMC i COMPASS Przykład aproksymacji w doświadczeniu COMPASS

2 B. Pawlukiewicz2 slajdy z prezentacji G. Brony,

3 B. Pawlukiewicz3 z Monte-Carlo

4 B. Pawlukiewicz4 slajdy z prezentacji G. Brony, G/G w kanale mezonów powabnych z Monte-Carlo

5 B. Pawlukiewicz5 SMC, high p T (Q 2 >1 GeV 2 ), Wyniki otrzymane przy użyciu sieci neuronowych COMPASS w kanale mezonów powabnych, Phys.Rev.D70:012002,2004 praca doktorska G. Brona

6 B. Pawlukiewicz6 Sieci neuronowe – co to jest?

7 B. Pawlukiewicz7 Uproszczony model mózgu - zespół powiązanych ze sobą komórek równolegle przetwarzających informacje Neuron: oblicza sumę ważoną sygnałów wejściowych zwraca odpowiedź w postaci pojedynczego sygnału przesyła odpowiedź do kolejnych elementów Neurony tworzą warstwy Sztuczne sieci neuronowe w1w1 w2w2 w3w3 NEURON

8 B. Pawlukiewicz8 Pojedynczy neuron liniowynieliniowy w1w1 w2w2 x1x1 x2x2 xnxn w0w0 y f( ) wnwn odpowiedź neuronu pobudzenie neuronu wektor wejściowy funkcja aktywacji wektor wag 1 E Q 2 y liczby

9 B. Pawlukiewicz9 Nieliniowe funkcje aktywacji dyskretne (signum, skok jednostkowy...) ciągłe: każda funkcja ograniczona, monotoniczna, niewielomianowa – sigmoidalna (prosta postać pochodnej!) f()

10 B. Pawlukiewicz10 w1w1 w2w2 x1x1 x2x2 xnxn w0w0 y wnwn odpowiedź sieci y = (n-1)-wymiarowa hiperpłaszczyzna dzieli przestrzeń na dwie podprzestrzenie f( ) Neuron dyskretny pobudzenie neuronu

11 B. Pawlukiewicz11 Znaczenie dodatkowej wagi neuron dyskretny x1x1 y x2x2 c=0 c= x2x2 w2w2 w1w1 1 W0W0 x1x1...

12 B. Pawlukiewicz12 Wielowarstwowa sieć neuronów nieliniowych MLP (multi-layer perceptron) f f f f f f y x1x1 xnxn warstwa wejściowa warstwy ukryte warstwa wyjściowa w 11 w 1n w 10 w ji

13 B. Pawlukiewicz13 Dowolny podział przestrzeni przy użyciu neuronów dyskretnych

14 B. Pawlukiewicz14 Trening sieci neuronowej z nauczycielem – znamy pożądaną odpowiedź sieci dla danych wejściowych (np. z symulacji Monte Carlo) cel uczenia: otrzymanie prawidłowych odpowiedzi dla zbioru, który nie był wykorzystywany w procesie uczenia (GENERALIZACJA) metoda: minimalizacja różnicy pomiędzy oczekiwanymi a otrzymanymi odpowiedziami sieci za pomocą iteracyjnego procesu adaptacji wag

15 B. Pawlukiewicz15 Trening sieci z nauczycielem. Pierwsze kroki. przygotowanie danych wejściowych ustalona architektura sieci losowanie początkowych wag w

16 B. Pawlukiewicz16 podział wektorów wejściowych i pożądanych odpowiedzi na podzbiory: uczący i testowy Przygotowanie danych wejściowych przygotowanie danych: –przeskalowanie do takiego zakresu, żeby wypadkowe pobudzenie neuronu pokrywało się z zakresem, w którym pochodna funkcji aktywacji jest istotnie różna od zera –eliminacja zbędnych zmiennych –wygładzenie rozkładów szybkozmiennych f()

17 B. Pawlukiewicz17 Trening sieci z nauczycielem miara błędu sieci: Q spełnia STOP? KONIEC poprawa wag tak nie tak nie algorytm rozbudowy poprawa architektury

18 B. Pawlukiewicz18 wagi stają się stabilne błąd sieci dla zbioru uczącego przestaje maleć błąd sieci dla zbioru testowego zaczyna rosnąć w dobrych warunkach statystycznych => oba błędy przestają maleć Warunek zatrzymania uczenia zbiór uczący zbiór testowy liczba iteracji błąd sieci en.wikipedia.org

19 B. Pawlukiewicz19 Minimalizacja funkcji błędu szukamy takiego wektora w, dla którego Q(w) osiąga globalne minimum używamy metod gradientowych zmiana j-tej wagi w kroku (i+1) proporcjonalna do składowej gradientu: błąd j-tego neuronu z warstwy wyjściowej: a błąd neuronu z warstwy ukrytej?

20 B. Pawlukiewicz20 Algorytm wstecznej propagacji błędu błąd m-tego neuronu warstwy ukrytej: suma po wszystkich wyjściach neuronu ukrytego idea: błąd propaguje się od warstwy ostatniej do pierwszej wystarczy wiedza o gradiencie dla warstwy późniejszej f f f f f f y x1x1 xnxn 11 1

21 B. Pawlukiewicz21 Przykładowa powierzchnia błędu prezentacja R. Suleja, seminarium IPJ, 2005

22 B. Pawlukiewicz22 Szukanie minimum globalnego funkcji błędu – rożne algorytmy gradientowe prezentacja R. Suleja, seminarium IPJ, 2005

23 B. Pawlukiewicz23 Wady i zalety sieci neuronowej Zalety: pozwala rozwiązywać problemy bez znajomości analitycznej zależności między danymi wejściowymi a oczekiwanymi wyjściami skuteczna w rozwiązywaniu problemów nieseparowalnych zdolność generalizacji różnorodność zastosowań: –rozpoznawanie pisma, mowy, analizy finansowe rynku... Wady: brak dowodów zbiegania do globalnego minimum metodami gradientowymi kłopotliwe dla niedoświadczonego użytkownika, jeśli sam ustala algorytm, parametry algorytmu oraz architekturę sieci niebezpieczeństwo przetrenowania lub niedouczenia sieci

24 B. Pawlukiewicz24 sieci nieliniowe ze względu na architekturę jednokierunkowe jednowarstwowe rekurencyjne wielowarstwowe ze względu na funkcję aktywacji sieci nieliniowe ciągłe liniowe dyskretne uczenie ze względu na rodzaj uczenia z nauczycielem z krytykiem bez nauczyciela Sieci użyte w analizie problemów fizycznych

25 B. Pawlukiewicz25 Zadanie klasyfikacji typowe zadanie klasyfikacji: odseparowanie sygnału od tła zadanie realizuje sieć: dwie warstwy ukryte + wyjściowa sigmoidalna f akt neuronu wyjściowego jakość nauki określają dwa współczynniki: trafność ( purity ) i sprawność ( efficiency )

26 B. Pawlukiewicz26 Selekcja przypadków PGF para hadronów z dużym p T, dane SMC praca doktorska K. Kowalik, IPJ krzywa ciągła – sygnał krzywe przerywane - tło

27 B. Pawlukiewicz27 Selekcja przypadków PGF para hadronów z dużym p T, dane SMC Phys.Rev.D70:012002,2004

28 B. Pawlukiewicz28 Selekcja przypadków PGF para hadronów z dużym p T, dane COMPASS-owe Meas. Sci. Technol., Vol. 18 (2007)

29 B. Pawlukiewicz29 Zadanie aproksymacji jakość aproksymacji określa współczynnik korelacji: aproksymacja nieznanej zależności między zmiennymi wejściowymi a pożądanymi odpowiedziami zadanie realizuje sieć: dwie warstwy ukryte + wyjściowa liniowa f akt neuronu wyjściowego

30 B. Pawlukiewicz30 Zadanie aproksymacji a ll kanał mezonów powabnych, COMPASS R NN = 0.82 DIS 2006, COMPASS, G. Mallot

31 B. Pawlukiewicz31 Podsumowanie sieci zostały użyte do zadań detekcji sygnału i estymacji nieznanej funkcji użyto sieci typu MLP trenowanych z nauczycielem w obu zastosowaniach wyniki sieci okazały się nieznacznie lepsze od wyników otrzymanych metodami tradycyjnymi analiza danych COMPASS-a z użyciem sieci (m.in. separacja PGF w kanale D 0 od tła) w toku.

32 B. Pawlukiewicz32 Serdecznie dziękuję R. Sulejowi i prof. B. Badełek za pomoc w przygotowaniu tego seminarium


Pobierz ppt "Sztuczne sieci neuronowe w doświadczeniach nad fizyką spinową w CERN Beata Pawlukiewicz Seminarium Fizyki Wysokich Energii Warszawa 05.10.2007 Plan seminarium:"

Podobne prezentacje


Reklamy Google