Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Techniczny Uniwersytet Otwarty 2007.02.03 ŁUKASZ RAUCH JAK FILTROWAĆ DANE POMIAROWE DLA POTRZEB ANALIZY OBRAZÓW (DANYCH)?

Podobne prezentacje


Prezentacja na temat: "Techniczny Uniwersytet Otwarty 2007.02.03 ŁUKASZ RAUCH JAK FILTROWAĆ DANE POMIAROWE DLA POTRZEB ANALIZY OBRAZÓW (DANYCH)?"— Zapis prezentacji:

1 Techniczny Uniwersytet Otwarty ŁUKASZ RAUCH JAK FILTROWAĆ DANE POMIAROWE DLA POTRZEB ANALIZY OBRAZÓW (DANYCH)?

2 Agenda Wprowadzenie – dlaczego potrzeba filtrowania danych Szczegółowy przegląd dostępnych metod i algorytmów filtrowania Podsumowanie problematyki procesu filtrowania Opis zaproponowanej metodologii filtrowania Projekt stworzonego oprogramowania Otrzymane rezultaty Perspektywy dalszych badań oraz rozwoju dostępnych metod Techniczny Uniwersytet Otwarty

3 Problematyka procesu analizy danych pomiarowych 1 Czytelność danych pomiarowych Brak możliwości różniczkowania danych – utrudniona interpolacja punktów Występowanie zafałszowanych pomiarów Konieczność ręcznego wyznaczania punktów charakterystycznych pomiarów Błędna interpretacja Zastosowanie: metalurgia, medycyna, ekonomia, kamery przemysłowe, itp. Techniczny Uniwersytet Otwarty

4 Problematyka procesu analizy danych pomiarowych 2 Techniczny Uniwersytet Otwarty

5 Sformułowanie problemu m(i) = v(i) + n(i) -m – wartość obserwowana, mierzona (measurements) -v – wartość właściwa sygnału (value) -n – szum nałożony na sygnał (noise) Cel główny: Detekcja właściwej wartości v. Problem: Gdzie kończy się szum, a gdzie zaczyna sygnał? Buades, A., et al., A Review of Image Denoising Algorithms with a New One, 2005

6 Rodzaje i parametry szumu Techniczny Uniwersytet Otwarty Szum może być dzielony ze względu na kilka cech np.: – źródło – szum akustyczny, elektromagnetyczny, echo, itp., – częstotliwość – najpowszechniej stosowany podział np.: szum biały lub kolorowy, – funkcję gęstości prawdopodobieństwa (PDF) np.: szum Gaussa, jednostajny czy też sól i pieprz Parametry: – rozkład prawdopodobieństwa, – SNR (Signal Noise Ratio) – stosunek odchylenia standardowego obrazu i szumu (dla wartości 3 obraz widoczny jest bez zakłóceń, wartość powyżej 20 powoduje brak czytelności obrazu)

7 Metody filtrowania obrazów Metody Standardowe: Konwolucja Aproksymacja Sieci neuronowe Analiza falkowa Filtry Kalmana Metody Dedykowane : Automaty komórkowe Non-linear Diffusion Non-local Means Anisotropic Filtering Techniczny Uniwersytet Otwarty Łatwa implementacja Zdywersyfikowana jakość wyników Szeroka aplikowalność Trudna implementacja i konfiguracja Wysoka jakość wyników w określonych warunkach Buades, A., et al., A Review of Image Denoising Algorithms with a New One, 2005

8 Metody konwolucji Techniczny Uniwersytet Otwarty Tadeusiewicz, R., Korohoda, P., Komputerowa analiza i przetwarzanie obrazów, 1997 Konwolucja przeprowadzona w sposób dyskretny filtr 3x3 obserwowany problem – piksele brzegowe Konwolucja – splot funkcji, w przypadku dyskretny suma będąca wynikiem mnożenia dwóch macierzy: obrazu oraz filtra (tzw. kernel)

9 Techniczny Uniwersytet Otwarty Metody konwolucji Tadeusiewicz, R., Korohoda, P., Komputerowa analiza i przetwarzanie obrazów, 1997 Filtry dolnoprzepustoweFiltry górnoprzepustowe Umożliwiają wyciągnięcie z obrazu informacji o elementach o niskiej częstotliwości, usuwając jednocześnie pozostałe elementy Pozwalają analizować obraz pod kątem elementów wysokoczęstotliwościo- wych jak np.: krawędzie

10 Techniczny Uniwersytet Otwarty Metody konwolucji - Gauss

11 Techniczny Uniwersytet Otwarty Wyniki filtracji Tadeusiewicz, R., Korohoda, P., Komputerowa analiza i przetwarzanie obrazów, 1997 dolno- przepustowe górno- przepustowe

12 Rozmiar filtra a wyniki 1 Techniczny Uniwersytet Otwarty Filtr 3x3Filtr 5x5 Tadeusiewicz, R., Korohoda, P., Komputerowa analiza i przetwarzanie obrazów, 1997

13 Techniczny Uniwersytet Otwarty Rozmiar filtra a wyniki 2

14 Techniczny Uniwersytet Otwarty Metody konwolucji - podsumowanie Łatwość implementacji skupiona jedynie na prostych operacjach mnożenia i dodawania elementów dwóch macierzy Możliwość automatycznego stosowania (bez konieczności interakcji ze strony użytkownika) Przenośność na dane o różnych wymiarach (głównie 1D) poprzez zmianę wymiaru filtra Złożoność obliczeniowa – zależy zarówno od wielkości obrazka (ilości pikseli) jak i od wielkości filtra Wada główna – zbyt uogólnione wyniki z powodu braku zaszytej w algorytmie inteligencji

15 Techniczny Uniwersytet Otwarty Falki - wprowadzenie Falki a transformata Fouriera Istota analizy falkowej – dekompozycja – funkcja falkowa bazowa (matka) – funkcja skalująca Rodzaje transformacji falkowych: – ciągła transformata (CWT), – dyskretna transformata (DWT), – szybka transformata (FWT) – dekompozycja pakietowa (WPD) – stacjonarna transformata (SWT)

16 Techniczny Uniwersytet Otwarty Analiza falkowa

17 Techniczny Uniwersytet Otwarty Przykładowe falki

18 Techniczny Uniwersytet Otwarty Matlab Toolboxes (Narzędzia) 1

19 Techniczny Uniwersytet Otwarty Matlab Toolboxes (Narzędzia) 2

20 Techniczny Uniwersytet Otwarty Falki – przykład wyników

21 Techniczny Uniwersytet Otwarty Falki – podsumowanie Średnio trudna implementacja, duża dostępność pakietów komercyjnych Brak możliwości automatycznego stosowania ze względu na konieczność ustawienia poziomów dekompozycji oraz progów filtracji Bezpośrednia przenośność pomiędzy danymi o różnych wymiarach praktycznie niemożliwa Wysoka precyzja działania – zależna przede wszystkim od użytkownika Wada główna – konieczność interakcji i rekonfiguracji nawet dla niewiele różniących się danych Liczne modyfikacje – Ridgelet, Curvelet, Brushlet

22 Techniczny Uniwersytet Otwarty Sieci neuronowe - wprowadzenie Wykorzystywane rodzaje sieci neuronowych: – MLP – Multilayer Perceptron – GRNN – Generalized Regression Neural Network – RBF – Radial Basis Function – DNN – Dynamic Neural Networks Zastosowania – filtrowanie sygnałów, obrazów i danych wielowymiarowych – usuwanie szumów pomiarowych – filtrowanie adaptacyjne, identyfikacja opóźnienia czasowego w sygnale

23 Techniczny Uniwersytet Otwarty SN – MLP

24 Techniczny Uniwersytet Otwarty SN – filtrowanie 1D

25 Techniczny Uniwersytet Otwarty SN – porównanie z AF

26 Inne zastosowania filtracyjne SN Techniczny Uniwersytet Otwarty Nieprzewidywalne zmiany w sygnale wyjściowym procesu

27 Techniczny Uniwersytet Otwarty Sieci neuronowe - podsumowanie Indywidualnej implementacji raczej się nie stosuje, bardzo duża ilość pakietów komercyjnych i niekomercyjnych Sieci wymagają nauczenia i pod względem zmiany danych wejściowych są bardzo czułe Bezpośrednia przenośność pomiędzy danymi o różnych wymiarach praktycznie niemożliwa Wysoka skłonność do generalizacji (uogólniania wyników) Wada główna – konieczność interakcji i rekonfiguracji nawet dla niewiele różniących się danych

28 Techniczny Uniwersytet Otwarty Metody dedykowane Zmodyfikowane filtrowanie Gaussa, w którym gładkość sygnału mierzona jest całką Dirichleta Model filtrowania anizotropowego (Perona & Malik) Model całkowitej wariacji Rudin-Oscher- Fatemi Filty sąsiedzkie Yaroslavskiego np.: filtr SUSAN Filtry lokalne Wienera DUDE (discrete universal denoiser) NL-means (nonlocal-means)

29 Techniczny Uniwersytet Otwarty Metody dedykowane – wyniki 1

30 Metody dedykowane – wyniki 2 Techniczny Uniwersytet Otwarty

31 Problem i teza Techniczny Uniwersytet Otwarty Jak przetwarzać duże zbiory danych złożone z kilku tysięcy lub nawet milionów rekordów danych? Czy da się zaimplementować metodę, która zrobi to automatycznie? Istnieje możliwość wyznaczenia jednej metody umożliwiającej filtrowanie danych niezależnie od charakteru tych danych i występującego szumu przy założeniu, że: –Filtrowanie danych powinno odbywać się bez konieczności zbędnej rekonfiguracji metody, –Proces filtrowania powinien zakończyć się bez interakcji ze strony użytkownika, –Jakość stworzonej metody powinna zwracać wyniki porównywalne lub lepsze od innych powszechnie stosowanych metod.

32 Dostępne metody, algorytmy Metody Standardowe: Konwolucja Aproksymacja Sieci neuronowe Analiza falkowa Filtry Kalmana Metody Dedykowane: Non-linear Diffusion Non-local Means Anisotropic Filtering Statystyczne Metody Przetwarzania Sygnału M. cząstek - siatkowe: Automaty komórkowe Gaz siatkowy (LGA) M. Cząstek - bezsiatkowe: Dynamika molekularna Cząstka w komórce SPH – hydrodynamika Płyn w komórce Hp-clouds Sequential Monte Carlo Aplikacja Metod Cząstek do Przetwarzania Sygnałów Techniczny Uniwersytet Otwarty

33 Cele badań Zaprojektowanie oraz implementacja metody filtrowania danych pomiarowych niezależnie od ich charakteru, Uniwersalizacja metody ze względu na wymiar danych, Optymalizacja utworzonej metody pod kątem ilości parametrów wejściowych, Wyznaczenie współczynnika jakości, Opracowanie sposobu wstępnej analizy danych wielowymiarowych, Implementacja metody za pomocą nowoczesnych narzędzi informatycznych VS.NET C#, Weryfikacja otrzymanych wyników pod kątem różnych aplikacji. Techniczny Uniwersytet Otwarty

34 Założenia tworzonego oprogramowania PreprocessingFiltrowanieWeryfikacja 1D import danych, przygotowanie struktur, detekcja uskoków, 2D import danych z obrazów, detekcja granic, przygotowanie listy najbliższych sąsiadów, nD import danych, redukcja wymiarów MDS, PCA v klasteryzacja v NNS v selekcja cech Stworzenie JEDNEGO obiektu obsługującego różne dane, Wykorzystanie JEDNEJ metody do odszumiania danych Wizualizacja wyników Nawigacja podczas obliczeń Zapis otrzymanych rezultatów do plików 1D – automatyczna PREDYKCJA danych makroekonomicznych, zwiększenie efektywności algorytmów ARIMA i PMRS, 2D – przetwarzanie MIKROSTRUKTUR materiałowych w celu automatyzacji analizy rozmiaru ziarna oraz wykorzystania wzorców materiałowych do Natural Element Method, nD – zwiększenie dokładności modelu PIECA ZAWIESINOWEGO zbudowanego w oparciu o sieci neuronowe Techniczny Uniwersytet Otwarty

35 Projekt – notacja UML 1 User External Interface – klasy interfejsu MDI Denoise Engine – zbiór klas do przetwarzania danych Useful Managers – pomocne narzędzia do obsługi danych Verification Apps – zewnętrzne klasy do weryfikacji wyników Techniczny Uniwersytet Otwarty

36 Projekt – notacja UML 2 Techniczny Uniwersytet Otwarty

37 Projekt – notacja UML 3 Techniczny Uniwersytet Otwarty

38 Projekt – notacja UML 4 Techniczny Uniwersytet Otwarty

39 Opis algorytmu cząstek dynamicznych 1 Cząstka – wektor danych rzeczywistych znajdujący się w N-wymiarowej przestrzeni euklidesowej charakteryzowany przez N różnych cech Techniczny Uniwersytet Otwarty

40 Opis algorytmu cząstek dynamicznych 2 Normalizacja danych – wyrównanie wpływu wszystkich cech wektora na ostateczny wynik, Współczynnik tłumienia (f c ) – redukuje siły poruszające cząstki ze względu na zbieżność całego algorytmu, Warunek stopu cząstki – warunek progowy, cząstka zatrzymuje się jeżeli jej przesunięcie jest mniejsze niż odgórnie określona wartość progowa, Warunek stopu algorytmu = warunek stopu wszystkich cząstek lub EE mniejsze niż próg. Techniczny Uniwersytet Otwarty

41 Opis algorytmu cząstek dynamicznych 3 Złożoność obliczeniowa algorytmu: –Algorytm działa w sposób iteracyjny, –Ilość wszystkich iteracji zależy od amplitudy szumu oraz liczby sąsiadów – zbieżność: kilka do kilkadziesiąt iteracji = C –W każdej iteracji wykonane zostają obliczenia dla wszystkich punktów ze zbioru, które aktualnie pozostają w stanie ruchu n –Obliczenia w każdej z iteracji obejmują podstawowe operacje na dN wektorach Złożoność pamięciowa: n *( d * nn) * sizeof(double) + op Techniczny Uniwersytet Otwarty

42 Opis algorytmu cząstek dynamicznych 4 Skalowalność rozwiązania dla danych wielowymiarowych poprzez zastosowanie algorytmów najbliższych sąsiadów Niewielki wpływ skalowalności na złożoność obliczeniową Pre-processing danych wielowymiarowych – wysoka złożoność obliczeniowa Techniczny Uniwersytet Otwarty

43 Opis algorytmu cząstek dynamicznych 5 Miara jakości dla danych generowanych Miara jakości dla danych empirycznych Techniczny Uniwersytet Otwarty

44 Oprogramowanie Techniczny Uniwersytet Otwarty

45 Wyniki – dane 1D symulacje 2 Seminarium AGH

46 Wyniki – dane 1D 1 Zbiór danych generowanych – obarczone szumem Gaussa o amplitudzie 5, 10 i 20% Techniczny Uniwersytet Otwarty

47 Wyniki – dane 1D 2 Zbiór danych empirycznych – krzywe umocnienia Techniczny Uniwersytet Otwarty

48 Zbiór danych empirycznych - termomagnetyka, kursy walutowe Wyniki – dane 1D 3 Techniczny Uniwersytet Otwarty

49 Wyniki – dane porównawcze 1D 4 Techniczny Uniwersytet Otwarty

50 Wyniki – dane porównawcze 1D 5 Techniczny Uniwersytet Otwarty

51 ARIMA Autoregressive Integrated Moving Average – trójparametrowy zbiór modeli do analizy i predykcji serii czasowych PMRS Pattern Modelling and Recognition System – modelowanie serii czasowych w oparciu o rozpoznawanie wzorców Praca mgr – Kasprzyk, Miłoś Promotor: prof. W. Dzwinel Wyniki – walidacja 1D 1 Techniczny Uniwersytet Otwarty

52 Wyniki – walidacja 1D 2 Arima1Arima6Arima12Arima18Arima24 Oryginalne18,6618,7617,2434,81221,64 DP1,806,378,2117,5425,72 Gauss6,2315,0013,1626,7878,75 Techniczny Uniwersytet Otwarty

53 Wyniki – 2D, poprzednie Techniczny Uniwersytet Otwarty

54 Canny Detector Filtrowanie wstępne - konwolucja Krawędzie, Kierunki krawędzi Śledzenie krawędzi Ściskanie krawędzi Numerowanie i czyszczenie Techniczny Uniwersytet Otwarty

55 Wyniki – dane 2D 1 (generowane) Techniczny Uniwersytet Otwarty

56 Wyniki – dane 2D 2 (generowane) Techniczny Uniwersytet Otwarty

57 Wyniki – walidacja 2D 1 – tworzenie krawędzi Porównane z oprogramowaniem Metilo Techniczny Uniwersytet Otwarty

58 Wyniki – walidacja 2D 2 – filtrowanie Techniczny Uniwersytet Otwarty

59 Wyniki – walidacja 2D 3 Techniczny Uniwersytet Otwarty

60 Wyniki – walidacja 2D 4 Techniczny Uniwersytet Otwarty

61 Wyniki – 2D, kolorowanie Techniczny Uniwersytet Otwarty

62 Dane wielowymiarowe - nD Import danych, generowanie struktur Wejście 27 parametrów (różne częstotliwości pomiarów) Wyjście 18 parametrów, Algorytm redukcji wymiarów (zewnętrzny) Algorytm najbliższych sąsiadów Algorytm filtrowania danych ×Walidacja danych Techniczny Uniwersytet Otwarty

63 Dane wielowymiarowe – wyniki

64 Podsumowanie Działanie – metoda działa poprawnie i jest zbieżna do oczekiwanych wyników Uniwersalność – algorytm jest niezależny od charakteru szumu oraz jego amplitudy, dając szerokie spektrum zastosowań Wyniki – rezultaty filtrowania są podobnej jakości lub lepsze do wyników otrzymanych za pomocą innych powszechnie używanych algorytmów Efektywność – uniwersalność algorytmu okupiona jest niższą efektywnością działania, które jest jednak kwestią drugorzędną Techniczny Uniwersytet Otwarty

65 Perspektywy dalszych badań Walidacja wyników otrzymanych dla danych wielowymiarowych, weryfikacja stabilności stworzonego modelu pieca zawiesinowego, Implementacja modułu filtrowania danych on-line, aplikacja do oprogramowania typu xTrade, Dopracowanie metod przetwarzania mikrostruktur w oparciu o istniejące wyniki, analiza materiałów dwufazowych, wykrywanie bliźniaków, itp. Optymalizacja szybkości działania algorytmu Techniczny Uniwersytet Otwarty


Pobierz ppt "Techniczny Uniwersytet Otwarty 2007.02.03 ŁUKASZ RAUCH JAK FILTROWAĆ DANE POMIAROWE DLA POTRZEB ANALIZY OBRAZÓW (DANYCH)?"

Podobne prezentacje


Reklamy Google