Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

1 Nowoczesne techniki wyznaczania map głębi mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska.

Podobne prezentacje


Prezentacja na temat: "1 Nowoczesne techniki wyznaczania map głębi mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska."— Zapis prezentacji:

1 1 Nowoczesne techniki wyznaczania map głębi mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska Seminarium Przetwarzanie obrazów i multimedia, listopad 2008

2 Plan prezentacji Ocena jakości (Middlebury+, MPEG) Poprzednie podejścia Ogólna idea Miary podobieństwa Algorytmy optymalizacji Przyszłe prace

3 Baza danych Middlebury Strona poświęcona algorytmom wyznaczania map głębi Dostępne wielowidokowe statyczne zestawy testowe z mapami Ground-Truth Ranking dokładności wyznaczania map głębi dla 4 zestawów testowych: Tsukuba, Venus, Teddy, Cones Około 50 algorytmów z całego świata Kryterium bad-pixels

4 Obrazy testowe Middlebury Tsukuba VenusTeddyCones Obraz Głębia

5 Kryterium bad-pixels Klasyfikacja punktu jako błędny: Przekroczenie progu przez wartość bezwzględną błędu rozbieżności Progi: 0.5, 0.75, … 2.0 Względna liczba błędnych punktów Spłaszczenie charakteru błędów! Wyniki najlepszych algorytmów: 0,1% - 3%

6 Uzupełnione kryteria oceny NBP-SAD (Normalized Bad Pixel SAD) NBP-SSD (Normalized Bad Pixel SSD)

7 MPEG - sekwencje 10 sekwencji testowych: Pantomime, Champagne_tower, Dog, Book_arrival, Leaving_laptop, Doorflowers, Alt-Moabit, Lovebird1&2, Newspaper Rozdzielczość:1024x768 ÷ 1280x960 Ilość klatek/s:16,67 ÷ 30 FPS Długość:100 ÷ 600 ramek Rozstaw kamer:3,5 cm ÷ 6,5 cm Ilość kamer:12 ÷ 80 kamer

8 MPEG - sekwencje DoorflowersAlt Moabit Lovebird 1Lovebird 2 Pantomime Champagne tower Dog Newspaper

9 MPEG - jakość Porównanie poziomu PSNR syntezy widoku z oryginalnym widokiem Synteza widoków SL, SR w pozycjach widoków OL, OR na podstawie widoków NL+D, NR+D Wynik syntezy (SL, SR) porównywany z oryginałami (OL, OR)

10 Poprzednie podejścia Bezpośrednie pasowania bloków Algorytm Viterbiego (1D) Przepływ optyczny Inteligentna dekwantyzacja (Mid-level hypothesis)

11 Poprzednie podejścia Bad-pixel vs PSNR syntesy 11

12 Ogólna idea Większość algorytmów wyznaczania głębi działa w oparciu o następujący schemat Wyznaczenie kosztu pasowania elementów sceny pasowanie bloków pasowanie segmentów pasowanie elementów struktury Optymalizacja Nic - WTA (Winner Takes All) Algorytm Viterbego Propagacja wierzeń - Belief Propagation Ciecie grafu - Graph Cut Przetwarzanie końcowe Zwiększanie precyzji mapy głębi Wykrywanie nie ciągłości mapy głębi

13 Miary podobieństwa obrazu Stosowane miary podobieństwa obrazów Miara SSD Miara SAD Miara GRAD Miara RANK Miara CENTUS Podobieństwo segmentów (kształt) 13

14 Miara RANK Non-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John Woodfill Miara oparta o nieparametryczną transformację obrazu RANK Transformacja RANK przypisuje każdemu punktowi P obrazu liczbę określającą ilość punktów w jego sąsiedztwie N(P) które mają mniejszą od niego jasność I Przykładowy punkt P wraz z otoczeniem. Punkty o jasności mniejszej od I(P) wytłuszczono

15 Miara RANK Miarą podobieństwa dwóch punktów jest różnica pomiędzy wartościami transformaty RANK. Zastosowanie transformacji RANK na obrazie Cones 15 Obraz oryginalny Transformacja RANK obrazu oryginalnego z otoczeniem 5x5

16 Miara CENTUS Non-parametric Local Transforms for Computing Visual Correspondence - Ramin Zabih and John Woodfill Miara oparta o nieparametryczną transformację obrazu CENTUS Transformacja CENTUS przypisuje każdemu punktowi P obrazu ciąg bitów reprezentujący które z punktów w jego sąsiedztwie N(P) mają mniejszą od niego jasność I Przykładowy punkt P wraz z otoczeniem. Punkty o jasności mniejszej od I(P) wytłuszczono

17 Miara CENTUS Miarą podobieństwa dwóch punktów jest odległość hamminga pomiędzy wartościami transformaty CENTUS Zastosowanie transformacji CENTUS na obrazie Tsukuba 17 Obraz orginalny Transformacja CENTUS obrazu oryginalnego z otoczeniem 5x5

18 Miary podobieństwa obrazów Mapy głębi wyznaczone na postawie różnych miar podobieństwa obrazów dla obrazka cones 18 SADGRADRANKCENTUS 59,180444%55,754074%77,143111%61,539556%

19 Agregacja kosztu Agregacja kosztu bazuje na obserwacji iż pasowanie pojedynczych punktów jest nie efektywne Agregacja w bokach powoduje pojawienie się artefaktów pasowania elementów spowodowanie nieregularnymi kształtami elementów obrazu Rozwiązanie: Pasowanie elementów w miękko po segmentowanym obrazie 19

20 Miękka segmentacja Obraz dzielony jest na wiele nakładających się segmentów. Każdy punktu należy do danego segmentu z pewną wagą bazującą na podobieństwie analizowanych punktów. 20

21 Miary podobieństwa obrazów 21 SADGRADRANKCENTUS 33,612444%12,795259%41,185778%25,473185% SADGRADRANKCENTUS 59,180444%55,754074%77,143111%61,539556% Przed agregacją Po agregacji

22 Łączne miary podobieństwa obrazów SADGRADRANKMAX(SAD,GRAD,RANK) 33,612444%12,795259%41,185778%6,135704% Po agregacji Aby zwiększyć jakoś wyznaczania map głębi zaproponowano łączne miary podobieństwa obrazów Max(SAD,GRAD,RANK) SAD+RANK 22

23 Miary podobieństwa obrazów d 23 GRADSADRANKSAD+RANKMax(SAD,RANK,GRAD) WTA13,9538,0547,0912,916,93 BP3,74,132,942,852,98

24 Belief Propagation Ogólna metoda rozwiązywania problemów optymalizacyjnych Używana jest najczęściej do Wyznaczania map głębi Uzupełniania obrazów Generowania nowej tekstury na podstawie próbki Segmentacji obrazów 24

25 Belief propagation Na elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozciągana jest siatka węzłów algorytmu BP. Jeśli dwa elementy sąsiadują ze sobą w obrazie odpowiadające im węzły także zostają połączone. 25

26 Belief propagation W każdym węźle przechowywana jest informacja o koszcie pasowania danego elementu z obrazu lewego w pewne potencjalne miejsce w obrazie prawym Koszt ten jest miarą wierzenia węzła iż element który reprezentuje faktycznie pasuje w dane miejsce w drugim obrazie 26

27 Belief propagation Propagacja wierzeń pomiędzy węzłami za pośrednictwem dedykowanych wiadomości Schemat bez widoku

28 Belief propagation Wiadomości wyznaczane są na podstawie: Modelu zmiany wierzenia Własnych obserwacji Wiadomości otrzymanych z innych węzłów 28

29 Modele zmiany wierzenia - modele gładkości Potts Model Model liniowy Belief propagation

30 Zaproponowany przez nas model zmiany wierzeń: oparty o model liniowy uwzględnia podobieństwo punktów pomiędzy którymi przesyłana jest wiadomość zbudowany na liniowej funkcji g(x) z nasyceniem 30 gdzie: I p – Jasnośc punktu p, I q – Jasność punktu q

31 Hierarchiczny BP Przyśpieszenia działania Generalizacji wyniku Przetwarzanie od warstwy o najmniejszej liczbie węzłów do warstwy o największej liczbie węzłów 31

32 Wyjście z algorytmu Pod koniec działania algorytmu, wyznacza się wierzenia własne każdego węzła. Rozbieżność f p o najmniejszej wartości wierzenia jest wybierana, jako wynik 32 Mapa głębi dla obrazu Cones %

33 Inne modyfikacje 8 punktowe otoczenie Przetwarzanie co 2 drugiej wiadomości w schemacie szachownicy Estymacja podpunktowa 33 Otoczenie 4 punktowe Otoczenie 8 punktowe Siatka algorytmu BP

34 Graph Cuts Ogólna technika Używana w oprogramowaniu referencyjnym MPEGa Na elementach strukturalnych (punkty, segmenty) obrazu (np. lewego) rozciągany jest graf Jeśli dwa elementy sąsiadują ze sobą w obrazie, odpowiadające im węzły także zostają połączone krawędzią o wadze odpowiadającej podobieństwu tych dwóch elementów

35 Graph Cuts Do grafu wstawia się pewną ilość węzłów źródłowych reprezentujących możliwe wartości rozbieżności Węzły źródłowe łączone są z każdym węzłem w grafie za pomocą krawędzi o wadze odpowiadającej kosztowi pasowania tego elementu w dane miejsce w drugim obrazie 35

36 Graph Cuts Graf dzieli się na rozłączne fragmenty za pomocą cięcia grafu w taki sposób aby każdy fragment połączony był tylko z jednym węzłem źródłowym Węzeł źródłowy połączony z danym fragmentem, reprezentuje szukaną wartością rozbieżności 36

37 Jakość map głębi - wyniki 37

38 Przyszłe prace Spójność czasowa Optymalne odległość między kamerami Segmentacja

39 Odległość miedzy kamerami Jak odległość miedzy kamerami wpływa na jakość wyznaczonych map głębi? 39

40 Wyniki dokładność punktowa 40

41 Wyniki dokładność półpunktowa 41

42 Dziękuję za uwagę Pytania?

43 Technika wyznaczania Ground-Truth Wymaga naświetlania tekstur o regularnym wzorze Kody Graya w poziomie i pionie

44 Inteligentna dekwantyzacja Założenie: na granicy poziomów kwantyzacji występuje poziom pośredni Weryfikacja założenia na podstawie resyntezy Rozrost analizowanego obszaru Wykonywanie wielokrotne pozwala na wielokrotne zagęszczenie liczby poziomów

45 1. Detekcja krawędzi jednostkowych

46 2. Wartość pośrednia

47 3. Weryfikacja przez reysteze

48 4. Rozprzestrzenianie hipotezy

49 5. Koniec przetwarzania

50 Inteligentna dekwantyzacja

51

52 Mapy głębi MPEG – dokument : pojęcie głębia Obrazek - krótko


Pobierz ppt "1 Nowoczesne techniki wyznaczania map głębi mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska."

Podobne prezentacje


Reklamy Google