Podstawy analizy obrazu

Prezentacja na temat: "Podstawy analizy obrazu"— Zapis prezentacji:

1 Podstawy analizy obrazu
Zmysł wzroku i cyfrowa analiza obrazów WZIM SGGW Leszek Chmielewski

2 Plan Różne układy wzrokowe Patrzenie: oczekiwania i potrzeby
Najważniejsze sygnały obrazowe Skupianie uwagi i przeglądanie obrazu Rozdzielczość i przeciążenie danymi Różnice widzenia ssaków i układów sztucznych Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

3 Eksperci w zakresie widzenia
Jesteśmy ekspertami widzenia Ale wzrok wzrokowi nierówny Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

4 Wzrok wzrokowi nierówny
Klejnotka zielona (Euglena Virgis) Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

5 Wzrok wzrokowi nierówny
Pająki (krzyżak) – oczy proste Jan Żabiński. Z życia zwierząt. Iskry. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

6 Wzrok wzrokowi nierówny
Skakuny: Stereoskopia, kolor [ Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

7 Wzrok wzrokowi nierówny
Owady (muchówka...) – oczy złożone Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

8 Wzrok wzrokowi nierówny
Oczy złożone ommatidia: rurka, soczewka, czujniki [Wikimedia Commons] umiarkowana rozdzielczość, wielka częstość doskonały czujnik ruchu i koloru A: rogówka B: stożek krystaliczny ... F: sztyfciki Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

9 Wzrok wzrokowi nierówny
Oczy złożone Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

10 Wzrok wzrokowi nierówny
Owady (ważka...) – przyoczka Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

11 Wzrok wzrokowi nierówny
Gady (hatteria...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

12 Wzrok wzrokowi nierówny
Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

13 Wzrok wzrokowi nierówny
Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

14 Wzrok wzrokowi nierówny
Widzenie jednooczne Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

15 Wzrok wzrokowi nierówny
Gady (kameleon...) – widzenie dwukierunkowe Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

16 Wzrok wzrokowi nierówny
Widzenie dwukierunkowe Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

17 Wzrok wzrokowi nierówny
Ptaki (sowa...) – widzenie dwuoczne Wikimedia Commons Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

18 Wzrok wzrokowi nierówny
Widzenie dwuoczne – drapieżne, naczelne Wikimedia Commons Maciej Rębiś ptaki.polska.pl Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

19 Wzrok wzrokowi nierówny
Widzenie dwuoczne: może być trójwymiarowe Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

20 Oczekiwania i potrzeby
Mucha? (jedzonko) Nic ważnego Liście Ziemia (nie spaść) Moja gałąź Ogólna orientacja w przestrzeni Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

21 Oczekiwania i potrzeby
Jest wada! Tylko konkretna informacja Jähne B. Digital Image Processing. 5th Ed., Springer (Courtesy of Florian Raisch, Robert Bosch GmbH) Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

22 Oczekiwania i potrzeby
Przeżycie artystyczne Stanisław Wyspiański, Planty o świcie, Wikimedia Commons. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

23 Jedno słowo o widzeniu barwnym
Oko człowieka czopki (6M, szybkie) – widzenie fotopowe (K, Ś, D) pręciki (100M, wolne) – widzenie skotopowe (Pr) Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

24 Najważniejsze sygnały obrazowe
Człowiek Krawędzie, kreska Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

25 Najważniejsze sygnały obrazowe
 Krawędzie Photoshop Tutorial Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

26 Najważniejsze sygnały obrazowe
 Krawędzie Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

27 Najważniejsze sygnały obrazowe
Krawędzie Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

28 Najważniejsze cechy obrazowe
Krawędzie Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

29 Najważniejsze sygnały obrazowe
Typy krawędzi Pochodzenie: nieciągłość reflektancji oświetlenia orientacji głębokości Marshall A.D. Vision Systems Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

30 Najważniejsze sygnały obrazowe
Typy krawędzi Klasy: + wypukłość  wklęsłość My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

31 Najważniejsze sygnały obrazowe
Złudzenie: sześcian Neckera Ściany: + widać – nie widać My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

32 Najważniejsze sygnały obrazowe
Black Night Project designed by Przemysław Jaworski Wyrazistość (saliency) Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

33 Najważniejsze sygnały obrazowe
Black Night Project designed by Przemysław Jaworski Wyrazistość (saliency) Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

34 Najważniejsze sygnały obrazowe
Wyrazistość (saliency) mkey's Snake Blog Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

35 Krawędzie: jak znaleźć?
krawędź pozioma krawędź pionowa Dość łatwo: splot (detektor Sobla) Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

36 Wyrazistość: jak znaleźć?
wyrazistość  jasność + krawędziowość + kontrast + ciągłość + krzywizna kontrast  krawędziowość ciągłość  całkowanie krzywizna  wyższe pochodne Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

37 Wyrazistość: przykłady
Ullman S., Sha’ashua A. Structural saliency: the detection of globally salient structures using a locally connected network. MIT, A.I. Lab. Memo No. 1061, Jul 1988 Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

38 Wyrazistość: przykłady
Shashua A., Ullman S. Grouping Contours by iterated pairing network. Neural Info, , Morgan Kaufmann Publishers 1990 Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

39 Wyrazistość: przykłady
Zbliżamy się do tematu ruchów oka... Itti L. et al. A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. PAMI 20(11): , 1998 Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

40 Skupianie uwagi Obserwujemy obraz poruszając okiem
Ponieważ mamy nierównomierną rozdzielczość widzenia Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

41 Skupianie uwagi: Plamka żółta
Oko proste Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

42 Skupianie uwagi: Plamka żółta i plamka ślepa
Oko proste  plamka żółta  plamka ślepa Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

43 Plamka ślepa... Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

44 Skupianie uwagi – plamka żółta
razem  czopków Liczba czopków wokół plamki żółtej Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

45 Nierównomierna rozdzielczość
G. Sandini, V. Tagliasco. An antropomorphic retina-like structure for scene analysis. Comput. Vision Graph. Image Process. 14 (4), 1980, L: obraz 700*700. P: ta sama liczba piksli, rozdzielczość maleje od środka, logarytmicznie. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

46 Zmienna rozdzielczość – realizacja
Giulio Sandini personal page ~ piksli. Biegunowy układ współrzędnych. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

47 Biegunowy układ współrzędnych
Giulio Sandini personal page Wszystkie równania inaczej sformułowane Wiele zalet, ale nie przyjęło się Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

48 Skupianie uwagi Obserwujemy obraz poruszając okiem
Ponieważ mamy nierównomierną rozdzielczość widzenia Aby uniknąć przeciążenia „procesora wzroku” Gdyby nie zmienna rozdzielczość, potrzebowalibyśmy nie 6 M, ale >60 M czujników Nerw wzrokowy miałby średnicę >5 cm! i tak dalej... Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

49 Skupianie uwagi – przykład
Ilja J. Riepin - "Nie oczekiwali„ ( ). Wikimedia. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

50 Skupianie uwagi – trzy zadania
A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Zapamiętać położenie osób i przedmiotów Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

51 Skupianie uwagi – trzy zadania
A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Określić wiek osób Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

52 Skupianie uwagi – trzy zadania
A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Co robili przed przybyciem gościa? Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

53 Skupianie uwagi – trzy zadania
Położenia przedmiotów Wiek osób Co robili przedtem? Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

54 Ruchy sakadowe 3 ruchy/s Mimo to, świat postrzegamy jako stały
System wizyjny korzysta ze świata jak z pamięci zewnętrznej Będziemy się zajmowali prostszymi zagadnieniami Co robili przedtem? Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

55 Postrzeganie położenia i ruchu
Rysunki – proste Wpływ na sposób analizy – zasadniczy P.K. Kaiser. The Joy of Visual Perception. Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

56 Sposoby skupiania uwagi
Człowiek i inne stworzenia Ruch okiem Ruch głową Łatwo! P.K. Kaiser. The Joy of Visual Perception. Układ sztuczny: komplikacje!! Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

57 Sposoby skupiania uwagi
Człowiek i inne stworzenia Oko bez ruchu: komplikacje!! P.K. Kaiser. The Joy of Visual Perception. Układ sztuczny: łatwo Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

58 Sposoby skupiania uwagi
Układ sztuczny: wielka rozdzielczość: > 10 MB przypomnijmy sobie splot... a to tylko najprostsza operacja... konieczne bardzo szybkie przetwarzanie albo kompresja danych szybkie skupianie uwagi przejście od piksli do krawędzi i wiele innych technik... Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

59 Gdzie jest układ współrzędnych?
System sztuczny: układ związany z kamerą System żywy: układ związany ze światem lepsza dokładność Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

60 System żywy a system sztuczny
zmienna rozdzielczość – plamka żółta ruch okiem i głową jako mechanizm skupienia układ współrzędnych związany ze światem - łatwa manipulacja Sztuczny: stała, duża rozdzielczość w całym polu widzenia wybór obszaru jako mechanizm skupienia układ współrzędnych związany z kamerą - manipulacja utrudniona Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

61 System żywy a system sztuczny
Wzrok ożywiony (w uproszczeniu) Zmienna rozdzielczość Ruchoma oś optyczna „Dowolne” oświetlenie Położenie określane względem innych obiektów Szeroka wiedza o obiektach Analiza jakościowa Ogólność wyniku Wzrok sztuczny (w uproszczeniu) Stała rozdzielczość Stała oś Kontrolowane oświetlenie Układ współrzędnych obserwatora Wiedza ograniczona do zastosowania Analiza ilościowa Szczegółowość wyniku Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

62 Znaczenie... ? Zasadnicze pytania: Problem odporności
analiza zależna tylko od treści obrazu niezależna od... punktu początkowego analizy położenia i kierunku danych przypadkowych braku części danych ... Problem odporności Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

63 Tematy przed nami Tworzenie obrazu cyfrowego, kwantyzacje.
Operacje jednopikslowe Korekcje. Przekształcenia histogramu. Operacje lokalne. Splot. Filtracje. Proste detektory krawędzi. Operacje obszarowe. Detekcja krawędzi. Śledzenie krawędzi. Aktywne kontury. Operacje globalne. Transformaty. Transformaty Hougha. Metody odporne na zakłócenia. Segmentacja obrazów. Segmentacja na podstawie krawędzi i obszarów. Obiekty i ich cechy. Szkielety i topologia. Liczbowe cechy obiektów. … Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów

64 Podsumowanie Wzrok wzrokowi nierówny; ssaki nie narzekają
Widzenie zależy od celu Reagujemy na krawędzie, krzywizny, jasność, kontrast, ...  wyrazistość Wiele różni nas od systemów sztucznych, m.in. rozdzielczość i jej konsekwencje Systemy sztuczne – dużo danych: myślmy o szybkości przetwarzania:  cechy obrazu ważna jest odporność na zakłócenia bardzo ważne: niezależność od położenia, kierunku, … Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów