Podstawy analizy obrazu Zmysł wzroku i cyfrowa analiza obrazów WZIM SGGW Leszek Chmielewski

Plan Różne układy wzrokowe Patrzenie: oczekiwania i potrzeby Najważniejsze sygnały obrazowe Skupianie uwagi i przeglądanie obrazu Rozdzielczość i przeciążenie danymi Różnice widzenia ssaków i układów sztucznych Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Eksperci w zakresie widzenia Jesteśmy ekspertami widzenia Ale wzrok wzrokowi nierówny Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Klejnotka zielona (Euglena Virgis) Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Pająki (krzyżak) – oczy proste Jan Żabiński. Z życia zwierząt. Iskry. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Skakuny: Stereoskopia, kolor [www.terrrarium.com] Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Owady (muchówka...) – oczy złożone Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Oczy złożone ommatidia: rurka, soczewka, czujniki [Wikimedia Commons] umiarkowana rozdzielczość, wielka częstość doskonały czujnik ruchu i koloru A: rogówka B: stożek krystaliczny ... F: sztyfciki Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Oczy złożone Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Owady (ważka...) – przyoczka Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Gady (hatteria...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Ptaki (kura...) – widzenie jednooczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Widzenie jednooczne Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Gady (kameleon...) – widzenie dwukierunkowe Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Widzenie dwukierunkowe Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Ptaki (sowa...) – widzenie dwuoczne Wikimedia Commons Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Widzenie dwuoczne – drapieżne, naczelne Wikimedia Commons www.hlasek.com Maciej Rębiś ptaki.polska.pl Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wzrok wzrokowi nierówny Widzenie dwuoczne: może być trójwymiarowe Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Oczekiwania i potrzeby Mucha? (jedzonko) Nic ważnego Liście Ziemia (nie spaść) Moja gałąź Ogólna orientacja w przestrzeni Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Oczekiwania i potrzeby Jest wada! Tylko konkretna informacja Jähne B. Digital Image Processing. 5th Ed., Springer 2002. (Courtesy of Florian Raisch, Robert Bosch GmbH) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Oczekiwania i potrzeby Przeżycie artystyczne Stanisław Wyspiański, Planty o świcie, 1894. Wikimedia Commons. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Jedno słowo o widzeniu barwnym Oko człowieka czopki (6M, szybkie) – widzenie fotopowe (K, Ś, D) pręciki (100M, wolne) – widzenie skotopowe (Pr) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Człowiek Krawędzie, kreska Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe  Krawędzie Photoshop Tutorial Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe  Krawędzie http://rzk-kj.com/jest-frownies-stockists-perth/ Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Krawędzie Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze cechy obrazowe Krawędzie Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Typy krawędzi Pochodzenie: nieciągłość reflektancji oświetlenia orientacji głębokości Marshall A.D. Vision Systems. http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARSHALL/ 1994-1997 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Typy krawędzi Klasy: + wypukłość  wklęsłość My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Złudzenie: sześcian Neckera Ściany: + widać – nie widać My o tym nie myślimy, ale miewamy złudzenia! Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe www.galeria.infoweb.pl Black Night Project designed by Przemysław Jaworski Wyrazistość (saliency) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe www.galeria.infoweb.pl Black Night Project designed by Przemysław Jaworski Wyrazistość (saliency) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Najważniejsze sygnały obrazowe Wyrazistość (saliency) mkey's Snake Blog http://blog.mkey.info/ Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Krawędzie: jak znaleźć? krawędź pozioma krawędź pionowa Dość łatwo: splot (detektor Sobla) Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wyrazistość: jak znaleźć? wyrazistość  jasność + krawędziowość + kontrast + ciągłość + krzywizna kontrast  krawędziowość ciągłość  całkowanie krzywizna  wyższe pochodne Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wyrazistość: przykłady Ullman S., Sha’ashua A. Structural saliency: the detection of globally salient structures using a locally connected network. MIT, A.I. Lab. Memo No. 1061, Jul 1988 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wyrazistość: przykłady Shashua A., Ullman S. Grouping Contours by iterated pairing network. Neural Info, 335-341, Morgan Kaufmann Publishers 1990 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Wyrazistość: przykłady Zbliżamy się do tematu ruchów oka... Itti L. et al. A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. PAMI 20(11):1254-1258, 1998 Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi Obserwujemy obraz poruszając okiem Ponieważ mamy nierównomierną rozdzielczość widzenia Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi: Plamka żółta Oko proste Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi: Plamka żółta i plamka ślepa Oko proste  plamka żółta  plamka ślepa Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Plamka ślepa... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – plamka żółta razem  6 000 000 czopków Liczba czopków wokół plamki żółtej Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Nierównomierna rozdzielczość G. Sandini, V. Tagliasco. An antropomorphic retina-like structure for scene analysis. Comput. Vision Graph. Image Process. 14 (4), 1980, 365-372. L: obraz 700*700. P: ta sama liczba piksli, rozdzielczość maleje od środka, logarytmicznie. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Zmienna rozdzielczość – realizacja Giulio Sandini personal page http://sandini.lira.dist.unige.it ~ 8 000 piksli. Biegunowy układ współrzędnych. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Biegunowy układ współrzędnych Giulio Sandini personal page http://sandini.lira.dist.unige.it Wszystkie równania inaczej sformułowane Wiele zalet, ale nie przyjęło się Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi Obserwujemy obraz poruszając okiem Ponieważ mamy nierównomierną rozdzielczość widzenia Aby uniknąć przeciążenia „procesora wzroku” Gdyby nie zmienna rozdzielczość, potrzebowalibyśmy nie 6 M, ale >60 M czujników Nerw wzrokowy miałby średnicę >5 cm! i tak dalej... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – przykład Ilja J. Riepin - "Nie oczekiwali„ (1884-1888). Wikimedia. Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – trzy zadania A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Zapamiętać położenie osób i przedmiotów Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – trzy zadania A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Określić wiek osób Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – trzy zadania A. L. Yarbus. Eye Movements and Vision. Plenum Press, New York, 1967. Co robili przed przybyciem gościa? Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Skupianie uwagi – trzy zadania Położenia przedmiotów Wiek osób Co robili przedtem? Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Ruchy sakadowe 3 ruchy/s Mimo to, świat postrzegamy jako stały System wizyjny korzysta ze świata jak z pamięci zewnętrznej Będziemy się zajmowali prostszymi zagadnieniami Co robili przedtem? Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Postrzeganie położenia i ruchu Rysunki – proste Wpływ na sposób analizy – zasadniczy P.K. Kaiser. The Joy of Visual Perception. http://www.yorku.ca/eye/thejoy.htm Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Sposoby skupiania uwagi Człowiek i inne stworzenia Ruch okiem Ruch głową Łatwo! P.K. Kaiser. The Joy of Visual Perception. http://www.yorku.ca/eye/thejoy.htm Układ sztuczny: komplikacje!! www.irt.uni-hannover.de/irt/asr/cam-en.html Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Sposoby skupiania uwagi Człowiek i inne stworzenia Oko bez ruchu: komplikacje!! P.K. Kaiser. The Joy of Visual Perception. http://www.yorku.ca/eye/thejoy.htm Układ sztuczny: łatwo . www.canon.pl Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Sposoby skupiania uwagi Układ sztuczny: wielka rozdzielczość: > 10 MB przypomnijmy sobie splot... a to tylko najprostsza operacja... konieczne bardzo szybkie przetwarzanie albo kompresja danych szybkie skupianie uwagi przejście od piksli do krawędzi i wiele innych technik... Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Gdzie jest układ współrzędnych? System sztuczny: układ związany z kamerą System żywy: układ związany ze światem lepsza dokładność Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

System żywy a system sztuczny zmienna rozdzielczość – plamka żółta ruch okiem i głową jako mechanizm skupienia układ współrzędnych związany ze światem - łatwa manipulacja Sztuczny: stała, duża rozdzielczość w całym polu widzenia wybór obszaru jako mechanizm skupienia układ współrzędnych związany z kamerą - manipulacja utrudniona Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

System żywy a system sztuczny Wzrok ożywiony (w uproszczeniu) Zmienna rozdzielczość Ruchoma oś optyczna „Dowolne” oświetlenie Położenie określane względem innych obiektów Szeroka wiedza o obiektach Analiza jakościowa Ogólność wyniku Wzrok sztuczny (w uproszczeniu) Stała rozdzielczość Stała oś Kontrolowane oświetlenie Układ współrzędnych obserwatora Wiedza ograniczona do zastosowania Analiza ilościowa Szczegółowość wyniku Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Znaczenie... ? Zasadnicze pytania: Problem odporności analiza zależna tylko od treści obrazu niezależna od... punktu początkowego analizy położenia i kierunku danych przypadkowych braku części danych ... Problem odporności Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Tematy przed nami Tworzenie obrazu cyfrowego, kwantyzacje. Operacje jednopikslowe Korekcje. Przekształcenia histogramu. Operacje lokalne. Splot. Filtracje. Proste detektory krawędzi. Operacje obszarowe. Detekcja krawędzi. Śledzenie krawędzi. Aktywne kontury. Operacje globalne. Transformaty. Transformaty Hougha. Metody odporne na zakłócenia. Segmentacja obrazów. Segmentacja na podstawie krawędzi i obszarów. Obiekty i ich cechy. Szkielety i topologia. Liczbowe cechy obiektów. … Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów

Podsumowanie Wzrok wzrokowi nierówny; ssaki nie narzekają Widzenie zależy od celu Reagujemy na krawędzie, krzywizny, jasność, kontrast, ...  wyrazistość Wiele różni nas od systemów sztucznych, m.in. rozdzielczość i jej konsekwencje Systemy sztuczne – dużo danych: myślmy o szybkości przetwarzania:  cechy obrazu ważna jest odporność na zakłócenia bardzo ważne: niezależność od położenia, kierunku, … Podstawy analizy obrazu. 1. Zmysł wzroku i cyfrowa analiza obrazów