Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie W oparciu o wykład Dr. Hadi Moradi University of Southern California Percepcja Robotów

Maszynowe Widzenie Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). Przykład: drużyna robotów (ang. RoboCup)drużyna robotów –Roboty humanoidalne (2 min)Roboty humanoidalne –Mała liga (2 min)Mała liga

Fizyka wzroku Światło przechodzi przez tęczówkę Pada na siatkówkę oka

Wczesne i późniejsze widzenie Wczesne widzenie: nerwy przetwarzają informację Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

Przetwarzanie światła w kamerze Bardzo proste przetwarzanie W aparatach –Halogenki srebra na filmie fotograficznym, –Półprzewodnikowy przetwornik obrazu (CCDs)

Skupienie obrazu Obraz wynikowy nie jest całkowicie ostry Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne Ten zakres w aparatach jest nazwany głębią pola.

Rekonstrukcja obrazu Rekonstrukcja: jaki był świat, który wytworzył ten obraz? Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu (zauważ, że będą one odwrócone).

Rozbicie obrazu na piksele piksele: komórki obrazu –Każdy obraz jest podzielony na małe komórki Typowy aparat: 1024 X 1024 pikseli Ludzkie oko: –120 x 10 6 rods (pręcików) –6 x 10 6 cones (czopków na siatkówce)

Jasność obrazu Jasność: proporcjonalna do ilości światła skierowanego na aparat Jasność zależy od: –współczynnika odbicia powierzchni –pozycji i rozproszenia źródeł światła w środowisku –ilości światła odbitego od innych przedmiotów w otoczeniu na obserwowana powierzchnię

Elementy wczesnego widzenia Przykład: –Czarno-biały aparat –Płaszczyzna obrazu 1024 x 1024 pikseli. –Poziom intensywności między białym a czarnym Pytanie: –Czy wiemy czy jest przedmiot? –Jak znaleźć przedmiot w płaszczyźnie obrazu? Charakterystyczny pierwszy krok: –wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak ?

Przykład

Wykrywanie krawędzi Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności Proste podejście: szukać ostrych zmian jasności: – przez różniczkowanie obrazu –szukaj obszarów gdzie wielkość pochodnej jest duża cienie Problem: cienie innych przedmiotów.

Łagodzenie szumu Szum: małe odchylenia w zróżniczkowanym obrazie. Usuwanie szumu: – Nazywane wygładzaniem – Splot: znajdź i usuń odizolowane odchylenia – Splot stosuje filtr obrazu. Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

Przykład: Projekt ludzkiego ciała Wyszukiwanie krawędzi

Złożoność obliczeń Wykrywanie krawędzi zostało dobrze przestudiowane Wykrywanie krawędzi nie jest obliczeniowo proste. => Wizja wymaga złożonego przetwarzania.

Znajdywanie przedmiotów Krok 2: Znajdź przedmioty pośród wszystkich tych krawędzi. Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. Pytania: –Skąd wiemy które linie odpowiadają którym przedmiotom? –Co tworzy przedmiot/obiekt? Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

Wykryty obiekt

Wskazówki dla segmentacji (1) Użycie nagromadzonych modeli (wizja bazująca na modelach) – porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań – weź pod uwagę rotację, przesunięcie, i skalowanie – przykład: MARKO, robot do kanałów ściekowych

Wskazówki dla segmentacji(2) Wykorzystanie ruchu (wizja bazująca na ruchu) –porównaj dwa kroki czasowe, odejmij obrazy –przedmioty poruszają się jak konkretne elementy, wszystkie razem –jasność, kolor, tekstura, kształt, itp., pozostają takie same –nic innego nie powinno się poruszać

Wskazówki dla segmentacji (3) Użycie zdolności widzenia binokularnego (wizja stereo) –Dwie kamery obserwują teren –Dwa obrazy bez konieczności poruszania –Ponownie odejmij, użyj znanych różnic

Wskazówki dla segmentacji (4) lewy obraz prawy obraz Obraz po rozpoznaniu różnic

Wskazówki dla segmentacji(5) Użycie tekstur – jednolita tekstura prawdopodobnie pochodzi od jednego obiektu – porównaj dwa kroki czasowe, odejmij obrazy cieniowania Użyj cieniowania, konturowania, … – odzyskaj kształt w podobny sposób jak z tekstury

Przykłady segmentacji Robot ukladajacy kostke Rubika

Strategie biologiczne Wiele strategii jest wykorzystywanych w systemach biologicznych Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. Dostrzeganie nowości, niespodziewanego przedmiotu –Trudne w każdym systemie

Złożoność wyczuwania wizji Rekonstrukcja: opisane metody są konieczne –Są one obliczeniowo bardzo złożone i przez to powolne Jeśli nie ma potrzeby rekonstrukcji: –Uprościć przetwarzanie wizji Q: Jak można tego dokonać?

Uproszczenie wizji Użycie koloru –Drużyny sportowe Użycie mniejszego planu obrazu (np. linii) –Czytanie jednej linii naraz –Puzzles Użycie innych czujników aby uzupełnić wiedzę –podczerwień, sonar, zaciski, itp. Użycie informacji przydatnej dla określonego zadania –do kierowania, szukaj białych linii na drodze –zawsze szukaj właściwego sensora dla określonego zadania!

Czujniki ultradźwiękowe – pomiar czasu i odległości – nadajniki i odbiorniki – sonary w biologii

Czas Przelotu Nadajnik: wysyla impuls Odbiornik: otrzymuje odbity sygnal Roznica czasu –342 m/sek Technika echolokacja

Pytanie? Czy jest to odczucie pasywne czy aktywne

Sonary w Technice Mapy oceanów

Problemy: Odbicia Otrzymanie sygnał ó w od innych sonar ó w

Inne zastosowania: NavBelt

Navchair

Laska Nawigacyjna

Nietoperze 7: odbiorników sonarnych Wiele częstotliwości do wykrywania różnych objektow Użyte do komunikacji –Lot nietoperza (1 min 45 sec)Lot nietoperza (1 min 45 sec)