Inteligentne Systemy Autonomiczne Roboty Reprezentacje W oparciu o wykład Dr. Hadi Moradi University of Southern California Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

Maszynowe Widzenie Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). Przykład: drużyna robotów (ang. RoboCup) Roboty humanoidalne (2 min) Mała liga (2 min)

Fizyka wzroku Światło przechodzi przez tęczówkę Pada na siatkówkę oka

Wczesne i późniejsze widzenie Wczesne widzenie: nerwy przetwarzają informację Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

Przetwarzanie światła w kamerze W aparatach Halogenki srebra na filmie fotograficznym, Półprzewodnikowy przetwornik obrazu (CCDs) Bardzo proste przetwarzanie

Skupienie obrazu Obraz wynikowy nie jest całkowicie ostry Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne Ten zakres w aparatach jest nazwany głębią pola.

Rekonstrukcja obrazu Rekonstrukcja: jaki był świat, który wytworzył ten obraz? Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu (zauważ, że będą one odwrócone).

Rozbicie obrazu na piksele piksele: komórki obrazu Każdy obraz jest podzielony na małe komórki Typowy aparat: 1024 X 1024 pikseli Ludzkie oko: 120 x 106 rods (pręcików) 6 x 106 cones (czopków na siatkówce)

Jasność obrazu Jasność: proporcjonalna do ilości światła skierowanego na aparat Jasność zależy od: współczynnika odbicia powierzchni pozycji i rozproszenia źródeł światła w środowisku ilości światła odbitego od innych przedmiotów w otoczeniu na obserwowana powierzchnię

Elementy wczesnego widzenia Przykład: Czarno-biały aparat Płaszczyzna obrazu 1024 x 1024 pikseli. Poziom intensywności między białym a czarnym Pytanie: Czy wiemy czy jest przedmiot? Jak znaleźć przedmiot w płaszczyźnie obrazu? Charakterystyczny pierwszy krok: wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak?

Przykład

Wykrywanie krawędzi Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności Proste podejście: szukać ostrych zmian jasności: przez różniczkowanie obrazu szukaj obszarów gdzie wielkość pochodnej jest duża Problem: cienie innych przedmiotów.

Łagodzenie szumu Szum: małe odchylenia w zróżniczkowanym obrazie. Usuwanie szumu: Nazywane wygładzaniem Splot: znajdź i usuń odizolowane odchylenia Splot stosuje filtr obrazu. Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

Przykład: Projekt ludzkiego ciała Wyszukiwanie krawędzi

Złożoność obliczeń Wykrywanie krawędzi zostało dobrze przestudiowane Wykrywanie krawędzi nie jest obliczeniowo proste. => Wizja wymaga złożonego przetwarzania.

Znajdywanie przedmiotów Krok 2: Znajdź przedmioty pośród wszystkich tych krawędzi. Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. Pytania: Skąd wiemy które linie odpowiadają którym przedmiotom? Co tworzy przedmiot/obiekt? Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

Wykryty obiekt

Wskazówki dla segmentacji (1) Użycie nagromadzonych modeli (wizja bazująca na modelach) porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań weź pod uwagę rotację, przesunięcie, i skalowanie przykład: MARKO, robot do kanałów ściekowych

Wskazówki dla segmentacji(2) Wykorzystanie ruchu (wizja bazująca na ruchu) porównaj dwa kroki czasowe, odejmij obrazy przedmioty poruszają się jak konkretne elementy, wszystkie razem jasność, kolor, tekstura, kształt, itp., pozostają takie same nic innego nie powinno się poruszać

Wskazówki dla segmentacji (3) Użycie zdolności widzenia binokularnego (wizja stereo) Dwie kamery obserwują teren Dwa obrazy bez konieczności poruszania Ponownie odejmij, użyj znanych różnic

Wskazówki dla segmentacji (4) lewy obraz prawy obraz Obraz po rozpoznaniu różnic

Wskazówki dla segmentacji(5) Użycie tekstur jednolita tekstura prawdopodobnie pochodzi od jednego obiektu porównaj dwa kroki czasowe, odejmij obrazy Użyj cieniowania, konturowania, … odzyskaj kształt w podobny sposób jak z tekstury

Przykłady segmentacji Robot ukladajacy kostke Rubika

Strategie biologiczne Wiele strategii jest wykorzystywanych w systemach biologicznych Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. Dostrzeganie nowości, niespodziewanego przedmiotu Trudne w każdym systemie

Złożoność wyczuwania wizji Rekonstrukcja: opisane metody są konieczne Są one obliczeniowo bardzo złożone i przez to powolne Jeśli nie ma potrzeby rekonstrukcji: Uprościć przetwarzanie wizji Q: Jak można tego dokonać?

Uproszczenie wizji Użycie koloru Drużyny sportowe Użycie mniejszego planu obrazu (np. linii) Czytanie jednej linii naraz Puzzles Użycie innych czujników aby uzupełnić wiedzę podczerwień, sonar, zaciski, itp. Użycie informacji przydatnej dla określonego zadania do kierowania, szukaj białych linii na drodze zawsze szukaj właściwego sensora dla określonego zadania!

Czujniki ultradźwiękowe pomiar czasu i odległości nadajniki i odbiorniki sonary w biologii

Czas Przelotu Nadajnik: wysyla impuls Odbiornik: otrzymuje odbity sygnal Roznica czasu 342 m/sek Technika echolokacja

Pytanie? Czy jest to odczucie pasywne czy aktywne

Sonary w Technice Mapy oceanów

Problemy: Odbicia Otrzymanie sygnałów od innych sonarów

Inne zastosowania: NavBelt http://www.engin.umich.edu/research/mrl/00MoRob_19.html

Navchair http://www.engin.umich.edu/research/mrl/00MoRob_19.html

Laska Nawigacyjna

Laska Nawigacyjna

Nietoperze 7: odbiorników sonarnych Wiele częstotliwości do wykrywania różnych objektow Użyte do komunikacji Lot nietoperza (1 min 45 sec)

MEMS: Miniaturowe Motory Ludzki włos Nanotechnologia Male i mniejsze Video 2:30 min Nanotechnologia Video 9:54 min

Video 7:30 min Nanotechnologie rewolucjonizują medycynę Prawie niewidoczne narzędzia robione przez Europejskich badaczy do wykrywania chorób i leczenia pacjentów. Zmniejszanie instrumentów do wymiarow mikro i nano sa obietnica by uczynić nasze zycie bezpieczniejszym i czyściejszym. W projekcie "Adonis", cząsteczki złota o wymiarach nano sa użyte do wykrywania komórek raka prostaty we wczesnym stadium. Video 7:30 min http://www.zangani.com/node/2763

Nanotechnologia 101 Nanotechnologia jest sztuka I nauka manipulowania przedmiotami w skali nano (do 1/100,000 grubości włosa ludzkiego) w celu wyprodukowania nowych unikalnych materiałów i wyrobów. Jeśli by zmniejszyc człowieka do 100 nm to odległość do księżyca byłaby 20 cm. Nanotechnologia ma ogromny potencjał dla społeczeństwa. Szacunkowe nakłady na badania w zakresie nano technologii na świecie rzędu $9 mld rocznie maja doprowadzić do: Nowych metod leczenia i narzędzi medycznych; Bardziej wydajna produkcja, przesyłania i magazynowanie energii; Łatwiejszy dostęp do czystej wody; Bardziej skuteczne zmniejszanie zanieczyszczeń; Mocniejsze, lżejsze materiały i inne zastosowania.

Nanotechnologia 101 No to co? Nano to rozmiary cząsteczek i atomow z których zrobiona jest materia na świecie. W tej skali naukowcy mogą bezpośrednio manipulować własnościami materiałów czyniąc je bardziej twardymi, lżejszymi czy trwałymi. Czasem tylko zmniejszanie rzeczy do poziomu nano zmnienia ich własności. Preparat może zmienić kolor lub Zacząć przewodzić prąd elektryczny Cząsteczki nano sa bardziej aktywne chemicznie o większej powierzchni Nanorurki zrobione z węgla daja materiały 30 razy mocniejsze niż stal a jednocześnie 6 razy lżejsze. http://www.nanotechproject.org/topics/nano101/introduction_to_nanotechnology/

Nanotechnologia 101 Nanorurki Wartość rynkowa 9:50min W 2007 sprzedano wyrobów w oparciu o nanotechnologie za $60 miliardow. Nanotechnologia pozwoli stworzyć 7 milionow miejsc pracy w następnym dziesięcioleciu. W 2014, wyroby o wartości $2.6 bilionow będzie wytwarzanych w oparciu o nanotechnologie. Węglowe nanorurki daja lżejsze i mocniejsze rakiety tenisowe i ramy rowerowe. Nanocząsteczki dwutlenku tytanu i tlenku cynku sa używane w kremach przeciw słonecznych. Nanocząsteczki srebra sa bakteriobójcze i zabezpieczają jedzenie w torebkach plastikowych prze zepsuciem. Ubrania powlekane pokryciem z nanocząsteczek sa odporne na brud i nie elektryzują sie. Kostki komputerow używające elementow w skali nano sa używane w sprzęcie elektronicznym, aparatach cyfrowych, i grach wideo.

Przyszłe Technologie Video: Cześć 1: 7:00 min Cześć 2: 7:50 min