Inteligentne Systemy Autonomiczne Roboty Reprezentacje W oparciu o wykład Dr. Hadi Moradi University of Southern California Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

Postrzeganie i działanie Sensory robotów Efektory robotów Maszynowe widzenie Wykrywanie krawędzi Segmentacja Sonary Nanotechnologia

SENSORS Sensory robotów Sensor –mierzy fizyczną wielkośc i konwertujące ją na sygnał, który może być odczytany przez obserwatora lub używające go urządzenia. Przykłady: termometr rtęciowy - przetwarza wartość temperatury poprzez zmiany objętości cieczy, które mogą być odczytane na szklanym walcu. próżniomierz termoelektryczny - zamienia temperaturę na napięcie elektryczne mogące być później odczytywane za pomocą miernika. Wszystkie sensory powinny być kalibrowane według okreslonego wzorca. Czułość sensora wskazuje jak bardzo sygnał wyjściowy z sensora zmieni się, jeśli zmieni się mierzona wartość. Dla przykładu, jesli słupek rtęci w termometrze rozszerza się o 1cm przy wzroście temperatury o 1° to jego czułość wynosi 1cm/1°.

SENSORS Sensory robotów Czujniki dostarczają wiedzy o środowisku poprzez wykrywanie rzeczy. Jest to system, który informuje roboty. Wykrywanie może mieć rożne formy jak Światło Dźwięk Ciepło Chemikalia Siła Bliskość obiektu Orientacja fizyczna Pola magnetyczne i elektryczne Temperatura Ciśnienie Oporność

Sensory robotów Czujniki zbliżeniowe są używane do pomiaru odległości lub położenia obiektów w środowisku. Może to być wykorzystane do określenia położenia robota. Czujniki podczerwieni określają odległość do przedmiotu przez pomiar ilości światła podczerwonego, które obiekt odbija Czujniki ultradźwiękowe (sonary) mierzą czas, który sygnał ultradźwiękowy potrzebuje by wrócic do robota Dalmierze laserowe określają odległość albo przez pomiar czasu potrzebnego aby wiązka lasera odbiła się do robota lub pomiaru, gdzie uderzyła w obiekt wiązka lasera.

Sensory robotów Widzenie komputerowe (Computer Vision) umożliwia robotom bierne obserwowanie otoczenia Systemy stereo-wizyjne zapewniają pełną informację o lokalizacji za pomocą triangulacji Jednak wizja komputerowa jest bardzo skomplikowana Problem odpowiedników sprawia ze stereo wizja jest jeszcze trudniejsza

Sensory robotów Wewnętrzne czujniki do pomiaru konfiguracji robota Nadajniki pomiaru kąta obrotu wyłączniki ograniczen wykrywają, kiedy przegub osiągnął limit

Rodzaje sensorów Napięcie i ciśnienie Aplikacje Ładunek Nacisk Aplikacje Podłogi Drzwi Okna Wagi Przykład czujniki wagi "Smart Floor" Georgia Tech Napięcie wzbudzenia 10-15 VDC 2,2 mV wyjście na wolt wzbudzenia Próbkowanie 300 razy na sekundę

Rodzaje sensorów Położenie, kierunek, odległość i ruch Aplikacje Akcelerometr Żyroskop Kompas Ruch Aplikacje Bezpieczeństwo Lokalizacja Śledzenie

Rodzaje sensorów Światło, promieniowanie i temperatura Aplikacje Aparat fotograficzny Czujniki światła Czujniki promieniowania Czujniki temperatury Aplikacje Bezpieczeństwo, lokalizacja, śledzenie Ochrona zdrowia Sprawność energii

Rodzaje sensorów Dźwięk Aplikacje Mikrofon Bezpieczeństwo Kontrola głośności Rozpoznawanie mowy

Rodzaje sensorów Ciała stałe, ciecze i gazy Aplikacje Wilgotność Deszcz Dwutlenek węgla pH Przepływ Aplikacje Konserwacja basenu Wydajność zraszaczy Monitorowanie bezpieczeństwa i higieny

Efektory Efektor Efektorami są także siłowniki urządzenie sterowane przez robota, które oddziałuje na otaczające środowisko w celu realizacji zaplanowanych zadań. Efektorami są także siłowniki silniki, serwomechanizmy, napędy pneumatyczne, ramiona, chwytaki

Rodzaje efektorów Wskaźniki Ruch Egzotyczne Światła Dźwięku Wibracji Przekaźniki / przełączniki Silniki Elektromagnesy Egzotyczne Metale kształtu Źródła EM Materiały wybuchowe

Rodzaje efektorów Wyświetlacze Dźwięk Egzotyczne Tekst Grafika Generacja głosu Egzotyczne Generacja mowy holograficzne projekcje

Rodzaje efektorów ● Przemieszczanie ● Chwytaki – Koła – Gąsienice – Skrzydła (śmigła) – Płetwy ● Chwytaki – akcesoria spawalnicze – Pistolety lakiernicze – Uchwyty

Wybór efektorów ● Obciążenie (tarcie) ● Prędkość ● Skuteczność ● Precyzja ● Powtarzalność ● Niezawodność ● Zapotrzebowanie na energię ● Sposób kontroli

Niepewność w systemach robotów Systemy robotów w inteligentnych środowiskach mają do czynienia z szumami czujników i z rożnymi niepewnościami Niepewność sensorów Odczyty czujników są nieprecyzyjne i zawodne Brak obserwowalności Różne aspekty środowiska są nie obserwowalne Środowisko jest początkowo nieznane Niepewność akcji Akcje mogą zawieść Działania prowadzą do niedeterministycznych wyników https://coswarm.wordpress.com/2013/01/25/why-a-robot-should-study-probability/

Probabilistyczna lokalizacja w robotach Bezpośredni opis niepewności stosując filtry Bayesa: Używany do: Okreslenia położenia Budowy mapy Budowy modelu https://coswarm.wordpress.com/2013/01/25/why-a-robot-should-study-probability/

Maszynowe widzenie Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). Przykład: drużyna robotów (ang. RoboCup) Roboty humanoidalne (2 min) Mała liga (2 min)

Widzenie Światło przechodzi przez tęczówkę Pada na siatkówkę oka Wczesne widzenie: nerwy przetwarzają informację Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

Przetwarzanie światła w kamerze W aparatach Halogenki srebra na filmie fotograficznym, Półprzewodnikowy przetwornik obrazu (CCDs) Bardzo proste przetwarzanie

Skupienie obrazu Obraz wynikowy nie jest całkowicie ostry Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne Ten zakres w aparatach jest nazwany głębią pola.

Rekonstrukcja obrazu Rekonstrukcja: jaki był świat, który wytworzył ten obraz? Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu (zauważ, że będą one odwrócone). piksele: komórki obrazu Każdy obraz jest podzielony na małe komórki Typowy aparat: 1024 X 1024 pikseli Ludzkie oko: 120 x 106 rods (pręcików) 6 x 106 cones (czopków na siatkówce)

Elementy wczesnego widzenia Przykład: Czarno-biały aparat Płaszczyzna obrazu 1024 x 1024 pikseli. Jasność obrazu zależy od: współczynnika odbicia powierzchni pozycji i rozproszenia źródeł światła w środowisku ilości światła odbitego od innych przedmiotów Pytanie: Czy wiemy czy jest przedmiot? Jak znaleźć przedmiot w płaszczyźnie obrazu? Charakterystyczny pierwszy krok: wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak?

Przykład

Wykrywanie krawędzi Proste podejście: szukać ostrych zmian jasności: Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności Proste podejście: szukać ostrych zmian jasności: przez różniczkowanie obrazu szukaj obszarów gdzie wielkość pochodnej jest duża Problem: cienie innych przedmiotów. Wykrywanie krawędzi zostało dobrze przestudiowane Wykrywanie krawędzi nie jest obliczeniowo proste. => Wizja wymaga złożonego przetwarzania.

Przykład: obrazowanie ludzkiego mozgu Wyszukiwanie krawędzi

Łagodzenie szumu Szum: małe odchylenia w zróżniczkowanym obrazie. Usuwanie szumu: Nazywane wygładzaniem Splot: znajdź i usuń odizolowane odchylenia Splot stosuje filtr obrazu. Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

Znajdywanie przedmiotów Krok 2: Znajdź przedmioty pośród wszystkich tych krawędzi. Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. Pytania: Skąd wiemy które linie odpowiadają którym przedmiotom? Co tworzy przedmiot/obiekt? Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

Wykryty obiekt

Wskazówki dla segmentacji Użycie nagromadzonych modeli (wizja bazująca na modelach) porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań weź pod uwagę rotację, przesunięcie, i skalowanie przykład: MARKO, robot do kanałów ściekowych

Wskazówki dla segmentacji Wykorzystanie ruchu (wizja bazująca na ruchu) porównaj dwa kroki czasowe, odejmij obrazy przedmioty poruszają się jak konkretne elementy, wszystkie razem jasność, kolor, tekstura, kształt, itp., pozostają takie same nic innego nie powinno się poruszać

Wskazówki dla segmentacji Użycie zdolności widzenia binokularnego (wizja stereo) Dwie kamery obserwują teren Dwa obrazy bez konieczności poruszania Ponownie odejmij, użyj znanych różnic Użycie tekstur jednolita tekstura prawdopodobnie pochodzi od jednego obiektu porównaj dwa kroki czasowe, odejmij obrazy Użyj cieniowania, konturowania, … odzyskaj kształt w podobny sposób jak z tekstury

Przykłady segmentacji Robot ukladajacy kostke Rubika

Strategie biologiczne Wiele strategii jest wykorzystywanych w systemach biologicznych Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. Dostrzeganie nowości, niespodziewanego przedmiotu Trudne w każdym systemie

Uproszczenie przetwarzania wizji Jak uprościć przetwarzanie wizji? Użycie koloru Drużyny sportowe Użycie mniejszego planu obrazu (np. linii) Czytanie jednej linii naraz Puzzles Użycie innych czujników aby uzupełnić wiedzę podczerwień, sonar, zaciski, itp. Użycie informacji przydatnej dla określonego zadania do kierowania, szukaj białych linii na drodze zawsze szukaj właściwego sensora dla określonego zadania!

Czujniki ultradźwiękowe pomiar czasu i odległości nadajniki i odbiorniki sonary w biologii Nadajnik: wysyla impuls Odbiornik: otrzymuje odbity sygnal Roznica czasu 342 m/sek Technika echolokacja

Pytanie? Czy jest to odczucie pasywne czy aktywne

Sonary w Technice Mapy oceanów

Problemy: Odbicia Otrzymanie sygnałów od innych sonarów

Inne zastosowania: NavBelt http://www.engin.umich.edu/research/mrl/00MoRob_19.html

Navchair http://www.engin.umich.edu/research/mrl/00MoRob_19.html

Laska Nawigacyjna

Laska Nawigacyjna

Nietoperze 7: odbiorników sonarnych Wiele częstotliwości do wykrywania różnych objektow Użyte do komunikacji Lot nietoperza (1 min 45 sec)