Inteligentne Systemy Autonomiczne

Prezentacja na temat: "Inteligentne Systemy Autonomiczne"— Zapis prezentacji:

1 Inteligentne Systemy Autonomiczne
Roboty Reprezentacje W oparciu o wykład Dr. Hadi Moradi University of Southern California Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

2 Postrzeganie i działanie
Sensory robotów Efektory robotów Maszynowe widzenie Wykrywanie krawędzi Segmentacja Sonary Nanotechnologia

3 SENSORS Sensory robotów
Sensor –mierzy fizyczną wielkośc i konwertujące ją na sygnał, który może być odczytany przez obserwatora lub używające go urządzenia. Przykłady: termometr rtęciowy - przetwarza wartość temperatury poprzez zmiany objętości cieczy, które mogą być odczytane na szklanym walcu. próżniomierz termoelektryczny - zamienia temperaturę na napięcie elektryczne mogące być później odczytywane za pomocą miernika. Wszystkie sensory powinny być kalibrowane według okreslonego wzorca. Czułość sensora wskazuje jak bardzo sygnał wyjściowy z sensora zmieni się, jeśli zmieni się mierzona wartość. Dla przykładu, jesli słupek rtęci w termometrze rozszerza się o 1cm przy wzroście temperatury o 1° to jego czułość wynosi 1cm/1°.

4 SENSORS Sensory robotów
Czujniki dostarczają wiedzy o środowisku poprzez wykrywanie rzeczy. Jest to system, który informuje roboty. Wykrywanie może mieć rożne formy jak Światło Dźwięk Ciepło Chemikalia Siła Bliskość obiektu Orientacja fizyczna Pola magnetyczne i elektryczne Temperatura Ciśnienie Oporność

5 Sensory robotów Czujniki zbliżeniowe są używane do pomiaru odległości lub położenia obiektów w środowisku. Może to być wykorzystane do określenia położenia robota. Czujniki podczerwieni określają odległość do przedmiotu przez pomiar ilości światła podczerwonego, które obiekt odbija Czujniki ultradźwiękowe (sonary) mierzą czas, który sygnał ultradźwiękowy potrzebuje by wrócic do robota Dalmierze laserowe określają odległość albo przez pomiar czasu potrzebnego aby wiązka lasera odbiła się do robota lub pomiaru, gdzie uderzyła w obiekt wiązka lasera.

6 Sensory robotów Widzenie komputerowe (Computer Vision) umożliwia robotom bierne obserwowanie otoczenia Systemy stereo-wizyjne zapewniają pełną informację o lokalizacji za pomocą triangulacji Jednak wizja komputerowa jest bardzo skomplikowana Problem odpowiedników sprawia ze stereo wizja jest jeszcze trudniejsza

7 Sensory robotów Wewnętrzne czujniki do pomiaru konfiguracji robota
Nadajniki pomiaru kąta obrotu wyłączniki ograniczen wykrywają, kiedy przegub osiągnął limit

8 Rodzaje sensorów Napięcie i ciśnienie Aplikacje
Ładunek Nacisk Aplikacje Podłogi Drzwi Okna Wagi Przykład czujniki wagi "Smart Floor" Georgia Tech Napięcie wzbudzenia VDC 2,2 mV wyjście na wolt wzbudzenia Próbkowanie 300 razy na sekundę

9 Rodzaje sensorów Położenie, kierunek, odległość i ruch Aplikacje
Akcelerometr Żyroskop Kompas Ruch Aplikacje Bezpieczeństwo Lokalizacja Śledzenie

10 Rodzaje sensorów Światło, promieniowanie i temperatura Aplikacje
Aparat fotograficzny Czujniki światła Czujniki promieniowania Czujniki temperatury Aplikacje Bezpieczeństwo, lokalizacja, śledzenie Ochrona zdrowia Sprawność energii

11 Rodzaje sensorów Dźwięk Aplikacje Mikrofon Bezpieczeństwo
Kontrola głośności Rozpoznawanie mowy

12 Rodzaje sensorów Ciała stałe, ciecze i gazy Aplikacje Wilgotność
Deszcz Dwutlenek węgla pH Przepływ Aplikacje Konserwacja basenu Wydajność zraszaczy Monitorowanie bezpieczeństwa i higieny

13 Efektory Efektor Efektorami są także siłowniki
urządzenie sterowane przez robota, które oddziałuje na otaczające środowisko w celu realizacji zaplanowanych zadań. Efektorami są także siłowniki silniki, serwomechanizmy, napędy pneumatyczne, ramiona, chwytaki

14 Rodzaje efektorów Wskaźniki Ruch Egzotyczne Światła Dźwięku Wibracji
Przekaźniki / przełączniki Silniki Elektromagnesy Egzotyczne Metale kształtu Źródła EM Materiały wybuchowe

15 Rodzaje efektorów Wyświetlacze Dźwięk Egzotyczne Tekst Grafika
Generacja głosu Egzotyczne Generacja mowy holograficzne projekcje

16 Rodzaje efektorów ● Przemieszczanie ● Chwytaki – Koła – Gąsienice
– Skrzydła (śmigła) – Płetwy ● Chwytaki – akcesoria spawalnicze – Pistolety lakiernicze – Uchwyty

17 Wybór efektorów ● Obciążenie (tarcie) ● Prędkość ● Skuteczność
● Precyzja ● Powtarzalność ● Niezawodność ● Zapotrzebowanie na energię ● Sposób kontroli

18 Niepewność w systemach robotów
Systemy robotów w inteligentnych środowiskach mają do czynienia z szumami czujników i z rożnymi niepewnościami Niepewność sensorów Odczyty czujników są nieprecyzyjne i zawodne Brak obserwowalności Różne aspekty środowiska są nie obserwowalne Środowisko jest początkowo nieznane Niepewność akcji Akcje mogą zawieść Działania prowadzą do niedeterministycznych wyników

19 Probabilistyczna lokalizacja w robotach
Bezpośredni opis niepewności stosując filtry Bayesa: Używany do: Okreslenia położenia Budowy mapy Budowy modelu

20 Maszynowe widzenie Zadanie: zidentyfikować obiekty w środowisku (Zrozumieć środowisko). Przykład: drużyna robotów (ang. RoboCup) Roboty humanoidalne (2 min) Mała liga (2 min)

21 Widzenie Światło przechodzi przez tęczówkę Pada na siatkówkę oka
Wczesne widzenie: nerwy przetwarzają informację Późniejsze widzenie (wyższy poziom) przetwarzane w mózgu Bardzo duży procent mózgu jest odpowiedzialny za przetwarzanie wizualne

22 Przetwarzanie światła w kamerze
W aparatach Halogenki srebra na filmie fotograficznym, Półprzewodnikowy przetwornik obrazu (CCDs) Bardzo proste przetwarzanie

23 Skupienie obrazu Obraz wynikowy nie jest całkowicie ostry
Tylko przedmioty w wybranym zakresie odległości od soczewki są ostre i wyraźne Ten zakres w aparatach jest nazwany głębią pola.

24 Rekonstrukcja obrazu Rekonstrukcja: jaki był świat, który wytworzył ten obraz? Wymagane są obliczenia aby odtworzyć rzut obiektów ze środowiska na płaszczyznę obrazu (zauważ, że będą one odwrócone). piksele: komórki obrazu Każdy obraz jest podzielony na małe komórki Typowy aparat: 1024 X 1024 pikseli Ludzkie oko: 120 x 106 rods (pręcików) 6 x 106 cones (czopków na siatkówce)

25 Elementy wczesnego widzenia
Przykład: Czarno-biały aparat Płaszczyzna obrazu 1024 x 1024 pikseli. Jasność obrazu zależy od: współczynnika odbicia powierzchni pozycji i rozproszenia źródeł światła w środowisku ilości światła odbitego od innych przedmiotów Pytanie: Czy wiemy czy jest przedmiot? Jak znaleźć przedmiot w płaszczyźnie obrazu? Charakterystyczny pierwszy krok: wykrycie krawędzi: znajdź wszystkie krawędzie na obrazie. Jak?

26 Przykład

27 Wykrywanie krawędzi Proste podejście: szukać ostrych zmian jasności:
Krawędzie: krzywe na płaszczyźnie obrazu ze znaczącą zmianą poziomu jasności Proste podejście: szukać ostrych zmian jasności: przez różniczkowanie obrazu szukaj obszarów gdzie wielkość pochodnej jest duża Problem: cienie innych przedmiotów. Wykrywanie krawędzi zostało dobrze przestudiowane Wykrywanie krawędzi nie jest obliczeniowo proste. => Wizja wymaga złożonego przetwarzania.

28 Przykład: obrazowanie ludzkiego mozgu
Wyszukiwanie krawędzi

29 Łagodzenie szumu Szum: małe odchylenia w zróżniczkowanym obrazie.
Usuwanie szumu: Nazywane wygładzaniem Splot: znajdź i usuń odizolowane odchylenia Splot stosuje filtr obrazu. Aby znaleźć wszystkie krawędzie o jakimś nachyleniu w obrazie, splatamy obraz z filtrem dla tej orientacji.

30 Znajdywanie przedmiotów
Krok 2: Znajdź przedmioty pośród wszystkich tych krawędzi. Segmentacja: proces rozdzielania lub organizowania obrazu w części, które odpowiadają stałym przedmiotom. Pytania: Skąd wiemy które linie odpowiadają którym przedmiotom? Co tworzy przedmiot/obiekt? Użyj wskazówek aby dostrzec przedmioty. Złożone obliczenia...

31

32 Wykryty obiekt

33 Wskazówki dla segmentacji
Użycie nagromadzonych modeli (wizja bazująca na modelach) porównaj wszystkie krawędzie w obrazie ze wszystkimi modelami, szukając dopasowań weź pod uwagę rotację, przesunięcie, i skalowanie przykład: MARKO, robot do kanałów ściekowych

34 Wskazówki dla segmentacji
Wykorzystanie ruchu (wizja bazująca na ruchu) porównaj dwa kroki czasowe, odejmij obrazy przedmioty poruszają się jak konkretne elementy, wszystkie razem jasność, kolor, tekstura, kształt, itp., pozostają takie same nic innego nie powinno się poruszać

35

36

37 Wskazówki dla segmentacji
Użycie zdolności widzenia binokularnego (wizja stereo) Dwie kamery obserwują teren Dwa obrazy bez konieczności poruszania Ponownie odejmij, użyj znanych różnic Użycie tekstur jednolita tekstura prawdopodobnie pochodzi od jednego obiektu porównaj dwa kroki czasowe, odejmij obrazy Użyj cieniowania, konturowania, … odzyskaj kształt w podobny sposób jak z tekstury

38 Przykłady segmentacji
Robot ukladajacy kostke Rubika

39 Strategie biologiczne
Wiele strategii jest wykorzystywanych w systemach biologicznych Wizja stereo z dwoma oczyma jest wszechobecna u zwierząt mięsożernych (np. psy, koty) Jeśli obrazy między dwoma oczyma nie są połączone (jak u zwierząt roślinożernych np. krowy) wówczas informacje stereo mogą być połączone w mózgu. Dostrzeganie nowości, niespodziewanego przedmiotu Trudne w każdym systemie

40 Uproszczenie przetwarzania wizji
Jak uprościć przetwarzanie wizji? Użycie koloru Drużyny sportowe Użycie mniejszego planu obrazu (np. linii) Czytanie jednej linii naraz Puzzles Użycie innych czujników aby uzupełnić wiedzę podczerwień, sonar, zaciski, itp. Użycie informacji przydatnej dla określonego zadania do kierowania, szukaj białych linii na drodze zawsze szukaj właściwego sensora dla określonego zadania!

41 Czujniki ultradźwiękowe
pomiar czasu i odległości nadajniki i odbiorniki sonary w biologii Nadajnik: wysyla impuls Odbiornik: otrzymuje odbity sygnal Roznica czasu 342 m/sek Technika echolokacja

42 Pytanie? Czy jest to odczucie pasywne czy aktywne

43 Sonary w Technice Mapy oceanów

44 Problemy: Odbicia Otrzymanie sygnałów od innych sonarów

45 Inne zastosowania: NavBelt

46 Navchair

47 Laska Nawigacyjna

48 Laska Nawigacyjna

49 Nietoperze 7: odbiorników sonarnych
Wiele częstotliwości do wykrywania różnych objektow Użyte do komunikacji Lot nietoperza (1 min 45 sec)