1 Rozpoznawanie obrazów

2 Proces przetwarzania w systemie wizyjnym może być podzielony na trzy części: Uzyskanie cyfrowej reprezentacji obrazu (recepcja, akwizycja); Przetworzenie obrazu cyfrowego z wykorzystaniem technik komputerowych; Analiza i przetworzenie rezultatów w celu sterowania robotami, kontroli automatycznych procesów, kontroli jakości, itp.

3 Główne funkcje systemu wizyjnego to: Kontrola (określenie pozycji i ewentualne wygenerowanie komend do robota w celu wykonania pewnych czynności. Np. wybranie obszaru do malowania przez robota, kontrola elementów, itp. ); Badanie (określenie parametrów elementów, np. kształtu, jakości powierzchni, ilości otworów ); Wprowadzanie danych (informacje o jakości produktów, materiałów mogą być umieszczone w bazie danych. W tym czasie te dane mogą być sprawdzone w procesie inspekcji.).

4 Zestawienie obrazujące możliwości człowieka i cyfrowego systemu wizyjnego: CechaCzłowiekKomputer Zdolności adaptacyjne Duże zdolności adaptacyjne, związane zarówno z celem jak i typem wejścia. System sztywny w sensie postawionego celu rozpoznania oraz w sensie typu wejścia (wymaga obrazu dyskretnego - piksele). Sposób rozpoznawania Zdolności dokonywania względnie dokładnych oszacowań badanych obiektów, np. wykrywanie zepsutych owoców na podstawie koloru, tekstury (faktury), kształtu, zapachu. Zdolność dokonywania pomiarów przestrzennych na zdeterminowanym obrazie wejściowym, np.: długość i powierzchnia – zliczanie pikeseli. Kolor Subiektywna interpretacja.Pomiar parametrów R,G, B. Czułość Ograniczona zdolność identyfikacji poziomów szarości (~7 - 10). Zależna od rodzaju układu pozyskiwania obrazu.

5 CechaCzłowiekKomputer Czas reakcji ~0,1 s Zależnie od realizacji sprzętowej i oprogramowania systemu komputerowego ~1/1000s lub mniejszy. Działanie w przestrzeni 2D i 3D Łatwa lokalizacja i rozpoznanie obiektów. Łatwiejsza lokalizacja i rozpoznanie obiektów w przestrzeni 2D niże 3D. Percepcja Percepcja jasności w skali logarytmicznej. Wpływ otaczającego obszaru (tła) na sposób percepcji Możliwość percepcji zarówno w skali liniowej jak i logarytmicznej. Zakres fal nm ~10nm – promieniowanie X do ~10 3  m (podczerwień).

6 Przykładowy schemat blokowy cyfrowego systemu wizyjnego:

7 W literaturze stosunkowo często spotyka się propozycje różnych parametrów, które mogą być wykorzystane do opisu kształtu obiektów widocznych na obrazie. Wybierając współczynniki decydujemy się albo na dokładniejsze odwzorowanie kształtu obiektu, albo na szybsze działanie algorytmu. Kryteria rozpoznawania i klasyfikacji obiektów cyfrowych

8 Współczynniki kształtu Współczynniki cyrkularności: W1 (wyznacza średnicę koła, którego pole jest równe polu danego obiektu) W2 (Wyznacza średnicę koła o obwodzie równym obwodowi analizowanego obiektu) gdzie: L – obwód rzutu obiektu S – pole rzutu obiektu Powyższe współczynniki powinny być normalizowane.

9 współczynnik Malinowskiej Można go jeszcze bardziej uprościć otrzymując w rezultacie współczynnik nazwany Mz (W9). Współczynniki W1, W2, W3 mają prostą postać i są szybkie do obliczenia.

10 współczynnik Blaira-Blissa (większa wrażliwość na zmiany kształtu) współczynnik Danielssona gdzie: i – numer piksela obiektu r i – odległość piksela obiektu od środka ciężkości obiektu l i – minimalna odległość piksela od konturu obiektu

11 współczynnik Harlicka gdzie: i – numer piksela obiektu d i – odległość pikseli konturu obiektu od jego środka ciężkości n – liczba punktów konturu Współczynniki W4, W5, W6 wolniejsze w obliczaniu niż W1, W2, W3.

12 Czasami są przydatne cechy pośrednie, które określają np. współczynniki: W7 (nazywany Lp1), badający zmienność minimalnej i maksymalnej odległości środka ciężkości od konturu obiektu W8 (nazywany Lp2) podający stosunek maksymalnego gabarytu do obwodu obiektu. gdzie: r min – minimalna odległość konturu od środka ciężkości R max – maksymalna odległość konturu od środka ciężkości L max – maksymalny gabaryt obiektu L – obwód rzutu obiektu

13 W9 nazwany współczynnikiem Mz (uproszczony współczynnik Malinowskiej) gdzie: L – obwód rzutu obiektu S – pole rzutu obiektu

14 Podstawowe parametry: pole obiektu: obwód obiektu:

15 gdzie: S – pole obiektu L – obwód obiektu n x m – rozmiar obiektu – współrzędna x środka ciężkości – współrzędna y środka ciężkości środek ciężkości:

16 Przykładowe figury:

17 Formuła Crofton’a: gdzie: N 0 N 90 N 45 N 135 – rzuty figury dla wybranych kierunków rzutowania, a – odległość punktów siatki.

18 Przykładowe elementy strukturalne do wyznaczania długości rzutów figury: kątotoczeniekątotoczenie 0o0o 90 o 45 o 135 o

19 Momenty geometryczne: Dwuwymiarowy moment rzędu (p+q) dla funkcji f(x,y) :

20 Moment centralny f(x,y): gdzie:

21 Momenty centralne można przedstawić za pomocą momentów zwykłych:

22

23 Z powyższych zależności możemy wyznaczyć niezmienniki momentowe:

24

25 Wszystkie powyższe momenty teoretycznie powinny być inwariantne (niezmienne) ze względu na obrót, translację i zmianę skali obiektu.

26 W celu ujednolicenia obrazów o różnych rozmiarach wykorzystuje się znormalizowany moment centralny: Znormalizowane momenty centralne nie zapewniają niezmienniczości ze względu na obrót. Dlatego wprowadzono niezmienniki momentowe, które maja te własność.

27 Z powyższych zależności możemy wyznaczyć niezmienniki momentowe:

28

29

30 Przykłady klas rozpoznawanych obiektów:

31 Współczynnik W1 Bez zmiany skali

32 Współczynnik W2 Bez zmiany skali

33 Współczynniki W2 i W3

34 Współczynniki W4 i W5

35 Współczynniki W6 i W7

36 Współczynniki W8 i W9

37 Moment M1 Po usunięciu trójkąta rozwartokątnego

38 Momenty M2 i M3

39 Momenty M4 i M5

40 Moment M7 Po usunięciu trójkąta rozwartokątnego

41 Momenty M6 i M8

42 Momenty M9 i M10

43 Porównanie setek takich rysunków i związanych z nimi tabel wartości pozwala na wyselekcjonowanie najlepszych cech i na ocenę ich jakości.

44 Wrażliwość współczynników kształtu na zmianę skali:

45 Niewrażliwość momentów na zmianę skali:

46 Porównanie teoretycznych wartości kilku przykładowych współczynników dla wybranych figur geometrycznych: W3W4W4 Koło Elipsa o mimośrodzie wynoszącym g Wielokąt o m bokach Prostokąt o stosunku boków wynoszącym g Kwadrat Odcinek

47 cd: W5W5W6W6 Koło Elipsa o mimośrodzie wynoszącym g Wielokąt o m bokach Prostokąt o stosunku boków wynoszącym g Kwadrat Odcinek

48 Parametry przykładowych obiektów: polepole2(cm 2 )obwobw2(cm) koło , ,8413,083 kwadrat , ,3316,416 gwiazdka3240, ,837,014

49 Parametry przykładowych obiektów-2: polepole2(cm 2 )obwobw2(cm) koło2cm , ,1012,652 koło2cm , ,6112,555 koło2cm , ,2712,550

50 Parametry przykładowych obiektów-3: polepole2(cm 2 )obwobw2(cm) kwadrat5cm , ,6419,015 kwadrat5cm , ,9218,947 kwadrat5cm , ,9918,957

51 Parametry przykładowych obiektów-4: polepole2(cm 2 )obwobw2(cm) trójkąt5cm , ,4316,114 trójkąt5cm , ,2216,183 trójkąt5cm , ,7616,169

52 Parametry przykładowych obiektów-5: W1W2W3W4W8W9 koło2cm , ,54950,00611,00000, ,9939 koło2cm , ,6848-0,00031,00000, ,0003 koło2cm , ,8201-0,00061,00000, ,0006 kwadrat5cm , ,30000,07200,97720, ,9328 kwadrat5cm , ,89300,06820,97720, ,9362 kwadrat5cm , ,69300,06870,97720, ,9357 trójkąt5cm , ,94470,28480,72170,30740,7783 trójkąt5cm , ,59650,29020,72370,30840,7751 trójkąt5cm , ,89480,28910,72170,30840,7757

53 Parametry przykładowych obiektów-6: M1M2M3M4M5M6 koło2cm-1000, , ,53E-113,56E-12-3,23E-272,95E-26 koło2cm-2000, , ,37E-118,89E-131,18E-31-3,83E-26 koło2cm-3000, , ,08E-112,11E-12-1,32E-29-2,07E-21 kwadrat5cm-1000, , ,66E-101,84E-11-1,02E-21-1,22E-20 kwadrat5cm-2000, , ,54E-112,87E-12-6,67E-24-5,17E-18 kwadrat5cm-3000, , ,06E-125,67E-13-2,64E-25-4,65E-19 trójkąt5cm-1000, , ,85E-042,76E-059,86E-097,67E-07 trójkąt5cm-2000, , ,86E-042,74E-059,79E-097,62E-07 trójkąt5cm-3000, , ,86E-042,75E-059,79E-097,63E-07

54 Parametry przykładowych obiektów-7: M7M8M9M10cicj koło2cm-1000, ,14E-12-1,93E-13-3,69E-24118,50 koło2cm-2000, ,56E-11-9,01E-13-1,14E-23236,52236,50 koło2cm-3000, ,28E-12-2,28E-13-7,69E-24354,51354,49 kwadrat5cm-1000, ,84E-11-1,54E-123,51E-26158,00157,99 kwadrat5cm-2000, ,84E-12-2,36E-133,68E-25315,50 kwadrat5cm-3000, ,64E-13-4,68E-141,91E-26473,00 trójkąt5cm-1000, ,76E-04-2,74E-051,11E-13170,83137,99 trójkąt5cm-2000, ,76E-04-2,74E-057,28E-15341,17276,00 trójkąt5cm-3000, ,76E-04-2,74E-051,39E-15512,50414,00

55 Metody minimalnoodległościowe Dwuwymiarowa przestrzeń cech: Podejmowanie decyzji w metodzie NN:

56 Stosowane metryki (normy): - metryka euklidesowa: - metryka euklidesowa z wagą: - metryka uliczna: - metryka Czebyszewa: gdzie wagi określane np. na przedziale zmienności:

57 W przypadku gdy położenie (a) lub sklasyfikowanie (b) chociaż jednego obiektu ciągu uczącego jest błędne. Podejmowanie błędnych decyzji:

58 Zapobiega błędom wynikającym z pomyłek w ciągu uczącym (a), ale ogranicza czułość metody (b).: Metoda αNN: Parametr α jest wybierany tak aby: W praktyce α jest małą liczbą całkowitą.

59 Metody wzorców: Ilustracja pojęcia wzorca: Przy dyskretnych cechach prawdopodobieństwo rozpoznania metodą pokrycia punktów jest bardzo duże

60 Otoczenia kuliste o różnych promieniach pozwalają bardzo dokładnie odwzorować kształty obszarów o różnej topografii. Metoda NM (najbliższej mody):

61 Przykłady klas, dla których średnia nie jest dobrym wzorcem dla całej klasy. Przyjęcie mody M jako środka ciężkości obiektów rozważanych klas bywa bardzo dobrym rozwiązaniem w przypadku klas o regularnych i stosunkowo prostych kształtach:

62 Metody aproksymacyjne: Przykład liniowej separowalności klas: Przykład zadania, które nie jest liniowo separowalne:

63 Proces uczenia polegający na przemieszczaniu granicznej płaszczyzny: Poprawka położenia linii granicznej spowodowana przez jeden błędnie sklasyfikowany punkt: