Rozpoznawanie obrazów

Proces przetwarzania w systemie wizyjnym może być podzielony na trzy części: Uzyskanie cyfrowej reprezentacji obrazu (recepcja, akwizycja); Przetworzenie obrazu cyfrowego z wykorzystaniem technik komputerowych; Analiza i przetworzenie rezultatów w celu sterowania robotami, kontroli automatycznych procesów, kontroli jakości, itp.

Główne funkcje systemu wizyjnego to: Kontrola (określenie pozycji i ewentualne wygenerowanie komend do robota w celu wykonania pewnych czynności. Np. wybranie obszaru do malowania przez robota, kontrola elementów, itp. ); Badanie (określenie parametrów elementów, np. kształtu, jakości powierzchni, ilości otworów ); Wprowadzanie danych (informacje o jakości produktów, materiałów mogą być umieszczone w bazie danych. W tym czasie te dane mogą być sprawdzone w procesie inspekcji.).

Zdolności adaptacyjne Zestawienie obrazujące możliwości człowieka i cyfrowego systemu wizyjnego: Cecha Człowiek Komputer Zdolności adaptacyjne Duże zdolności adaptacyjne, związane zarówno z celem jak i typem wejścia. System sztywny w sensie postawionego celu rozpoznania oraz w sensie typu wejścia (wymaga obrazu dyskretnego - piksele). Sposób rozpoznawania Zdolności dokonywania względnie dokładnych oszacowań badanych obiektów, np. wykrywanie zepsutych owoców na podstawie koloru, tekstury (faktury), kształtu, zapachu. Zdolność dokonywania pomiarów przestrzennych na zdeterminowanym obrazie wejściowym, np.: długość i powierzchnia – zliczanie pikeseli. Kolor Subiektywna interpretacja. Pomiar parametrów R,G, B. Czułość Ograniczona zdolność identyfikacji poziomów szarości (~7 - 10). Zależna od rodzaju układu pozyskiwania obrazu.

Działanie w przestrzeni 2D i 3D Cecha Człowiek Komputer Czas reakcji ~0,1 s Zależnie od realizacji sprzętowej i oprogramowania systemu komputerowego ~1/1000s lub mniejszy. Działanie w przestrzeni 2D i 3D Łatwa lokalizacja i rozpoznanie obiektów. Łatwiejsza lokalizacja i rozpoznanie obiektów w przestrzeni 2D niże 3D. Percepcja Percepcja jasności w skali logarytmicznej. Wpływ otaczającego obszaru (tła) na sposób percepcji Możliwość percepcji zarówno w skali liniowej jak i logarytmicznej. Zakres fal 380 - 780 nm ~10nm – promieniowanie X do ~103 mm (podczerwień).

Przykładowy schemat blokowy cyfrowego systemu wizyjnego:

Kryteria rozpoznawania i klasyfikacji obiektów cyfrowych W literaturze stosunkowo często spotyka się propozycje różnych parametrów, które mogą być wykorzystane do opisu kształtu obiektów widocznych na obrazie. Wybierając współczynniki decydujemy się albo na dokładniejsze odwzorowanie kształtu obiektu, albo na szybsze działanie algorytmu.

Współczynniki kształtu Współczynniki cyrkularności: W1 (wyznacza średnicę koła, którego pole jest równe polu danego obiektu) W2 (Wyznacza średnicę koła o obwodzie równym obwodowi analizowanego obiektu) gdzie: L – obwód rzutu obiektu S – pole rzutu obiektu Powyższe współczynniki powinny być normalizowane.

współczynnik Malinowskiej Można go jeszcze bardziej uprościć otrzymując w rezultacie współczynnik nazwany Mz (W9). Współczynniki W1, W2, W3 mają prostą postać i są szybkie do obliczenia.

współczynnik Blaira-Blissa (większa wrażliwość na zmiany kształtu) współczynnik Danielssona gdzie: i – numer piksela obiektu ri – odległość piksela obiektu od środka ciężkości obiektu li – minimalna odległość piksela od konturu obiektu

współczynnik Harlicka gdzie: i – numer piksela obiektu di – odległość pikseli konturu obiektu od jego środka ciężkości n – liczba punktów konturu Współczynniki W4, W5, W6 wolniejsze w obliczaniu niż W1, W2, W3.

Czasami są przydatne cechy pośrednie, które określają np Czasami są przydatne cechy pośrednie, które określają np. współczynniki: W7 (nazywany Lp1), badający zmienność minimalnej i maksymalnej odległości środka ciężkości od konturu obiektu W8 (nazywany Lp2) podający stosunek maksymalnego gabarytu do obwodu obiektu. gdzie: rmin – minimalna odległość konturu od środka ciężkości Rmax – maksymalna odległość konturu od środka ciężkości Lmax – maksymalny gabaryt obiektu L – obwód rzutu obiektu

W9 nazwany współczynnikiem Mz (uproszczony współczynnik Malinowskiej) gdzie: L – obwód rzutu obiektu S – pole rzutu obiektu

Podstawowe parametry: pole obiektu: obwód obiektu:

środek ciężkości: gdzie: S – pole obiektu L – obwód obiektu n x m – rozmiar obiektu – współrzędna x środka ciężkości – współrzędna y środka ciężkości

Przykładowe figury:

Formuła Crofton’a: gdzie: N0 N90 N45 N135 – rzuty figury dla wybranych kierunków rzutowania, a – odległość punktów siatki.

Przykładowe elementy strukturalne do wyznaczania długości rzutów figury: otoczenie 0o 90o 45o 135o

Momenty geometryczne: Dwuwymiarowy moment rzędu (p+q) dla funkcji f(x,y) :

Moment centralny f(x,y): gdzie:

Momenty centralne można przedstawić za pomocą momentów zwykłych:

Z powyższych zależności możemy wyznaczyć niezmienniki momentowe:

Wszystkie powyższe momenty teoretycznie powinny być inwariantne (niezmienne) ze względu na obrót, translację i zmianę skali obiektu.

W celu ujednolicenia obrazów o różnych rozmiarach wykorzystuje się znormalizowany moment centralny: Znormalizowane momenty centralne nie zapewniają niezmienniczości ze względu na obrót. Dlatego wprowadzono niezmienniki momentowe, które maja te własność.

Z powyższych zależności możemy wyznaczyć niezmienniki momentowe:

Przykłady klas rozpoznawanych obiektów:

Współczynnik W1 Bez zmiany skali

Współczynnik W2 Bez zmiany skali

Współczynniki W2 i W3

Współczynniki W4 i W5

Współczynniki W6 i W7

Współczynniki W8 i W9

Moment M1 Po usunięciu trójkąta rozwartokątnego

Momenty M2 i M3

Momenty M4 i M5

Moment M7 Po usunięciu trójkąta rozwartokątnego

Momenty M6 i M8

Momenty M9 i M10

Porównanie setek takich rysunków i związanych z nimi tabel wartości pozwala na wyselekcjonowanie najlepszych cech i na ocenę ich jakości.

Wrażliwość współczynników kształtu na zmianę skali:

Niewrażliwość momentów na zmianę skali:

Porównanie teoretycznych wartości kilku przykładowych współczynników dla wybranych figur geometrycznych: W3 W4 Koło Elipsa o mimośrodzie wynoszącym g Wielokąt o m bokach Prostokąt o stosunku boków wynoszącym g Kwadrat Odcinek

cd: W5 W6 Koło Elipsa o mimośrodzie wynoszącym g Wielokąt o m bokach Prostokąt o stosunku boków wynoszącym g Kwadrat Odcinek

Parametry przykładowych obiektów: pole pole2(cm2) obw obw2(cm) koło 10936 13,6101 370,84 13,083 kwadrat 15129 18,8284 465,33 16,416 gwiazdka 324 0,4032 198,83 7,014

Parametry przykładowych obiektów-2: pole pole2(cm2) obw obw2(cm) koło2cm-100 19504 12,5832 498,10 12,652 koło2cm-200 77818 12,5513 988,61 12,555 koło2cm-300 175044 12,5479 1482,27 12,550

Parametry przykładowych obiektów-3: pole pole2(cm2) obw obw2(cm) kwadrat5cm-100 38811 25,0393 748,64 19,015 kwadrat5cm-200 155233 25,0375 1491,92 18,947 kwadrat5cm-300 349278 25,0378 2238,99 18,957

Parametry przykładowych obiektów-4: pole pole2(cm2) obw obw2(cm) trójkąt5cm-100 19404 12,5187 634,43 16,114 trójkąt5cm-200 77619 12,5192 1274,22 16,183 trójkąt5cm-300 174640 12,5190 1909,76 16,169

Parametry przykładowych obiektów-5: koło2cm-100 157,5857 158,5495 0,0061 1,0000 0,315199 0,9939 koło2cm-200 314,7713 314,6848 -0,0003 0,316606 1,0003 koło2cm-300 472,0942 471,8201 -0,0006 0,317757 1,0006 kwadrat5cm-100 222,2964 238,3000 0,0720 0,9772 0,263143 0,9328 kwadrat5cm-200 444,5771 474,8930 0,0682 0,263419 0,9362 kwadrat5cm-300 666,8692 712,6930 0,0687 0,263512 0,9357 trójkąt5cm-100 157,1812 201,9447 0,2848 0,7217 0,3074 0,7783 trójkąt5cm-200 314,3685 405,5965 0,2902 0,7237 0,3084 0,7751 trójkąt5cm-300 471,5491 607,8948 0,2891 0,7757

Parametry przykładowych obiektów-6: koło2cm-100 0,159156 0,025331 1,53E-11 3,56E-12 -3,23E-27 2,95E-26 koło2cm-200 0,159155 5,37E-11 8,89E-13 1,18E-31 -3,83E-26 koło2cm-300 0,025330 2,08E-11 2,11E-12 -1,32E-29 -2,07E-21 kwadrat5cm-100 0,166671 0,027779 1,66E-10 1,84E-11 -1,02E-21 -1,22E-20 kwadrat5cm-200 0,166662 0,027776 2,54E-11 2,87E-12 -6,67E-24 -5,17E-18 kwadrat5cm-300 0,166665 0,027777 5,06E-12 5,67E-13 -2,64E-25 -4,65E-19 trójkąt5cm-100 0,194434 0,037805 6,85E-04 2,76E-05 9,86E-09 7,67E-07 trójkąt5cm-200 0,194448 0,037810 6,86E-04 2,74E-05 9,79E-09 7,62E-07 trójkąt5cm-300 0,194443 0,037808 2,75E-05 7,63E-07

Parametry przykładowych obiektów-7: ci cj koło2cm-100 0,006333 -2,14E-12 -1,93E-13 -3,69E-24 118,50 koło2cm-200 -2,56E-11 -9,01E-13 -1,14E-23 236,52 236,50 koło2cm-300 -7,28E-12 -2,28E-13 -7,69E-24 354,51 354,49 kwadrat5cm-100 0,006945 -1,84E-11 -1,54E-12 3,51E-26 158,00 157,99 kwadrat5cm-200 0,006944 -2,84E-12 -2,36E-13 3,68E-25 315,50 kwadrat5cm-300 -5,64E-13 -4,68E-14 1,91E-26 473,00 trójkąt5cm-100 0,009258 -5,76E-04 -2,74E-05 1,11E-13 170,83 137,99 trójkąt5cm-200 0,009260 7,28E-15 341,17 276,00 trójkąt5cm-300 0,009259 1,39E-15 512,50 414,00

Metody minimalnoodległościowe Dwuwymiarowa przestrzeń cech: Podejmowanie decyzji w metodzie NN:

Stosowane metryki (normy): - metryka euklidesowa: - metryka euklidesowa z wagą: gdzie wagi określane np. na przedziale zmienności: - metryka uliczna: - metryka Czebyszewa:

Podejmowanie błędnych decyzji: W przypadku gdy położenie (a) lub sklasyfikowanie (b) chociaż jednego obiektu ciągu uczącego jest błędne.

Metoda αNN: Parametr α jest wybierany tak aby: Zapobiega błędom wynikającym z pomyłek w ciągu uczącym (a), ale ogranicza czułość metody (b).: Parametr α jest wybierany tak aby: W praktyce α jest małą liczbą całkowitą.

Metody wzorców: Ilustracja pojęcia wzorca: Przy dyskretnych cechach prawdopodobieństwo rozpoznania metodą pokrycia punktów jest bardzo duże

Otoczenia kuliste o różnych promieniach pozwalają bardzo dokładnie odwzorować kształty obszarów o różnej topografii. Metoda NM (najbliższej mody):

Przyjęcie mody M jako środka ciężkości obiektów rozważanych klas bywa bardzo dobrym rozwiązaniem w przypadku klas o regularnych i stosunkowo prostych kształtach: Przykłady klas, dla których średnia nie jest dobrym wzorcem dla całej klasy.

Metody aproksymacyjne: Przykład liniowej separowalności klas: Przykład zadania, które nie jest liniowo separowalne:

Proces uczenia polegający na przemieszczaniu granicznej płaszczyzny: Poprawka położenia linii granicznej spowodowana przez jeden błędnie sklasyfikowany punkt: