Politechnika Gdańska Katedra Systemów Multimedialnych Tomasz Merta Algorytm automatycznego rozpoznawania treści tablicy rejestracyjnej i wyszukiwania pojazdów w bazie danych Under the watchfull eye Politechnika Gdańska Katedra Systemów Multimedialnych Tomasz Merta

Plan prezentacji Warunki pracy systemu Algorytm rozpoznawania tablic lokalizacja tablicy rejestracyjnej rozpoznawanie znaków Skuteczność rozpoznawania Modyfikacje zapytań do bazy danych Wnioski

Warunki pracy systemu

Warunki pracy systemu Rozwiązania dedykowane Uniwersalny system pojedyncza dedykowana kamera zapewnienie właściwego oświetlenia pojazd widoczny pod niedużym kątem Uniwersalny system warunki spełniane przez kamery istniejącego systemu monitoringu Typowe systemy rozpoznawania tablic rejestracyjnych (spotykane, komercyjne) są to: Sys. dedykowane o ograniczonych warunkach pracy (w celu zapewnienia wysokiej skuteczności) Typowy system wymaga instalacji (pojedynczej) specjalnej kamery w wyznaczonym miejscu Zapewnienie b. dobrej widoczności tablicy (dodatkowe oświetlenie) Położenie pojazdu w kadrze możliwie am face Prezentowane rozwiązanie ma na celu rozpoznawanie tablic z istniejącego systemu monitoringu – rozwiązanie znaczenie bardziej uniwersalne.

Warunki pracy systemu rozwiązanie dedykowane rozwiązanie uniwersalne dodatkowe oświetlenie podczerwone brak maksymalna odległość od pojazdu 10 – 20 m 40 m maksymalny kąt w płaszczyźnie poziomej/pionowej 10° / 30° 30° / 30° zobrazowanie - Typowe rozwiązanie dedykowane wymaga dodatkowego oświetlenia w paśmie podczerwienii Kamera umieszczana jest max. kilkanaście metrów od pojazdu Podobnie kąty… Proponowane rozwiązanie działa także przy np. 40° / 40° ale skuteczność rozpoznawania przy dużych wartościach kątów maleje Poniżej przedstawiono przykład widoku z kamery typowego dedykowanego sys. i proponowanego uniwersalnego rozwiązania

Algorytm rozpoznawania tablic rejestracyjnych W skład algorytmu wchodzi lokalizacja oraz rozpoznawanie znaków tablicy rejestracyjnej

Lokalizacja tablicy rejestracyjnej Wyznaczenie współrzędnych położenia tablicy w obrazie

Lokalizacja tablicy rejestracyjnej wykrywanie skupiska krawędzi pionowych (filtr Sobela) korekcja położenia (dylatacja, zawężanie skupiska krawędzi) detekcja i korekcja rotacji (filtr Canny’ego, transformata Hough’a) * Skupisko krawędzi pionowych (filtr Sobela) jest wielkości zbliżonej do wielkości szukanej tablicy Korekcja położenia zawiera wiele przekształceń (najważniejsze to dylatacja i metody zawężające skupisko krawędzi) Detekcja rotacji wykorzystuje transformatę Hough’a do znalezienia najdłuższego odcinka (dolnej lub górnej krawędzi tablicy) i obrotu stosowanie do położenia tej krawędzi.

Lokalizacja tablicy rejestracyjnej -> Obraz pierwotny po filtracji filtrem Sobela -> po korekcji (dylatacji i zawężaniu) -> po korekcji rotacji tablicy (widoczne krawędzie są po filtracji Canny’ego) Współrzędne wyjściowe tablicy są przekazywane do modułu rozpoznawania znaków

Rozpoznawanie znaków Przekształcenie obrazu na ciąg znaków (moduł OCR)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku) 1 etap – normalizacja histogramu oraz zmiana luminancji – wsp. gamma w celu rozjaśnienia obrazu (rys. górny) Separacja – adaptacyjnie rozszerzane są granice znaku (od dużych elementów czarnych aż do znalezienia odstępu między znakami, bądź przekroczenia wartości progu najszerszego możliwego znaku) * NASTĘPNY SLAJD – ANIMACJA SEPARACJI

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku)

Rozpoznawanie znaków normalizacja obrazu (normalizacja histogramu, zmiana luminancji) separacja znaków (adaptacyjne rozszerzanie obszaru znaku) * (dla zaciekawionych) zielone pionowe kreski oddzielają prawidłowo wyznaczone znaki, niebieskie+czerwone -> w przypadku gdy odstęp przed znakiem jest duży

Rozpoznawanie znaków Parametryzacja wykonana w oparciu o: cechy konturów cechy cięć poziomych i pionowych cechy rzutów pionowego i poziomego Oddzielone znaki poddawane są parametryzacji. Tutaj wykorzystywane są: cechy konturów (między innymi wielkość, liczba konturów wew.) cięcia pionowe i poziome na konturze (wielkość znaku wzdłuż danego cięcia, liczbę oddzielonych od siebie fragmentów znaku dla danego cięcia- rys. wyżej) parametry związane z rzutami (liczba maksimów w rzucie, wartości maksimów)

Rozpoznawanie znaków Klasyfikacja bazująca na regułach systemu eksperckiego if ((XParam2[0][0]>mediumX || XParam2[1][0]>mediumX) && XParam2[2][0]<highX && (XParam2[0][1]==1 || areaXParam2[1][1]==1) && (XParam2[2][1]==2 || XParam2[2][1]==3 || XParam2[3][1]==2 || XParam2[3][1]==3) && XParam2[4][1]>1 && YParam2[0][0]>lowY && YParam2[4][0]>lowY && YParam2[0][1]==1 && (YParam2[1][1]==1 || YParam2[1][1]==2) && YParam2[3][1]<2 && YParam2[4][1]==1) ) XParam2[][] – wektor parametrów cięć pionowych YParam2[][] – wektor parametrów cięć poziomych highX, mediumX, lowX highY, mediumY, lowY Klasyfikacja bazuje na sys. eksperckim. Tworzone są reguły wykorzystujące wektory parametrów (parametry wspomniane w poprzednim slajdzie). Przykład warunku który musi spełniać dany znak WG. PARAMTERÓW CIĘĆ przedstawiono poniżej. Jeżeli jest spełniony dany znak dostaje np. +2 punkty. Ostateczny wynik rozpoznawania jest sumą punktacji ze wszystkich parametrów (cięć, konturów, rzutów) W przeciwieństwie do sieci neuronowych czy innych typowych algorytmów sztucznej inteligencji – tutaj możliwe jest sprawdzenie dokładnie w który element algorytmu powoduje błąd rozpoznawania. wartości progowe

Skuteczność rozpoznawania tablic rejestracyjnych oraz współpraca z bazą danych

Skuteczność rozpoznawania Pierwotne wyniki rozpoznawania: * Za poprawnie rozpoznaną tablicę zakłada się najczęściej występującą sekwencję znaków w co najmniej 2 kolejnych klatkach poprawne rozpoznania (%) niepoprawne rozpoznania (%) ogółem liczba analizowanych pojazdów 48 (50%) 96 liczba analizowanych klatek 268 (64%) 147 (36%) 415 liczba analizowanych znaków 2592 (88%) 336 (12%) 2928 Wyniki skuteczności rozpoznawania sprawdzono dla 100 pojazdów. Skuteczność opisywanego sys. nie jest wysoka biorąc pod uwagę poprawność rozpoznania tablicy pojazdów (co widać w tabeli). * (za poprawnie rozpoznaną…..) stąd rozpoznawalność tablic pojazdów jest rzędu 50%. Nie uwzględnając warunku * - skuteczość jest rzędu 65%, biorąc pod uwagę tylko znaki (niezależnie od tego, w której klatce się znalazły) skutecznośc jest bliska 90% Można się spodziewać że występują znaki w tablicach, które wyraźnie pogarszają tę pierwszą wartość (50%)

Skuteczność rozpoznawania Histogram błędów rozpoznawania znaków * znak „O” nie wystąpił Ponad 50% błędów dotyczy znaków: 2, 5, M, S, W Stworzono histogram błędów – z którego widać że 2, 5, M, S, sprawiały najwięcej problemów (jak ktoś zapyta – częstość występowania znaków nie była tutaj stała - była tak jak akurat tego dnia przejeżdżały auta, przy czym np. G występowała bardzo często )

Współpraca z bazą danych poprawne rozpoznania (%) niepoprawne rozpoznania (%) ogółem tolerancja do 1 błędnego znaku liczba analizowanych pojazdów 96 (100%) 96 liczba analizowanych znaków 2764 (94,4%) 164 (5,6%) 2928 tolerancja do 2 błędnych znaków 2843 (97,1%) 85 (2,9%) Biorąc pod uwagę specyfikę przedstawionych błędów, można je ograniczyć odpowiednio wykorzystując bazę danych pojazdów. Jeżeli zostanie przyjęte, że możliwe są błędy na 1 pozycji w tablicy liczba poprawnie wykrytych znaków wzrasta do 94,4%, zaś błąd wykrycia tablicy danego pojazdu (akurat w tym grupie pojazdów) nie wystąpił. Zakładając możliwe 2 błędy – liczba poprawnie rozpoznanych znaków wzrast do 97,1%

Współpraca z bazą danych Zwiększenie skuteczności rozpoznawania poprzez: wiele zapytań do bazy danych dla rozpoznanej tablicy wprowadzenie uproszczonego zapisu w bazie, gdzie Z=2, S=5. Dodanie do istniejącego wpisu w bazie danych zmodyfikowanego numeru tablicy Wynika stąd, że zwiększyć skuteczność rozpoznawania tablic rej. Możliwe jest przez odpowiednią współpracę algorytmu z bazą danych.

Wnioski Proponowane rozwiązanie można wykorzystać do nagrań archiwalnych monitoringu Wykorzystanie systemu eksperckiego umożliwia poprawę klasyfikacji oraz proste dodawanie nowych klasyfikatorów Modyfikacje zapytań do bazy danych umożliwiają zwiększenie skuteczności rozpoznawania tablic rejestracyjnych Modyfikacja zapytań do małej bazy danych nie skutkuje znacznym wzrostem fałszywych alarmów

Dziękuję za uwagę