Przetwarzanie informacji wizyjnej w komputerowym systemie z mobilną głowicą stereowizyjną Krzysztof Skabek, Przemysław Kowalski Instytut Informatyki Teoretycznej i Stosowanej PAN, ul. Bałtycka 5, 44-100 Gliwice e-mail: krzysiek@iitis.gliwice.pl Krynica 2001

Plan wystąpienia 1. Platforma badawcza 2. Sterowanie platformą wizyjną 3. Zagadnienia stereowidzenia 4. Etapy rekonstrukcji sceny 3D 5. Reprezentacja grafowa sceny przestrzennej 6. Podsumowanie

Platforma badawcza Obserwowana scena 3D Pięć stopni swobody platformy Głowica stereowizyjna osadzona wysięgniku pojazdu gąsiennicowego Obserwowana scena 3D

Cel: Pozyskanie kompletnej reprezentacji przestrzennej obserwowanej sceny na postawie obrazów stereowizyjnych z różnych punktów widokowych. Brak informacji a priori o obiektach sceny. Nieznajomość dokładnego położenia obserwatora względem sceny.

Ramka BNET ... Adres (1 bajt) Dane Suma kontrolna Nr ramki (2 bity) (2 bajty) Nr ramki (2 bity) Polecenie Ilość danych SetExt 4 bajty BasRun 33 bajty BasErr 1 bajt BasStat 3 bajty Kod polecenia (6 bitów)

Model perspektywiczny kamery p – płaszczyzna obrazu O – środek rzutowania f – długość ogniskowej P = [X,Y,Z]T – punkt w przestrzeni p = [x,y,z]T – punkt na płaszczyźnie obrazu Przekształcenie perspektywiczne

Układy odniesienia Globalny układ odniesienia Układ odniesienia kamery Układ odniesienia obrazu

Parametry kamery Parametry zewnętrzne definiują położenie i orientację ukł. odniesienia kamery w stosunku do globalnego ukł. odniesienia Parametry wewnętrzne konieczne do powiązania pikselowych współrzędnych punktu obrazu ze współrzędnymi w układzie odniesienia kamery

Zewnętrzne parametry kamery T – wektor translacji 3D opisująca względne położenie środków dwóch układów współrzędnych R – macierz obrotu 3×3, ortogonalna, powoduje nałożenie odpowiadających sobie osi układów współrzędnych Relacja pomiędzy współrzędnymi punktu P w układzie globalnym Pw i w układzie kamery Pk Pk = R(Pw –T)

Wewnętrzne parametry kamery (ox, oy) – współrzędne środka obrazu w pikselach (sx, sy) – efektywny rozmiar piksela w mm Pominięto zniekształcenia toru optycznego Relacja pomiędzy współrzędnymi punktu obrazu p w ukł. obrazu (xim, yim) i w ukł. kamery (x, y) x = – (xim – ox) sx y = – (yim – oy) sy

Zagadnienia stereowidzenia Ustalenie odpowiedniości określenie, które punkty odpowiadają sobie na dwóch obrazach; odrzucenie punktów przesłoniętych Rekonstrukcja ustalenie położenia i struktury przestrzennej obserwowanych obiektów Rozbieżność (ang. disparity) – względna odległość pomiędzy odpowiadającymi sobie punktami obrazu Mapa rozbieżności (ang. disparity map) – ustalone rozbieżności dla wszystkich punktów obrazu Jeżeli znana jest geometria systemu stereo, to mapę rozbieżności można przekonwertować do mapy przestrzennej obserwowanej sceny

Rekonstrukcja stereo T – odległość pomiędzy środkami rzutowania Ol i Or; linia bazowa xl, xr – współrzędne na obrazie punktów pl i pr względem punktów osi cl i cr f – wspólna długość ogniskowej Z – odległość pomiędzy punktem P a linią bazową Położenie punktu P w systemie stereo: , gdzie d = xr – xl

Parametry systemu stereo Parametry zewnętrzne opisują względną pozycję i orientację dwóch kamer T – odległość między środkami rzutowania R – macierz rotacji pomiędzy układami odniesienia kamer f – wspólna długość ogniskowej Parametry wewnętrzne Takie same jak w przypadku pojedynczej kamery Kalibracja systemu stereo to proces wyznaczania jego parametrów wewnętrznych i zewnętrznych

Etapy rekonstrukcji sceny 3D

Grafowa reprezentacja sceny 3D Graf konturu: Graf ścian: zbiór wierzchołków w scenie zbiór krawędzi pomiędzy wierzchołkami współrzędne (x,y,z) wierzchołków zbiór ścian w scenie zbiór połączeń pomiędzy ścianami parametry opisu ściany parametry połączeń pomiędzy ścianami

Tworzenie grafu konturu i grafu ścian 4 7 Graf konturu 4 6 1 3 1 3 5 2 2 Graf ścian

Przetwarzanie informacji wizyjnej Algorytmy segmentacji,wyodrębniania krawędzi, wierzchołków: metoda Susan Pasowanie stereo-par obrazów, wyznaczanie mapy głebii: metoda konturów aktywnych Scalanie grafów struktury: wyszukiwanie subizomorfizmów w grafach Wyznaczanie następnego punktu widokowego: przyjęcie strategii nawigacji