Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

System obsługi prezentacji multimedialnej wykorzystujący kamerę cyfrową Szymon Kossak Opieka naukowa: prof. dr hab. inż. Przemysław Rokita.

Podobne prezentacje


Prezentacja na temat: "System obsługi prezentacji multimedialnej wykorzystujący kamerę cyfrową Szymon Kossak Opieka naukowa: prof. dr hab. inż. Przemysław Rokita."— Zapis prezentacji:

1 System obsługi prezentacji multimedialnej wykorzystujący kamerę cyfrową Szymon Kossak Opieka naukowa: prof. dr hab. inż. Przemysław Rokita

2 Politechnika Warszawska Warszawa Plan prezentacji Prezentacja multimedialna Architektura systemu Opis działania Plany i możliwości rozwoju Pytania i odpowiedzi

3 Politechnika Warszawska Warszawa Prezentacja multimedialna Prezentacja jest to proces przekazywania słuchaczom treści o zadanej tematyce Prezentacja jest to dokument w postaci elektronicznej przedstawiający dany temat

4 Politechnika Warszawska Warszawa Prezentacja multimedialna (2) Co jest potrzebne: Komputer (lub inne źródło): Oprogramowanie (PowerPoint, Keynote) Plik z prezentacją Interfejs Projektor cyfrowy Wskaźnik …

5 Politechnika Warszawska Warszawa Prezentacja multimedialna (3) Co może sprawiać problemy? Komputer (lub inne źródło) Oprogramowanie Plik z prezentacją Interfejs(?) Projektor cyfrowy (?) Wskaźnik

6 Politechnika Warszawska Warszawa Prezentacja multimedialna (4) Wybrane zagadnienia: Umiejscowienie projektora …

7 Politechnika Warszawska Warszawa Prezentacja multimedialna (4) Wybrane zagadnienia: Umiejscowienie projektora Możliwość w pełni automatycznej korekcji zniekształceń perspektywicznych

8 Politechnika Warszawska Warszawa Prezentacja multimedialna (4) Wybrane zagadnienia: Umiejscowienie projektora Możliwość w pełni automatycznej korekcji zniekształceń perspektywicznych Niska rozdzielczość …

9 Politechnika Warszawska Warszawa Prezentacja multimedialna (4) Wybrane zagadnienia: Umiejscowienie projektora Możliwość w pełni automatycznej korekcji zniekształceń perspektywicznych Niska rozdzielczość Zbudowanie dużego obrazu przy pomocy kilku rzutników + automatyczna ich kalibracja

10 Politechnika Warszawska Warszawa Prezentacja multimedialna (4) Wybrane zagadnienia: Umiejscowienie projektora Niska rozdzielczość Obsługa prezentacji ?

11 Politechnika Warszawska Warszawa Prezentacja multimedialna (5) Obsługa prezentacji – obserwacje: Mało intuicyjna lub skomplikowana obsługa Mamy swoje przyzwyczajenia i nawyki Ręczna obsługa Ręczne wskazywanie, zaznaczanie i pisanie Bezpośredni kontakt Ruch budzi zainteresowanie

12 Politechnika Warszawska Warszawa Prezentacja multimedialna (5) Dobry system powinien zapewniać (w jak największym stopniu) : Intuicyjność Ergonomię i swobodę obsługi Bezpośredni kontakt

13 Politechnika Warszawska Warszawa Plan prezentacji Prezentacja multimedialna Architektura systemu Opis działania Plany i możliwości rozwoju Pytania i odpowiedzi

14 Politechnika Warszawska Warszawa Architektura systemu Koncepcja

15 Politechnika Warszawska Warszawa Architektura systemu (2) Niezbędne elementy systemu : Komputer Projektor cyfrowy Kamera usb Wskaźnik laserowy Działanie : Rejestrowanie obrazu z kamery Rozpoznawanie ruchu wskaźnika Sterowanie prezentacją

16 Politechnika Warszawska Warszawa Architektura systemu (3) Typowa kamera internetowa Interfejs USB Matryca CCD 0,3MPix 30fps przy rozdzielczości VGA

17 Politechnika Warszawska Warszawa Architektura systemu (3) Typowa kamera internetowa Interfejs USB Matryca CCD 0,3MPix 30fps przy rozdzielczości VGA Wskaźnik laserowy Niewielkie rozmiary Niedrogi i popularnie wykorzystywany podczas prezentacji Punkt wskaźnika jest wyraźnie widoczny na tle rzucanego przez projektor obrazu

18 Politechnika Warszawska Warszawa Architektura systemu (4) OpenCV - biblioteka funkcji wykorzystywanych podczas obróbki obrazu, opartą o otwarty kod i zapoczątkowaną przez firmę Intel. Ważne cechy: Wieloplatformowość Zoptymalizowana dla przetwarzania obrazu w czasie rzeczywistym Umożliwia prostą obsługę kamery Wspomaga obróbkę i segmentację obrazu Wiele innych

19 Politechnika Warszawska Warszawa Architektura systemu (5) SharperCV – projekt prowadzony przez Computer Science Department, Rhodes University. Założenia: Opakowanie najbardziej przydatnych funkcji OpenCV Nowoczesne języki i środowiska programistyczne (C# i platforma.NET) Wydajność możliwie zbliżona do OpenCV Przyjazność i prostota (wygodne klasy, garbage collector) Niestety zaprzestano prac nad projektem.

20 Politechnika Warszawska Warszawa Plan prezentacji Prezentacja multimedialna Architektura systemu Opis działania Plany i możliwości rozwoju Pytania i odpowiedzi

21 Politechnika Warszawska Warszawa Opis działania systemu Kalibracja Położenia ekranu względem kamery Jasności Obsługa gestów Segmentacja i rozpoznawanie Rejestrowanie ruchu Proste gesty

22 Politechnika Warszawska Warszawa Opis działania - Kalibracja Lokalizacja ekranu projekcji na obrazie z kamery i znalezienie odwzorowania homograficznego (na ekran komputera) Stabilizacja obrazu i wyznaczenie progu jasności

23 Politechnika Warszawska Warszawa Algorytm detekcji narożników Harrisa/Plesseya Analiza wartości własnych λ 1 i λ 2 macierzy M wykazała, że dla miejsc obrazu zawierających narożniki, obie wartości λ 1 i λ 2 przyjmują duże wartości Macierz składa się z sum (w otoczeniu 3x3) gradientów funkcji jasności I Kalibracja położenia

24 Politechnika Warszawska Warszawa Kalibracja położenia (2) Użyty algorytm detekcji narożników : Dla każdego punktu oblicz min(λ 1,λ 2 ) tworząc obraz wartości własnych E Na obrazie E pozostaw jedynie lokalne maksima (w najbliższym sąsiedztwie 3x3) Odnajdź największą wartość max(E) i odrzuć wszystkie mniejsze od 0,1 max(E) Odnajdź 4 punkty o największych wartościach własnych, aby odległości między nimi przekraczały 80 pikseli (metryka euklidesowa )

25 Politechnika Warszawska Warszawa Kalibracja położenia (3) System wykorzystuje możliwość wyświetlania na ekranie dowolnych kształtów Algorytm detekcji narożników pracuje na obrazie różnicowym powstałym z obrazów przed i po wyświetleniu obrazu kalibrującego Cechy dobrego obrazu kalibrującego : Powinien wyraźnie wskazać systemowi jedynie 4 punkty na obrazie z kamery Nie może rozświetlać otoczenia ekranu

26 Politechnika Warszawska Warszawa Kalibracja położenia (4) Wykrywanie narożników Obraz tła Obraz różnicowy

27 Politechnika Warszawska Warszawa Kalibracja położenia (5) Wykrywanie narożników Obraz z oznaczonymi narożnikami ekranu projekcji

28 Politechnika Warszawska Warszawa Kalibracja położenia (6) Odnalezienie przekształcenia homograficznego – pozwoli wyznaczyć pozycję wskaźnika na ekranie komputera Rzutowanie punktu (perspektywa): 8 niewiadomych Założenie: dysponujemy 4 różnymi punktami mamy więc 8 współrzędnych

29 Politechnika Warszawska Warszawa Kalibracja położenia (7) Wyznaczanie a, b, c, d, e, f, g i h (x i, y i ), i = 1..3 – cztery znane nam punkty W, H – rozdzielczość rzucanego obrazu

30 Politechnika Warszawska Warszawa Kalibracja jasności Pozwala na: Zminimalizowanie wpływu Oświetlenia pomieszczenia Jasności projektora Stabilizacja jasności obrazu – poprzez blokadę automatycznej regulacji ekspozycji kamery – wyłączenie jej po osiągnięciu możliwie niskiej wartości Ustalenie progu jasności, poniżej którego obraz traktowany jest jako tło

31 Politechnika Warszawska Warszawa Opis działania systemu Kalibracja Położenia ekranu względem kamery Jasności Obsługa gestów Segmentacja i rozpoznawanie Rejestrowanie ruchu Proste gesty

32 Politechnika Warszawska Warszawa Obsługa gestów Segmentacja i rozpoznawanie Obserwacja 1: punkt wskaźnika laserowego na obrazie z kamery osiąga bardzo wysoką jasność (niemal biel, najintensywniejsza składowa czerwona) Obserwacja 2: jeśli na obrazie znajduje się taki punkt, to najjaśniejszy piksel go lokalizuje

33 Politechnika Warszawska Warszawa Obsługa gestów Segmentacja i rozpoznawanie Obserwacja 1: punkt wskaźnika laserowego na obrazie z kamery osiąga bardzo wysoką jasność (niemal biel, najintensywniejsza składowa czerwona) Obserwacja 2: jeśli na obrazie znajduje się taki punkt, to najjaśniejszy piksel go lokalizuje Krok 1 : Pobranie składowej czerwonej obrazu Krok 2 : Odrzucenie tła przez progowanie (przy użyciu wartości odnalezionej podczas kalibracji) Krok 3: Odnalezienie najjaśniejszego punktu

34 Politechnika Warszawska Warszawa Obsługa gestów (2) Rejestrowanie ruchu Ruch lasera rejestrowany na potrzeby rozpoznawania gestów powinien być ciągły (nieprzerwany kształt stworzony jednym pociągnięciem)

35 Politechnika Warszawska Warszawa Obsługa gestów (2) Rejestrowanie ruchu Ruch lasera rejestrowany na potrzeby rozpoznawania gestów powinien być ciągły (nieprzerwany kształt stworzony jednym pociągnięciem) W rzeczywistości jest on często zbiorem oderwanych, pojedynczych punktów - tak na obrazie, jak i w wymiarze czasu (wynika to z niedoskonałości czasu reakcji niedrogich matryc)

36 Politechnika Warszawska Warszawa Obsługa gestów (3) Rejestrowanie ruchu System działa w 2 trybach: Oczekiwanie na ruch – test każdej napływającej ramki decyduje o zmianie trybu Rejestrowanie ruchu – pozytywny wynik testu zawsze interpretowany jest jako kontynuacja ruchu – negatywny wynik ignorowany jest przez pewną ustaloną liczbę ramek (zliczanie ramek pustych) – dopiero po przekroczeniu tej liczby następuje decyzja o zakończeniu się ruchu

37 Politechnika Warszawska Warszawa Obsługa gestów (4) Proste gesty Klasa Gesture – główne założenia: Nagrywanie ruchu/ gestu

38 Politechnika Warszawska Warszawa Obsługa gestów (4) Proste gesty Klasa Gesture – główne założenia: Nagrywanie ruchu/ gestu Porządkowanie punktów oraz normalizacja rozmiaru i położenia

39 Politechnika Warszawska Warszawa Obsługa gestów (4) Proste gesty Klasa Gesture – główne założenia: Nagrywanie ruchu/ gestu Porządkowanie punktów oraz normalizacja rozmiaru i położenia Udostępnienie różnych form reprezentacji gestu: – Podstawowe parametry: kierunek i zwrot – Zbiór punktów (uporządkowany w czasie) – Binarna reprezentacja kształtu - bitmapa – Reprezentacje wektorowe (np. współrzedne wektora lub kierunek i długość wektora)

40 Politechnika Warszawska Warszawa Obsługa gestów (5) Proste gesty Do klasyfikacji tych gestów wystarczy znać kąt wektora rozpiętego pomiędzy punktami początku i końca ruchu

41 Politechnika Warszawska Warszawa Obsługa gestów (5) Proste gesty Do klasyfikacji tych gestów wystarczy znać kąt wektora rozpiętego pomiędzy punktami początku i końca ruchu Możliwe użycie innych prostych właściwości jak na przykład środek ciężkości

42 Politechnika Warszawska Warszawa Opis działania systemu Kalibracja Położenia ekranu względem kamery Jasności Obsługa gestów Segmentacja i rozpoznawanie Rejestrowanie ruchu Proste gesty

43 Politechnika Warszawska Warszawa Plan prezentacji Prezentacja multimedialna Architektura systemu Opis działania Plany i możliwości rozwoju Pytania i odpowiedzi

44 Politechnika Warszawska Warszawa Plany i możliwości rozwoju Plany w ramach pracy naukowej Eksperymenty w ramach obsługi gestów (testy skuteczności, spostrzeżenia, wnioski) Dla różnych reprezentacji gestu Dla różnych metod klasyfikacji

45 Politechnika Warszawska Warszawa Plany i możliwości rozwoju Plany w ramach pracy naukowej Eksperymenty w ramach obsługi gestów (testy skuteczności, spostrzeżenia, wnioski) Dla różnych reprezentacji gestu Dla różnych metod klasyfikacji Dalsze plany Gadżety Zaawansowana segmentacja (pozwalająca wykryć szybki ruch wskaźnika)

46 Politechnika Warszawska Warszawa Pytania

47 Politechnika Warszawska Warszawa Dziękuję za uwagę !

48 Politechnika Warszawska Warszawa Bibliografia Raskar R., Beardsley P., A Self Correcting Projector, IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), grudzień 2001, ss Popovich E., Karni Z. [red. Gotsman C.], PresenterMouse LASER-Pointer Tracking System, 26 maj 2007 Parks D., Gravel J-P. of Faculty of Engineering at McGill University, Corner Detectors - Harris/Plessey Operator, 5 czerwiec 2008 Prof. Wentworth P., Zhao X., Computer Science Dept, Rhodes University, SharperCV Project, 5 czerwiec 2008


Pobierz ppt "System obsługi prezentacji multimedialnej wykorzystujący kamerę cyfrową Szymon Kossak Opieka naukowa: prof. dr hab. inż. Przemysław Rokita."

Podobne prezentacje


Reklamy Google