© 2006Marcin Nowak, Mateusz Pachocki1 Zastosowanie rękawicy cyfrowej oraz wyświetlacza 3D do manipulacji obiektami w wirtualnej rzeczywistości. TytułowyTytułowy.

Prezentacja na temat: "© 2006Marcin Nowak, Mateusz Pachocki1 Zastosowanie rękawicy cyfrowej oraz wyświetlacza 3D do manipulacji obiektami w wirtualnej rzeczywistości. TytułowyTytułowy."— Zapis prezentacji:

1 © 2006Marcin Nowak, Mateusz Pachocki1 Zastosowanie rękawicy cyfrowej oraz wyświetlacza 3D do manipulacji obiektami w wirtualnej rzeczywistości. TytułowyTytułowy

2 Plan prezentacji Cel projektu Zadania Zastosowane technologie Wykorzystany sprzęt Schemat działania aplikacji Podsumowanie © 2006Marcin Nowak, Mateusz Pachocki2

3 Cel projektu Zaimplementowanie obsługi rękawicy cyfrowej w celu prostego manipulowania obiektami w wirtualnym środowisku. Obsługa wyświetlacza trójwymiarowego służącego do wizualizacji tych obiektów. Architektura klient-server © 2006Marcin Nowak, Mateusz Pachocki3

4 Zadania Rozpoznanie interfejsu rękawicy oraz sposobu wykorzystania wyświetlacza 3D. Zaprojektowanie sposobów manipulacji przy użyciu rękawicy. Wykrywanie prostych gestów i ich powiązanie z akcjami w wirtualnym środowisku. Symulacja mechaniki obiektów i wizualizacja środowiska. © 2006Marcin Nowak, Mateusz Pachocki4

5 Zastosowane technologie ARToolkit Open Dynamics Engine (ODE) OpenGL SDL/SDL_NET © 2006Marcin Nowak, Mateusz Pachocki5

6 Wykorzystany sprzęt 5DT Data Glove I-glasses Kamera internetowa © 2006Marcin Nowak, Mateusz Pachocki6

7 ARToolkit Umożliwia rozpoznawanie markerów rejestrowanych przez kamerę. Wykorzystywane są dwa markery: –Do lokalizacji rękawicy; –Do ustalenia pozycji stołu. © 2006Marcin Nowak, Mateusz Pachocki7

8 Open Dynamics Engine (ODE) Odpowiedzialny za symulację fizyki obiektów. Umożliwia interakcje pomiędzy wirtualną rękawicą a obiektami znajdującymi się w wirtualnym świecie. © 2006Marcin Nowak, Mateusz Pachocki8

9 OpenGL Odpowiedzialny za wizualizację wirtualnego świata. Użycie OGL_STEREO do wizualizacji w 3D Cienie rzutowane na wirtualny stół Zaawansowane modele z aplikacji 3D max © 2006Marcin Nowak, Mateusz Pachocki9

10 5DT Data Glove Wyposażona w pięć sensorów wykrywających zgięcia palców. Automatyczna kalibracja. Interfejs USB. Brak informacji na temat kątów między palcami, pozycji rękawicy i ustawieniu dłoni – stąd konieczność zastosowania ARToolkit. © 2006Marcin Nowak, Mateusz Pachocki10

11 I-glasses Zwiększają realizm wirtualnej rzeczywistości. Dwa wyświetlacze 800x600 Interfejs D-Sub, protokół DCC (nVIDIA) FOV 29 ̊ diagonalnie © 2006Marcin Nowak, Mateusz Pachocki11

12 Pozycjonowanie(1): Pozycja dłoni Użycie 2 markerów z ARToolKita Wyliczenie pozycji jednego markera w relacji drugiego Abstrachowanie od pozycji kamery Problemy z jakością kamery © 2006Marcin Nowak, Mateusz Pachocki12

13 Pozycjonowanie(2): Palce 5 wartości odczytanych z rękawicy Zdefiniowanie 15 paliczków Pozycja każdego paliczeka podana w układzie współrzędnym rodzica © 2006Marcin Nowak, Mateusz Pachocki13

14 Pozycjonowanie(3): Palce Paliczki tworzą drzewiastą hierarchie Wystarczy macierz obrotu by zgiąć palec Wyliczenie trzech macierzy dla każdego palca z 1 wartości pobranej z rękawicy © 2006Marcin Nowak, Mateusz Pachocki14

15 Wizualizacja(1) © 2006Marcin Nowak, Mateusz Pachocki15

16 Wizualizacja(2): Problemy Wyliczenie pozycji 2 kamer Zaawansowane modele System kości Proste cienie Biblioteka CgFX dla efektów specjalnych © 2006Marcin Nowak, Mateusz Pachocki16

17 Wizualizacja(3): 2 Kamery © 2006Marcin Nowak, Mateusz Pachocki17

18 Wizualizacja(4): Modele 3D © 2006Marcin Nowak, Mateusz Pachocki18 Własny format pliku z obsługą systemu kości Własny eksporter dla 3D Maxa Model zawiera opis materiału

19 Wizualizacja(4): Modele 3D © 2006Marcin Nowak, Mateusz Pachocki19 Własny format pliku z obsługą systemu kości Własny eksporter dla 3D Maxa Model zawiera opis materiału

20 Wizualizacja(5): CgFx Zaawansowane materiały Połączenie z własnym formatem pliku Programowalne jednostki karty graficznej Działający subsystem Brak efektów specjalnych na dziś © 2006Marcin Nowak, Mateusz Pachocki20

21 Interakcja(1) Obliczenia fizyki przez system ODE Oddzielenie wizualizacji od interakcji (osobne klasy) Klasy dziedziczące z IBody Dla każdej klasy IBody istnieje odpowiednia klasa IShape Oba ingterfejsy łaczy macierz transformacji © 2006Marcin Nowak, Mateusz Pachocki21

22 Interakcja(2) Fizyka liczona na serwerze Klient prowadzi własne obliczenia Synchronizacja poprzez przesłanie wektora macierzy transformacji © 2006Marcin Nowak, Mateusz Pachocki22

23 Wykrywanie gestów Użycie wzorca funktor do obsługi zachowania Proste wykrywanie gestów Gest występuje, gdy wartości pobrane znajdują sie w odpowiednich przedziałach © 2006Marcin Nowak, Mateusz Pachocki23

24 Architektura Klient-Server(1) © 2006Marcin Nowak, Mateusz Pachocki24

25 Architektura Klient-Server(2) © 2006Marcin Nowak, Mateusz Pachocki25 Prosty prosty protokół transmisji Klient przesyła wyliczoną macierz transformacji dłoni, oraz 5 wartości pobranych z rękawicy Serwer odpowiada akutalnym wektorem opisującym pozycję/orientację wszystkich obiektów

26 Koniec! © 2006Marcin Nowak, Mateusz Pachocki26 ?