Telewizja trójwymiarowa - wyzwania

Prezentacja na temat: "Telewizja trójwymiarowa - wyzwania"— Zapis prezentacji:

1 Telewizja trójwymiarowa - wyzwania
mgr inż. Olgierd Stankiewicz mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska Seminarium katedralne, styczeń 2010

2 Telewizja 3D Telewizja 3D Telewizja stereoskopowa Telewizja swobodnego
punktu widzenia np. IMAX Synteza widoku oparta o obrazy Image-based rendering (IBR) Synteza widoku oparta o modele Model-based rendering (MBR) np. MPEG np. BBC

3 Pierwsza transmisja 3D-HDTV
Transmitowano mecz rugby miedzy Szkocją a Anglią 8 marca 2008 BBC Resource i 3DFirm 3 pary kamer Sony 950 o rozdzielczości fullHD na statywiach Calcutta 3D firmy 3DFirm 19MB/s na każdy strumień, planowane 40MB/s 6/7 s opóźnienia Prezentowane na dwóch rzutnikach Christie 8K HD projectors z liniową polaryzacją

4 Telewizja Stereoskopowa

5 Telewizja Stereoskopowa BBC

6 Multiview capturing for sport applications BBC

7 Sport Applications BBC
Trójwymiarowy model sceny Obrazy z kamer Z pracy: View-dependent reconstruction and free-viewpoint video rendering 3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009 JeanYves Guillemaut, Joe Kilner and Adrian Hilton University of Surrey, UK

8 Ustawienie kamer

9 Przetwarzanie Filmowanie sceny Kalibracja Segmentacja Rekonstrukcja
Synteza widoku

10

11 Segmentacja Segmentacja w oparciu o kluczowanie chrominancji
odejmowanie tła

12 Modelowanie sceny Problem znalezienia dopasowania
Obiekt z każdej kamery wygląda inaczej

13 Modelowanie sceny

14 Modelowanie sceny Gracze przydzielani do drużyn na podstawie koloru koszulek modelowanych za pomocą Gaussian Mixture Model

15 Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d Visual Hull

16 Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d

17 ggg

18 Synteza widoku wirtualnego w oparciu o model sceny (boisko i piłkarzy)
Swobodna nawigacja w scenie

19 Schemat systemu telewizji 3D

20 System akwizycji Konfiguracja kamer – obraz/głębia
Synchronizacja kamer Równoległe przetwarzanie dużych strumieni danych 19MB/s na każdy strumień, planowane 40MB/s

21 Przetwarzanie wstępne
Rektyfikacja Korekcja kolorów Plansze kalibrujące dla stałych parametrów kamer Zmienne parametry? Ogniskowa Rozstaw kamer Kierunki kamer

22 Model 3D Image Based Rendering Estymacja mapy głębi + synteza
Wyzwania doraźne Jakość map głębi Nieoznaczalność głębi (brak tekstury) Przysłonięcia Rozstaw kamer Estymacja w czasie rzeczywistym 1000 x RT Synteza w czasie rzeczywistym Duże ilości danych (3,1 MB na obraz)

23 Model 3D Wyzwania na przyszłość Niewystarczający model punktów sceny
Przeźroczystość Odbicia (lustra, refleksy) Niewielkie obiekty (płatki śniegu, deszcz) Ułożenie liniowe kamer daje zbyt płaskie odwzorowanie sceny

24 Kompresja Kodowanie modeli 3D – MPEG 4 (mesh)
Kodowanie map głębi, map przeźroczystości Inny charakter treści Mniejszy udział średnich częstotliwości (powierzchnie płaskie + krawędzie) Inny charakter zniekształceń Mały udział w strumieniu <30%

25 Przentacja Technologie Stereoskopia Autostereoskopia Holografia
Monitory polaryzacyjne... Tylko dwa obrazy (Akomodacja Oka) Autostereoskopia Możliwość poruszania widzów Ogniskowa niezmienna Holografia Wyświetlacze Przetwarzanie modelu

26

27 Z-Cam IR = 20MHz Pomiar różnicy fazy Rozdzielczość 176x144
około 80 pikseli koloru na piksel głębi wrapping głębi depth alignment to color boundary by bilateral filtering

28

29

30 Procesy standaryzacyjne
home Przyspieszenie komercjalizacji i wdrożenia technologii 3D Materiał Sprzęt Oprogramowanie HDMI 1.4 – mechanizmy dla 3DTV W USA: 3D ready TV

31

32

33 Zagadnienia kinematograficzne
1000 EUR/dzień - nagrywanie Film „Coraline Coraline” Rejestracja poklatkowa Jedna kamera na suwaku NIKON D70, D80 Canon 1D MARK2N RED - 2K Digital Hi-Speed (dym, inne ruchome elementy) Koszt oprogramowania - +20%50% 53 sceny kręcone jednocześnie

34 Przewidywania na przyszłość

35

36

37

38

39 Przewidywania na przyszłość
Telewizja 3D rozwija się Powolny postęp algorytmów (MPEG) Silny nacisk przemysłu Silny nacisk Holywood Dobiega końca kilkanaście projektów ramowych UE FP7