Telewizja trójwymiarowa - wyzwania mgr inż. Olgierd Stankiewicz mgr inż. Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska Seminarium katedralne, styczeń 2010

Telewizja 3D Telewizja 3D Telewizja stereoskopowa Telewizja swobodnego punktu widzenia np. IMAX Synteza widoku oparta o obrazy Image-based rendering (IBR) Synteza widoku oparta o modele Model-based rendering (MBR) np. MPEG np. BBC

Pierwsza transmisja 3D-HDTV Transmitowano mecz rugby miedzy Szkocją a Anglią 8 marca 2008 BBC Resource i 3DFirm 3 pary kamer Sony 950 o rozdzielczości fullHD na statywiach Calcutta 3D firmy 3DFirm 19MB/s na każdy strumień, planowane 40MB/s 6/7 s opóźnienia Prezentowane na dwóch rzutnikach Christie 8K HD projectors z liniową polaryzacją

Telewizja Stereoskopowa

Telewizja Stereoskopowa BBC

Multiview capturing for sport applications BBC

Sport Applications BBC Trójwymiarowy model sceny Obrazy z kamer Z pracy: View-dependent reconstruction and free-viewpoint video rendering 3D Processing workshop, BBC R&D, Kingswood Warren, June 22—23, 2009 JeanYves Guillemaut, Joe Kilner and Adrian Hilton University of Surrey, UK

Ustawienie kamer

Przetwarzanie Filmowanie sceny Kalibracja Segmentacja Rekonstrukcja Synteza widoku

Segmentacja Segmentacja w oparciu o kluczowanie chrominancji odejmowanie tła

Modelowanie sceny Problem znalezienia dopasowania Obiekt z każdej kamery wygląda inaczej

Modelowanie sceny

Modelowanie sceny Gracze przydzielani do drużyn na podstawie koloru koszulek modelowanych za pomocą Gaussian Mixture Model

Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d Visual Hull

Modelowanie sceny Każdy gracz modelowany jest jako oteksturowana bryła 3d

ggg

Synteza widoku wirtualnego w oparciu o model sceny (boisko i piłkarzy) Swobodna nawigacja w scenie

Schemat systemu telewizji 3D

System akwizycji Konfiguracja kamer – obraz/głębia Synchronizacja kamer Równoległe przetwarzanie dużych strumieni danych 19MB/s na każdy strumień, planowane 40MB/s

Przetwarzanie wstępne Rektyfikacja Korekcja kolorów Plansze kalibrujące dla stałych parametrów kamer Zmienne parametry? Ogniskowa Rozstaw kamer Kierunki kamer

Model 3D Image Based Rendering Estymacja mapy głębi + synteza Wyzwania doraźne Jakość map głębi Nieoznaczalność głębi (brak tekstury) Przysłonięcia Rozstaw kamer Estymacja w czasie rzeczywistym 1000 x RT Synteza w czasie rzeczywistym Duże ilości danych (3,1 MB na obraz)

Model 3D Wyzwania na przyszłość Niewystarczający model punktów sceny Przeźroczystość Odbicia (lustra, refleksy) Niewielkie obiekty (płatki śniegu, deszcz) Ułożenie liniowe kamer daje zbyt płaskie odwzorowanie sceny

Kompresja Kodowanie modeli 3D – MPEG 4 (mesh) Kodowanie map głębi, map przeźroczystości Inny charakter treści Mniejszy udział średnich częstotliwości (powierzchnie płaskie + krawędzie) Inny charakter zniekształceń Mały udział w strumieniu <30%

Przentacja Technologie Stereoskopia Autostereoskopia Holografia Monitory polaryzacyjne... Tylko dwa obrazy (Akomodacja Oka) Autostereoskopia Możliwość poruszania widzów Ogniskowa niezmienna Holografia Wyświetlacze Przetwarzanie modelu

Z-Cam IR = 20MHz Pomiar różnicy fazy Rozdzielczość 176x144 około 80 pikseli koloru na piksel głębi wrapping głębi depth alignment to color boundary by bilateral filtering

Procesy standaryzacyjne 3D @ home Przyspieszenie komercjalizacji i wdrożenia technologii 3D Materiał Sprzęt Oprogramowanie HDMI 1.4 – mechanizmy dla 3DTV W USA: 3D ready TV

Zagadnienia kinematograficzne 1000 EUR/dzień - nagrywanie Film „Coraline Coraline” Rejestracja poklatkowa Jedna kamera na suwaku NIKON D70, D80 Canon 1D MARK2N RED - 2K Digital Hi-Speed (dym, inne ruchome elementy) Koszt oprogramowania - +20%50% 53 sceny kręcone jednocześnie

Przewidywania na przyszłość

Przewidywania na przyszłość Telewizja 3D rozwija się Powolny postęp algorytmów (MPEG) Silny nacisk przemysłu Silny nacisk Holywood Dobiega końca kilkanaście projektów ramowych UE FP7