1 90. spotkanie grupy MPEG Xian, Chiny Seminarium Przetwarzanie obrazów i multimedia, listopad 2009 Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska

2 Przebieg spotkania FTV Wyniki EE Nowe dokumenty Perspektywy HVC

3 FTV Ad. Hoc raport – m16501 Eksperyment Eksploracyjny (15) Nowy materiał testowy(3) 6 sekwencji Prace techniczne (10) Poprawki, PSPNR, View synthesis, Bilateral filtering, Soft-Segmenation Inne (4) Wymogi dla 3DTV

Multiview Camera Test Sequences for MPEG-FTV – m16922 Uniwersytet Nagoya – 3 sekwencje 8 kamer – – 300 ramek Restaurant Kendo Balloons Dystans pomiędzy kamerami 5 cm Ruch kamery w linii prostej – 2,2 m 4

Multiview Camera Test Sequences for MPEG-FTV – m16922 System kamer – Uniwersytet Nagoya 5

Multiview Camera Test Sequences for MPEG-FTV – m16922 fff 6

Restaurant - Nagoya 7

Kendo - Nagoya 8

Balloons - Nagoya 9

3D Video Test Sequence and Camera Parameters – m16949 Gwangju Institute of Science and Technology 1 sekwencja – 5 kamer – 5 kamer głebi Obraz - Głębia – – tylko 3 kamery Dystans pomiędzy kamerami W poziomie 6,5 cm, w pionie 8 cm 10

3D Video Test Sequence and Camera Parameters – m16949 System kamer – GIST Basler Pylon GigE, Mesa Imaging SR

Cafe - GIST 12

Poznań Multiview Video Test Sequences and Camera Parameters – m17050 Politechnika Poznańska– 3 sekwencje 9 kamer – – 600 ramek Poznań_Hall Poznań_Street Poznań_CarPark Dystans pomiędzy kamerami 13,75 cm Ruch kamery w linii prostej – 2,2 m 13

Poznań Multiview Video Test Sequences and Camera Parameters – m17050 System kamer – Politechnika Poznańska 14

Poznań Multiview Video Test Sequences and Camera Parameters – m17050 fff 15

Poznań Hall 16

Poznań Street 17

Poznań CarPark 18

19 Eksperyment Eksploracyjny N10720 Dwa eksperymenty EE1 – Wyznaczanie map głebi EE4 – Kompresja sekwencji wielowidokowych Ocena na monitorze polaryzacyjnym

Report of 3DV Exploration Experiment with Champagne Tower – m16898 dd 20

3DV/FTV EE Report on Champagne Tower m15817 – październik 2008 dd 21

Report of 3DV Exploration Experiment with Champagne Tower – m

Report of 3DV Exploration Experiment with Champagne Tower – m16898 dd 23

Newspaper sequence - Results of 3DV/FTV Exploration Experiments with depths and view synthesis – m17051 ff 24

3DV EE1 & EE2 Results on Newspaper m15887 – październik 2008 ff 25

26 Wnioski Jakość map głębi jest dobra, jednakże niewystarczająca Ze względu na brak czasu – najlepsze mapy głębi są udostępniane wraz z sekwencjami Generowane pół-automatycznie Można przystąpić do pisania Call for Proposal

3DV - Harmonogram Grudzień 2009 Zrektyfikowane wersje nowych sekwencji wielowidokowych Styczeń 2010 Wstępne mapy głebi dla nowych sekwencji Ostatecznie wersje kodowań dla sekwencji testowych Ocena zbioru testowego podczas 91 spotkaniu grupy MPEG Kwiecień 2010 Ostateczne mapy głębi dla nowych sekwencji i wstępne wyniki kompresji Lipiec 2010Ostateczne wyniki kompresji dla nowych sekwencji Lipiec 2010 Wstępna wersja Call for Proposal Październik 2010 Ostateczna wersja Call for Proposal 27

28 Applications and Requirements on 3D Video Coding (w11061) Głębia zawarta w Data Format Możliwość wyświetlania 1 lub 2 widoków

Applications and Requirements on 3D Video Coding (w11061) Kompatybilność w przód The compressed data format should be designed to enable the use in combination with future mono and stereo coding standards. Kompatybilność wstecz The compressed data format shall include a mode which is backwards compatible with existing MPEG coding standards that support stereo and mono video. In particular, it should be backwards compatible with MVC. 29

Applications and Requirements on 3D Video Coding (w11061) Kompatybilność z Stereo/Mono The compressed data format shall enable the simple extraction of bitstreams for stereo and mono output, and support high-fidelity reconstruction of samples from the left and right views of the stereo video. Solutions that do not enable simple extraction of bitstreams for stereo and mono output must demonstrate a significantly higher performance in terms of both: coding efficiency and rendering capability. 30

31 Peak Signal-to-Perceptible-Noise Ratio Tool 2.0 (M16890-Zhejiang) Próba obiektywnego szacowania jakości subiektywnej

32 Peak Signal-to-Perceptible-Noise Ratio Tool 2.0 (M16890-Zhejiang) Wyniki korelacji zaproponowanej miary z oceną subiektywną Coding Sequences (seq 9-16)All Sequences (seq 2-16) Sequenc e PSNRSSIMT_PSPNRPSNRSSIMT_PSPNR pa rb rh tr st sf bs Average

33 Depth Boundary Filtering for DIBR (LG-M16417-m17026) Usuwanie bledów w mapach głębi przez resyntezę i porównanie map głębi Lewa mapa głębi Synteza prawej mapy głębi Porównanie prawej mapy głębi z syntezą Prawa mapa głębi z usuniętymi błędami

34 Depth Boundary Filtering for DIBR (LG-M16417-m17026) Przed Po

Depth video coding based on a joint MVD scheme – m16852 Predykcja trybów makrobloków z obrazu na głębie 35

Depth video coding based on a joint MVD scheme – m16852 Predykcja trybów makrobloków – optymalizacja na szybkość 36

37/14 Soft segmentation (PUT-m17049) Zastąpienie block matchingu w DERS Integracja z oprogramowaniem referencyjnym DERS 5.0

38/14 Soft-segmentation

39/14 Soft-segmentation vs Block matching

High-Performance Video Coding (HVC) Przygotowanie Call for Proposal i upublicznienie Przyśpieszenie prac nad HVC przez Leonardo Chiariglione Dyskusja nad referencyjnymi scenariuszami Oglądanie nowych dobrych sekwencji testowych odpowiednio trudnych Współpraca z ITU-T opóźnienie 3 miesiące 40

High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) 5 klas testowych A: 2560x1600 wycięte z 4Kx2K, 2 sekwencje B: 1920x1080p 24/50-60 fps, 5 sekwencji C: 832x480 WVGA, 4 sekwencje D: 416x240 WQVGA, 4 sekwence E: 1280x720p fps, 3 sekwence - wideokonferencje Klasy B,C,E będą oceniane subiektywnie A i D tylko PSNR

High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) Dwie kategorie Random access (klasa A-D) 1.1 sekundy 8 obrazów Low delay (klasa B-E) Obowiązkowe zgłoszenia: Klasa B, C i D w obu kategoriach ClassRate 1Rate 2Rate 3Rate 4Rate 5 A: 2560x1600p302.5 Mbit/s3.5 Mbit/s5 Mbit/s8 Mbit/s14 Mbit/s B1: 1080p241 Mbit/s1.6 Mbit/s2.5 Mbit/s4 Mbit/s6 Mbit/s B2: 1080p Mbit/s3 Mbit/s4.5 Mbit/s7 Mbit/s10 Mbit/s C: WVGAp kbit/s512 kbit/s768 kbit/s1.2 Mbit/s2 Mbit/s D: WQVGAp kbit/s384 kbit/s512 kbit/s850 kbit/s1.5 Mbit/s E: 720p60256 kbit/s384 kbit/s512 kbit/s850 kbit/s1.5 Mbit/s

High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) 21 kandydatów Cena zgłoszenia Harmonogram: 2009/11/05:Dostępne wszystkie sekwencje testowe 2009/11/30:Dostępne wszystkie strumienie referencyjne 2010/01/15:Ostateczny termin wyrażania zainteresowania 2010/01/22: Ostateczna wersja Call for Proposals 2010/01/31:Ostateczny termin wstępnej rejestracji – wymagane 2009/02/15:Ostateczny termin formalnej rejestracji i płatności 2010/02/22:Ostateczny termin dostarczenia zakodowanych sekwencji 2010/03/15:Początek subiektywnych testów 2010/04/12:Rejestracja dokumentów opisujących zgłoszone rozwiązania 2010/04/16:Sprawdzenie poprawności dekodowania dostarczonymi dekoderami 2010/04/17-23:Ocena proponowanych rozwiązań 2012/07:Ostateczna wersja standardu

Dziękuje za uwagę Pytania? 44