1 90. spotkanie grupy MPEG Xian, Chiny Seminarium Przetwarzanie obrazów i multimedia, listopad 2009 Krzysztof Wegner Katedra Telekomunikacji Multimedialnej.

Prezentacja na temat: "1 90. spotkanie grupy MPEG Xian, Chiny Seminarium Przetwarzanie obrazów i multimedia, listopad 2009 Krzysztof Wegner Katedra Telekomunikacji Multimedialnej."— Zapis prezentacji:

1 1 90. spotkanie grupy MPEG Xian, Chiny Seminarium Przetwarzanie obrazów i multimedia, listopad 2009 Krzysztof Wegner Katedra Telekomunikacji Multimedialnej i Mikroelektroniki Politechnika Poznańska

2 2 Przebieg spotkania FTV Wyniki EE Nowe dokumenty Perspektywy HVC

3 3 FTV Ad. Hoc raport – m16501 Eksperyment Eksploracyjny (15) Nowy materiał testowy(3) 6 sekwencji Prace techniczne (10) Poprawki, PSPNR, View synthesis, Bilateral filtering, Soft-Segmenation Inne (4) Wymogi dla 3DTV

4 Multiview Camera Test Sequences for MPEG-FTV – m16922 Uniwersytet Nagoya – 3 sekwencje 8 kamer – 1024x768@29.4114 – 300 ramek Restaurant Kendo Balloons Dystans pomiędzy kamerami 5 cm Ruch kamery w linii prostej – 2,2 m 4

5 Multiview Camera Test Sequences for MPEG-FTV – m16922 System kamer – Uniwersytet Nagoya 5

6 Multiview Camera Test Sequences for MPEG-FTV – m16922 fff 6

7 Restaurant - Nagoya 7

8 Kendo - Nagoya 8

9 Balloons - Nagoya 9

10 3D Video Test Sequence and Camera Parameters – m16949 Gwangju Institute of Science and Technology 1 sekwencja – 5 kamer – 5 kamer głebi Obraz - 1920x1080@30 Głębia – 176x144@30 – tylko 3 kamery Dystans pomiędzy kamerami W poziomie 6,5 cm, w pionie 8 cm 10

11 3D Video Test Sequence and Camera Parameters – m16949 System kamer – GIST Basler Pylon GigE, Mesa Imaging SR4000 11

12 Cafe - GIST 12

13 Poznań Multiview Video Test Sequences and Camera Parameters – m17050 Politechnika Poznańska– 3 sekwencje 9 kamer – 1920x1080@25 – 600 ramek Poznań_Hall Poznań_Street Poznań_CarPark Dystans pomiędzy kamerami 13,75 cm Ruch kamery w linii prostej – 2,2 m 13

14 Poznań Multiview Video Test Sequences and Camera Parameters – m17050 System kamer – Politechnika Poznańska 14

15 Poznań Multiview Video Test Sequences and Camera Parameters – m17050 fff 15

16 Poznań Hall 16

17 Poznań Street 17

18 Poznań CarPark 18

19 19 Eksperyment Eksploracyjny N10720 Dwa eksperymenty EE1 – Wyznaczanie map głebi EE4 – Kompresja sekwencji wielowidokowych Ocena na monitorze polaryzacyjnym

20 Report of 3DV Exploration Experiment with Champagne Tower – m16898 dd 20

21 3DV/FTV EE Report on Champagne Tower m15817 – październik 2008 dd 21

22 Report of 3DV Exploration Experiment with Champagne Tower – m16898 22

23 Report of 3DV Exploration Experiment with Champagne Tower – m16898 dd 23

24 Newspaper sequence - Results of 3DV/FTV Exploration Experiments with depths and view synthesis – m17051 ff 24

25 3DV EE1 & EE2 Results on Newspaper m15887 – październik 2008 ff 25

26 26 Wnioski Jakość map głębi jest dobra, jednakże niewystarczająca Ze względu na brak czasu – najlepsze mapy głębi są udostępniane wraz z sekwencjami Generowane pół-automatycznie Można przystąpić do pisania Call for Proposal

27 3DV - Harmonogram Grudzień 2009 Zrektyfikowane wersje nowych sekwencji wielowidokowych Styczeń 2010 Wstępne mapy głebi dla nowych sekwencji Ostatecznie wersje kodowań dla sekwencji testowych Ocena zbioru testowego podczas 91 spotkaniu grupy MPEG Kwiecień 2010 Ostateczne mapy głębi dla nowych sekwencji i wstępne wyniki kompresji Lipiec 2010Ostateczne wyniki kompresji dla nowych sekwencji Lipiec 2010 Wstępna wersja Call for Proposal Październik 2010 Ostateczna wersja Call for Proposal 27

28 28 Applications and Requirements on 3D Video Coding (w11061) Głębia zawarta w Data Format Możliwość wyświetlania 1 lub 2 widoków

29 Applications and Requirements on 3D Video Coding (w11061) Kompatybilność w przód The compressed data format should be designed to enable the use in combination with future mono and stereo coding standards. Kompatybilność wstecz The compressed data format shall include a mode which is backwards compatible with existing MPEG coding standards that support stereo and mono video. In particular, it should be backwards compatible with MVC. 29

30 Applications and Requirements on 3D Video Coding (w11061) Kompatybilność z Stereo/Mono The compressed data format shall enable the simple extraction of bitstreams for stereo and mono output, and support high-fidelity reconstruction of samples from the left and right views of the stereo video. Solutions that do not enable simple extraction of bitstreams for stereo and mono output must demonstrate a significantly higher performance in terms of both: coding efficiency and rendering capability. 30

31 31 Peak Signal-to-Perceptible-Noise Ratio Tool 2.0 (M16890-Zhejiang) Próba obiektywnego szacowania jakości subiektywnej

32 32 Peak Signal-to-Perceptible-Noise Ratio Tool 2.0 (M16890-Zhejiang) Wyniki korelacji zaproponowanej miary z oceną subiektywną Coding Sequences (seq 9-16)All Sequences (seq 2-16) Sequenc e PSNRSSIMT_PSPNRPSNRSSIMT_PSPNR pa-0.8873-0.8520-0.8935-0.8356-0.6388-0.8662 rb-0.9730-0.9725-0.9429-0.8243-0.5788-0.9273 rh-0.9440-0.9716-0.9110-0.9025-0.8363-0.8769 tr-0.9650-0.9792-0.9537-0.9364-0.9269-0.9692 st-0.6053-0.6955-0.9710-0.7314-0.7232-0.7354 sf-0.6181-0.6817-0.8975-0.6280-0.6964-0.7655 bs-0.8187-0.8772-0.8910-0.8434-0.7034-0.9062 Average-0.8302-0.8614-0.9229-0.8145-0.7291-0.8638

33 33 Depth Boundary Filtering for DIBR (LG-M16417-m17026) Usuwanie bledów w mapach głębi przez resyntezę i porównanie map głębi Lewa mapa głębi Synteza prawej mapy głębi Porównanie prawej mapy głębi z syntezą Prawa mapa głębi z usuniętymi błędami

34 34 Depth Boundary Filtering for DIBR (LG-M16417-m17026) Przed Po

35 Depth video coding based on a joint MVD scheme – m16852 Predykcja trybów makrobloków z obrazu na głębie 35

36 Depth video coding based on a joint MVD scheme – m16852 Predykcja trybów makrobloków – optymalizacja na szybkość 36

37 37/14 Soft segmentation (PUT-m17049) Zastąpienie block matchingu w DERS Integracja z oprogramowaniem referencyjnym DERS 5.0

38 38/14 Soft-segmentation

39 39/14 Soft-segmentation vs Block matching

40 High-Performance Video Coding (HVC) Przygotowanie Call for Proposal i upublicznienie Przyśpieszenie prac nad HVC przez Leonardo Chiariglione Dyskusja nad referencyjnymi scenariuszami Oglądanie nowych dobrych sekwencji testowych odpowiednio trudnych Współpraca z ITU-T opóźnienie 3 miesiące 40

41 High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) 5 klas testowych A: 2560x1600 wycięte z 4Kx2K, 2 sekwencje B: 1920x1080p 24/50-60 fps, 5 sekwencji C: 832x480 WVGA, 4 sekwencje D: 416x240 WQVGA, 4 sekwence E: 1280x720p 50-60 fps, 3 sekwence - wideokonferencje Klasy B,C,E będą oceniane subiektywnie A i D tylko PSNR

42 High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) Dwie kategorie Random access (klasa A-D) 1.1 sekundy 8 obrazów Low delay (klasa B-E) Obowiązkowe zgłoszenia: Klasa B, C i D w obu kategoriach ClassRate 1Rate 2Rate 3Rate 4Rate 5 A: 2560x1600p302.5 Mbit/s3.5 Mbit/s5 Mbit/s8 Mbit/s14 Mbit/s B1: 1080p241 Mbit/s1.6 Mbit/s2.5 Mbit/s4 Mbit/s6 Mbit/s B2: 1080p50-602 Mbit/s3 Mbit/s4.5 Mbit/s7 Mbit/s10 Mbit/s C: WVGAp30-60384 kbit/s512 kbit/s768 kbit/s1.2 Mbit/s2 Mbit/s D: WQVGAp30-60256 kbit/s384 kbit/s512 kbit/s850 kbit/s1.5 Mbit/s E: 720p60256 kbit/s384 kbit/s512 kbit/s850 kbit/s1.5 Mbit/s

43 High-Performance Video Coding (HVC) Draft Call for Proposals (N10926) 21 kandydatów Cena zgłoszenia 4000-5000 Harmonogram: 2009/11/05:Dostępne wszystkie sekwencje testowe 2009/11/30:Dostępne wszystkie strumienie referencyjne 2010/01/15:Ostateczny termin wyrażania zainteresowania 2010/01/22: Ostateczna wersja Call for Proposals 2010/01/31:Ostateczny termin wstępnej rejestracji – wymagane 2009/02/15:Ostateczny termin formalnej rejestracji i płatności 2010/02/22:Ostateczny termin dostarczenia zakodowanych sekwencji 2010/03/15:Początek subiektywnych testów 2010/04/12:Rejestracja dokumentów opisujących zgłoszone rozwiązania 2010/04/16:Sprawdzenie poprawności dekodowania dostarczonymi dekoderami 2010/04/17-23:Ocena proponowanych rozwiązań 2012/07:Ostateczna wersja standardu

44 Dziękuje za uwagę Pytania? 44