Formaty plików audio i wideo Wstęp do Multimediów Wykład 5 Formaty plików audio i wideo

Audio Podstawowe parametry cyfrowej rejestracji sygnałów audio: Częstotliwość próbkowania Rozdzielczość bitowa zapisu Format danych (liniowy, PCM, etc.) Wybór parametrów zapisu dźwięku jest uwarunkowany następującymi czynnikami: Jakość sygnału Oszczędność w wykorzystaniu pamięci Możliwość zapisu sygnału w czasie rzeczywistym (szczególnie dotyczy to starszych systemów, o niewielkiej mocy obliczeniowej) Kompatybilność formatu zapisu

Audio W praktyce wybór formatu cyfrowego zapisu dźwięku jest zwykle kompromisem między jakością sygnału a oszczędnością pamięci pliki przeznaczone do przechowywania szerokopasmowego sygnału muzycznego wysokiej jakości, oraz pliki do przechowywania sygnału mowy z ograniczeniem pasma częstotliwości i dynamiki

Audio Wraz z rozwojem techniki cyfrowego zapisu sygnałów akustycznych i stosowaniem systemów komputerowych do obróbki dźwięku, powstało wiele różnych formatów składowania danych - plików dźwiękowych Ich znaczna ilość spowodowana jest głównie różnorodnością systemów operacyjnych

Audio Ponieważ metody akwizycji i przechowywania danych dźwiękowych zostały opracowane niezależnie przez wielu producentów sprzętu i oprogramowania, stąd powstało wiele różnych formatów plików dźwiękowych Z powyższym wiąże się zagadnienie konwersji formatów plików dźwiękowych

Konwersja formatów plików dźwiękowych Przy obsłudze komputerowych systemów obróbki dźwięku niezbędna jest znajomość podstawowych formatów plików dźwiękowych, ich dostępności systemowej i przeznaczenia Znajomość tej problematyki jest szczególnie istotna przy przenoszeniu plików dźwiękowych pomiędzy systemami operacyjnymi Przenoszenie plików dźwiękowych pomiędzy systemami umożliwiają programowe konwertery formatów Programy te umożliwiają niekiedy także proste przekształcenia sygnału np. dodanie echa, odwrócenie przebiegu, decymację, zmianę amplitudy itp.

Konwersja formatów plików dźwiękowych Konwersja formatów plików dźwiękowych wymaga uwzględnienia 2 zagadnień: Konwersja parametrów zapisu: częstotliwości próbkowania, liczby kanałów, rozdzielczości bitowej, Konwersja typów plików (formatu zapisu danych w pliku)

Częstotliwości próbkowania Częstotliwości próbkowania stosowane w cyfrowych systemach audio: 5500 Hz (Macintosh) (=44100/8) 7333 Hz (=44100/6) 8000 Hz – standard telefoniczny do kodowania μ-law, a-law 8012.8210513 Hz– standard NeXT, używany z kodekiem Telco 11025 Hz (=22050/2) 16000 Hz standard telefoniczny G.722

Częstotliwości próbkowania c.d. 16726.8 Hz – NTSC TV = 7159090.5/(214·2) 18900 Hz – standard CD-ROM 22050 Hz – standard Macintosh, CD/2 22254.[54] – standard złącza monitora MacIntosha 128k 32000 Hz DAB (Digital Audio Broadcasting), NICAM (Nearly-Instantaneous Companded Audio Multiplex) – np. BBC; inne systemy TV, HDTV, R-DAT 32768 Hz (32·1024) 37800 Hz – high quality CD-ROM

Częstotliwości próbkowania c.d. 44056 Hz – częstotliwość próbkowania używana w sprzęcie profesjonalnym (kompat. z NTSC) 44100 Hz – CD audio – najpopularniejsza częstotliwość w aplikacjach profesjonalnych i domowych 48000 Hz – R-DAT 49152 Hz (48·1024) >50000 Hz – używane niekiedy w profesjonalnych systemach cyfrowego przetwarzania sygnałów 96000 Hz – high resolution R-DAT

Dlaczego 44.1 kHz? High-quality PCM audio requires a significantly larger bandwidth than a regular FM audio signal A 16-bit PCM signal requires an analog bandwidth of about 1–1.5 MHz In mid 1970s, a standard analog audio recorder could not meet that requirement. The answer, at that time, was to use a video tape recorder, which is capable of this high bandwidth, to store the information Such an audio recording system included 2 machines: PCM adaptor and the video tape recorder. A PCM adaptor took the analog audio (stereo) signal as its input, and translated it into a series of binary digits, which, in turn, was modulated into a pseudo-video signal. The pseudo-video signal could be stored on any ordinary analog video tape recorder, since these were the only widely available devices with sufficient bandwidth This helps to explain the choice of sampling frequency for the CD, because the number of video lines, frame rate, and bits per line dictate the sampling frequency one can achieve if wanting to store 2 channels of audio – JAES vol. 58 no. 1/2 2010 p.76

Konwersja częstotliwości próbkowania Procedura dwuetapowa: Nadpróbkowanie (ang. oversampling) – generowanie dodatkowych próbek Usuwanie nadmiarowych próbek Częstotliwość nadpróbkowania powinna być NWW źródłowej i docelowej częstotliwości próbkowania

Procedura przepróbkowania

Relacje między najpopularniejszymi częstotliwościami próbkowania

Generowanie dodatkowych próbek Dodatkowe próbki generowane są za pomocą różnego typu algorytmów interpolacyjnych W zależności od wymaganej jakości sygnału oraz możliwości systemowych, stosowana jest zarówno interpolacja liniowa (proste systemy powszechnego użytku), jak i interpolacje wielomianowe wysokiego rzędu (zastosowania profesjonalne)

Usuwanie nadmiarowych próbek Usuwanie nadmiarowych próbek z cyfrowej reprezentacji sygnału (decymacja): Aby uniknąć aliasingu (nakładania widma), nadpróbkowany sygnał nie może zawierać częstotliwości > cz. Nyquista (połowa docelowej cz. próbkowania)

Zapobieganie aliasingowi Nadpróbkowany sygnał Xa(t) należy poddać filtracji dolnoprzepustowej z częstotliwością odcięcia

Procedura przepróbkowania Uwaga: sygnał wyjściowy, otrzymany w wyniku nadpróbkowania, może nie zawierać żadnych próbek sygnału wejściowego, a jedynie próbki wygenerowane po nadpróbkowaniu (w wyniku interpolacji)

Sposoby kodowania PCM ADPCM Kodeki kompandorowe: Kodeki źródła Mu-law (standard amerykańsko-japoński) A-law (standard europejski) Kodeki źródła Wokodery Kodeki hybrydowe kodek = koder + dekoder

PCM PCM (Pulse Code Modulation) –najpopularniejszy sposób kodowania dźwięku Kwantyzacja wielobitowa liniowa Stosunek sygnału do szumu w zapisie n-bitowym: SNR=~6,02n+1,76 [dB] Zaleta: możliwość uzyskania wysokiej jakości (tzn. jakość CD) Wada: duże rozmiary plików http://www.wordiq.com/definition/Modulation

PCM The British engineer, Alec Reeves (1902–1971) invented PCM in 1937 instead of following the traditional method of representing an audio signal by using an electrical current proportional to the sound level, proposed that the electrical sound signal should be sampled and quantized at regular intervals. Then the analog value of each sample would be rounded to the nearest integer value, which, in turn, would be represented by a binary number and transmitted as unequivocal on-off pulses JAES vol.58 no. 1/2 2010, p.73

ADPCM DPCM (Differential Pulse Code Modulation) – wykorzystanie quasi-okresowości sygnałów muzycznych Stosowana jest predykcja wartości kolejnej próbki na podstawie wartości poprzednich próbek; http://www.stanford.edu/class/ee398b/handouts/01-DPCM.pdf ADPCM (Adaptive Differential Pulse Code Modulation) – zastosowanie predyktora adaptatywnego, tj. przystosowującego sposób predykcji do indywidualnej charakterystyki kodowanego sygnału

Kwantyzacja 1-bitowa Znacznie wyższa częstotliwość próbkowania  modulacja (analogicznie jak DPCM, ale zapis 1-bitowy) adaptive DM – zmienny krok Delta PCM – krok kodowany jako wielobitowa PCM modulacja  ; filtr decymacyjny na wyjściu DSP, ograniczający częstotliwość http://www.dip.ee.uct.ac.za/~nicolls/lectures/eee482f/07_dpcm.pdf 23

CCITT A-law: Europa, Azja, Meksyk CCITT - Comite Consultatif Internationale de Telegraphie et Telephonie Obecnie ITU-T: Telecommunication Standardization Sector of the International Telecommunications Union A-law jest standardem kodowania i kompresji dźwięku w Windows 95 i Web phones Zaprojektowany jako standard telekomunikacji telefonicznej http://oldwww.rasip.fer.hr/research/compress/glossary/Glossary.htm http://www.singapore.cnet.com/Briefs/Glossary/Terms/ccittalaw.html

CCITT μ-law: USA, Kanada, Japonia Nazwy używane zamiennie: Sun-AU file, Next sound file, mu-law, u-law Mu-law jest standardem kompresji – sposobem kodowania dźwięku opartym na częstotliwości próbkowania 8kHz Stosowane przez Sun, NeXT, Windows 95; zaprojektowany jako standard komunikacji telefonicznej Opis w CCITT (ITU) Recommendation G.711

CCITT μ-law Kodowanie oparte na kwantyzacji logarytmicznej: więcej poziomów kwantyzacji dla niższych poziomów sygnału (obserwacja statystyczna: większe prawdopodobieństwo sygnałów o mniejszym poziomie) W typowym systemie μ-law, liniowe próbki kodowane przez 14-16 bitów są komprymowane do 8 bitów http://www.sericyb.com.au/audio.html http://www.biologie.uni-freiburg.de/data/tutorial/CreatingAIFC.html

Wokodery Kodek źródła tworzy model źródła dźwięku i dokonuje rekonstrukcji sygnału na podstawie tego modelu Wokoder (Voice Coder) – kodek źródła, przewidziany do transmisji sygnału mowy Używane są 2 podstawowe modele sygnału: Dźwięczny (pobudzenie tonowe) Bezdźwięczny (pobudzenie szumowe) Wokodery LPC – linear prediction coding LPC-10, 10 rzędu, wieloletni standard U.S. Government Każda ramka jest określana jako dźwięczna (wyspecyfikowany okres wysokości dźwięku) lub bezdźwięczna (szum losowy) Dekoder syntetyzuje mowę przepuszczając sygnał pobudzenia przez filtr LP

Wokodery Zaleta: Wada: Sygnał przekazywany jest w bardzo małym pliku Nadaje się do kodowania jedynie określonego typu sygnałów Nie nadaje się do kodowania np. muzyki

Kodowanie mowy LPAS – linear-prediction-based analysis-by-synthesis Dekoder otrzymuje dane określające sygnał pobudzenia i filtr syntetyzujący. Mowa jest generowana jako odpowiedź filtru syntezy na sygnał pobudzenia Filtr syntezy: LP, zmienny w czasie, okresowy update, wyznaczony przez analizę ramki LP Filtr działa jako filtr kształtujący, odwzorowujący sygnał o względnie płaskim widmie w sygnał z autokorelacją i obwiednią widma podobną do sygnału oryginalnego AbS excitation coding: koder wyznacza sygnał pobudzenia dla danego segmentu (jednorazowo dla 1 segmentu), poprzez podawanie kandydatów-segmentów pobudzenia na replikę filtru syntezy. Wybierany jest ten który minimalizuje perceptualnie ważone zniekształcenia pomiędzy sygnałem oryginalnym i syntetyzowanym

Kodowanie mowy CELP algorithms – code-excited linear prediction Forma LPAS Zastosowanie kwantyzacji wektorowej Zaprojektowany wcześniej zbiór wektorów pobudzenia jest przechowywany w książce kodowej. Dla każdego segmentu czasowego, koder szuka wektora którego próbki najlepiej działają jako wektor pobudzenia dla danego segmentu Np. książka kodowa z 1024 wektorami, 40-D każdy, wymaga słowa 10-b żeby wyznaczyć kolejnych 40 ramek sygnału pobudzenia Doskonale sprawdza się w zakresie przepływności 4-16 kb/s

Kodeki hybrydowe Łączą cechy kodeków falowych i kodeków źródła Najpopularniejsze - kodeki AbS (Analysis-by-Synthesis): najpierw sygnał dzielony jest na ramki, a następnie dla każdej ramki budowany jest model źródła Koder sprawdza zachowanie modelu źródła przy różnych sposobach pobudzenia; po porównaniu z sygnałem źródłowym wybierany jest najodpowiedniejszy sposób pobudzenia

Konwersja sposobu kodowania Przy konwersji sposobu kodowania zwykle stosuje się rozkodowanie do formatu PCM, a następnie kodowanie do formatu docelowego Pozwala to wykorzystać istniejące kodeki

Główne formaty plików dźwiękowych .wav (Microsoft, IBM) .snd, .au (NeXT, Sun) .mp3 .mid (MIDI) Inne: aiff (Audio Interchange File Format – Apple); proprietary lossless formats - MLP Lossless, DTS-HD, Apple Lossless; mp3pro; mp4; ogg (FLAC - Free Lossless Audio Codec, bezstr., freeware); freeware Monkey’s Audio, OptimFROG; vqf; qt (QuickTime audio); ra, rm, ram (RealAudio); wma; rmf; Liquid Audio; a2bmusic; koz (Chaoticom; scalable; grew out of developments in the control of chaotic systems; signal decomposed into peak-like or tonal objects, noise-like objects, transients, and modulations. Psychoacoustic models adapted to prioritize and quantize these objects, and the reconstructed signal is built up in layers from the prioritized objects) http://www.uwm.edu/~frankkl/540430/sound.htm; http://skaiste.elekta.lt/Books/O'Reilly/Bookshelfs/books/webdesign/audio/index.htm http://www.wotsit.org/; http://www.teamcombooks.com/mp3handbook/MP3_Handbook.htm Standardy kompresji perceptualnej: MPEG, AC-3 (HDTV), PASC (magnetofon DCC) 33

Formaty kodowania audio Dla HDTV for production (eg. linear PCM, Dolby E, or apt-X) for transmission (Dolby Digital/Plus/Pulse, MPEG Surround) Odbiorniki Europe - DVB-T standard does not specify which audio encoding standard should be used Options include MPEG-1 Layer 2, Dolby Digital, Dolby Digital Plus, DTS, or HE-AAC It is up to regional HD Forums to decide which is implemented in practice, and the trend in most regions seems to be strongly in the direction of Dolby Digital Plus and HEAAC with a transcoder U.S. - ATSC standard specifies Dolby Digital Japan - ISDB-T standard specifies MPEG AAC J. Audio Eng. Soc., Vol. 57, No. 10, 2009, p. 856

Kodowanie dźwięku MPEG Adaptive Transform Acoustic Coding (ATRAC) - Sony FLAC apt-X Enhanced apt-X, apt-X Live, apt-X Lossless 35

MIDI Musical Instrument Digital Interface – system kontrolny dla syntezatorów sprzętowych i programowych Dźwięk jest generowany syntezatorem (może być z samplera) Opis formatu: http://www.srm.com/qtma/davidsmidispec.html http://www.midi.org/ Prosty format Ciekawostka: pitch bend – dane 14-bitowe

MIDI a fala dźwiękowa MIDI jest dobrym źródłem muzyki gdy: Ważny jest czas i miejsce na dysku mała wielkość plików MIDI Ważna jest możliwość edycji/przetwarzania komputerowego łatwiejsza edytowalność Pliki audio: Nagrania wokalu, muzyki akustycznej a nie elektronicznej, efektów dźwiękowych Nagrywanie próbek dźwięków 37

Kodowanie perceptualne dźwięku Źródło: http://212.160.118.98/~robbie/W07.pdf E-AC-3 (Enhanced AC - 3), inaczej Dolby Digital Plus (DD+) 38

Porównanie jakości dźwięku w różnych formatach http://www.daktik.rubikon.pl/audio_porownanie_formatow.htm

Cel kompresji audio Wysokiej jakości cyfrowe dane audio wymagają wiele miejsca przy przechowywaniu i szerokiego pasma przy przesyłaniu Przykład: 1 minuta nagrania CD (częstotliwość próbkowania 44.1kHz, 16 bitów na próbkę, stereo) 44100 * 2 [kanały] * 2 [B/Sa] * 60 [s] ~ 10 MB miejsca na dysku przy transmisji: dla modemu 28.8 10.000.000 [B] * 8 [bit/B] / (28800 bit/s * 60 s/min) ~ 49 minut na ściągnięcie 1 minuty

Cel kompresji audio Cyfrowe kodowanie sygnału audio (tu - kompresja audio) minimalizuje wymagania miejsca na dysku (lub szerokości pasma przy przesyłaniu) Dla cyfrowego sygnału audio z CD, przepływność binarna [liczba bitów przesyłanych w jednostce czasu] wynosi 1411.2 kbps Dla MPEG-2 AAC, jakość CD osiągana jest przy przepływności 96 kbps Współczesne perceptualne techniki kodowania audio, np. MPEG Layer-3, MPEG-2 AAC, wykorzystują właściwości ucha ludzkiego (percepcji dźwięku) do osiągnięcia 12-krotnej redukcji bez straty lub przy niezauważalnej stracie jakości

Cel kompresji audio Kompresja perceptualna stanowi zatem podstawę aplikacji wymagających wysokiej jakości sygnału i niskiej przepływności binarnej, np. ścieżki dźwiękowe gier na CD-ROM, przesyłanie dźwięku przez Internet, cyfrowe rozgłośnie radiowe etc Po dokonaniu kompresji stratnej nadmiarowa informacja zostaje bezpowrotnie usunięta z pliku. Odtworzone pliki różnią się od oryginałów, ale brzmią tak samo (mniej lub bardziej, zależnie od kompresji) http://www.iis.fhg.de/amm/techinf/basics.html

Kompresja audio Kompresja sygnału audio składa się z 2 części: kodowanie - przekształcenie danych audio, np. pliku WAVE, w skomprymowany ciąg bitów dekodowanie - konieczne do odtworzenia pliku Najwyższa efektywność kodowania osiągana jest dla algorytmów wykorzystujących redundancję sygnału (redundancy – np. ten sam ton przez 1s, irrelevancy) w oparciu o model systemu słyszenia człowieka

Kompresja audio Schemat kodowania można opisać jako „perceptual noise shaping” lub „perceptual subband/transform coding”: Koder analizuje składniki widmowe sygnału audio za pomocą banku filtrów (transformaty) i stosuje model psychoakustyczny do estymacji ledwo postrzegalnego poziomu szumu Na etapie kwantyzacji i kodowania, koder zapisuje dane tak, by spełnić wymagania określone w przepływności binarnej i maskowaniu Dekoder jest dość prosty – syntetyzuje sygnał audio na podstawie zakodowanych składników widmowych

Podstawy psychoakustyczne kodowania Psychoakustyka opisuje charakterystykę układu słuchowego człowieka. Współczesna technologia kodeków audio oparta jest na podstawach psychoakustycznych Czułość układu słuchowego człowieka zmienia się w dziedzinie częstotliwości Wysoka dla częstotliwości 2.5 - 5 kHz Zmniejsza się poniżej i powyżej tych granic Czułość słuchu reprezentowana jest przez próg słyszenia – nie są postrzegane tony poniżej tego progu

Podstawy psychoakustyczne kodowania Najistotniejszym faktem psychoakustycznym jest efekt maskowania. Dla każdego tonu w sygnale audio można wyznaczyć próg maskowania. Jeśli ton leży poniżej tego progu, zostanie zamaskowany przez ton głośniejszy i nie będzie słyszalny Niesłyszalne elementy sygnału audio (irrelevant elements) mogą zostać wyeliminowane przez koder

Podstawy psychoakustyczne kodowania

Podstawy psychoakustyczne kodowania Źródło: http://212.160.118.98/~robbie/W07.pdf

MPEG1-Audio Layer I, najprostszy – najlepszy dla przepływności powyżej 128 Kb/s na kanał Layer II - przepływności ok. 128 Kb/s Layer III, najbardziej złożony, ale daje najwyższą jakość, zwłaszcza dla przepływności ok. 64 Kb/s na kanał Audio w ISDN Próbkowanie: 32, 44.1, lub 48 kHz CBR, VBR Bank filtrów: 192 albo 576 podpasm (w zależności od wymaganej rozdzielczości czasowej) 20-320 kb/s MPEG-2: od 8 kb/s Oparty na MDCT; równoległe obliczanie FFT http://teleinfo.pb.edu.pl/~krashan/files/syst_mult_wyklad_7.pdf http://www.elportal.pl/pdf/k03/53_13.pdf

MPEG-audio

MPEG-audio

MPEG Audio Layer-3 Używając kodeka MPEG można uzyskać kompresję dźwięku CD 12:1 bez straty jakości Kompresja rzędu 24:1 i wyższa, zachowuje dobrą jakość dźwięku (lepszą niż zmiana częstotliwości próbkowania i rozdzielczości bitowej) Kompresja ta dokonywana jest poprzez kodowanie perceptualne, oparte na percepcji dźwięku przez ucho ludzkie

MPEG Audio – redukcja danych 4:1 - Layer 1 (odpowiada przepływności 384 kbps dla sygnału stereo), 6:1...8:1 - Layer 2 (odpowiada przepływnościom 256..192 kbps dla sygnału stereo), 10:1...12:1 - Layer 3 (odpowiada przepływnościom 128..112 kbps dla sygnału stereo), przy zachowaniu jakości oryginału CD

Jakość dźwięku w MP3 Maskowanie Testy odsłuchowe

  Schemat MP3

Model perceptualny Model perceptualny wyznacza jakość implementacji: stosuje tylko bank filtrów lub łączy go z wyznaczaniem energii związanej z maskowaniem Wyjście modelu perceptualnego zawiera wartości obliczone dla progów maskowania lub dopuszczalny szum dla każdej kodowanej części sygnału Jeśli szum kwantyzacji znajdzie się poniżej progu maskowania, wynik kompresji jest nieodróżnialny od oryginału

Joint stereo coding Element ten wykorzystuje fakt, że oba kanały zawierają tę samą informację (irrelevancy, redundancy), do obniżenia przepływności Wykorzystywany, gdy wymagana jest niska przepływność binarna, a sygnał jest stereofoniczny

Kwantyzacja i kodowanie Jest to system 2 zagnieżdżonych pętli Kwantyzacja jest wykładnicza – wyższe wartości kodowane są z mniejszą dokładnością. W proces kwantyzacji wbudowany jest również noise shaping Skwantowane wartości są kodowane za pomocą kodowania Huffmana (bezstratnego – budowa drzewa od liści do korzenia) Pozostałe elementy dopracowywane są w 2 pętlach metodą analysis-by-synthesis http://www.iis.fhg.de/amm/techinf/layer3/index.html

MPEG-2 AAC (Advanced Audio Coding) Kodowanie dźwięku dookólnego (5.1) http://www.iis.fhg.de/amm/techinf/aac/index.html

MPEG-2 AAC MPEG-2 AAC jest kontynuacją MP3 Dopuszczalne częstotliwości próbkowania 8-96 kHz i dowolna liczba kanałów 1-48 Wykorzystanie kodowania perceptualnego (maskowanie): szum kwantyzacji jest rozdzielany do pasm częstotliwościowych tak, aby został zamaskowany przez sygnał, a więc był niesłyszalny Struktura kodera różna od poprzedników

MPEG-2 AAC

MPEG-2 AAC - elementy Zastosowanie MDCT (Modified DCT) TNS – Temporal Noise Shaping – kształtuje dystrybucję szumu kwantyzacji w czasie za pomocą predykcji w dziedzinie częstotliwości W szczególności głos ludzki zyskuje na zastosowaniu TNS

MPEG-2 AAC - elementy Predykcja: wykorzystanie faktu, że pewne sygnały audio dobrze nadają się do predykcji Kwantyzacja: dokładniejsza kontrola rozdzielczości kwantyzacji Bit-stream format: kodowanie z uwzględnieniem entropii dla uzyskania jak najmniejszej redundancji Zastosowanie MPEG-2 AAC: rozgłośnie cyfrowe, MPEG-4

MPEG-4 HE-AAC v2 HE-AAC (High Efficiency AAC) version 2, także znany jako aacPlus v2 MPEG-4 http://www.ebu.ch/fr/technical/trev/trev_305-moser.pdf HE-AAC encoder generates side information, including control parameters, that characterizes the energy distribution across time and frequency as well as tonal and noise components, to ensure perceptually coherent regeneration of the high band at the decoder Połączenie 3 technologii: Advanced Audio Coding (AAC) Spectral Band Replication (SBR) – based on harmonic redundancy in the frequency domain Parametric Stereo (PS) Dla TV cyfrowej ATSC (Advanced Television Systems Committee) - nazwy: Enhanced AAC-Plus (3GPP), Dolby Pulse (Dolby) ATSC audio – stosuje kodowanie DD (AC-3), 2 tryby: Line mode (szerszy zakres dynamiki) RF mode (radio frequency) JAES vol.57 no.7/8 2009, p.607

HE-AAC, HE-AAC v2 Coding scheme: Parametric approach

MPEG Surround Kodowanie perceptualne (w bardziej wydajnej wersji HE-AAC) i transmisja 1-2 kanałów (downmixed) oraz 3-15 kb/s dla dodania informacji przestrzennej Rekomendowane użycie 12% przepływności dla uzyskania jakości przestrzennej takiej jak inne aspekty audio

Testy JAES 57 7/8, 2009, p.606

MPEG standard SAOC (Spatial Audio Object Coding) MPEG SAOC MPEG standard SAOC (Spatial Audio Object Coding) object-based processing standard coding of sound scenes comprising several audio objects by parametric coding techniques; bit rates commonly used for coding of mono or stereo sound At the decoder side, each object can be interactively rendered Applications: user-controlled music remixing and spatial teleconferencing

Metody kompresji obrazu Bezstratne (dokładne odtworzenie danych) Probabilistyczne, np. statystyczne – budowa binarnego drzewa kodów; symbole częściej występujące umieszczane są bliżej korzenia metoda Huffmana – budowa od liści do korzenia metoda Shannona-Fano - odwrotnie Słownikowe (Ziv, Lempel – Hajfa, koniec lat 70.) - zastąpienie powtarzających się ciągów znaków odniesieniami do ich pierwotnego wystąpienia Stratne - duży stopień upakowania kosztem utraty szczegółów

Kompresja obrazu Metody Najbardziej efektywne metody - stratne: symetryczne asymetryczne Najbardziej efektywne metody - stratne: Kompresja JPEG Kompresja fraktalna

Kompresja obrazu Zdjęcie B w formacie bmp m·n komórek danych, po jednej dla każdego piksela Wielkość komórki jest różna w zależności od rodzaju zdjęcia Czarno-białe  1 bit (0  biały/1 czarny) Dwuwymiarowy zbiór w którym interesują nas tylko piksele których bit = 1 Możemy rozpatrywać to zdjęcie jako zwarty podzbiór R2 B w skali szarości  podzbiór R3 Trzeci bajt odpowiada za określenie intensywności skali szarości B - zdjęcie kolorowe  podzbiór R5

Kompresja JPEG

Kompresja JPEG

Kompresja stratna obrazu - JPEG JPEG (Joint Photographic Experts Group) – grupa ekspertów opracowująca standardy kodowania obrazów ciągłych ISO i ITU-T; oficjalna nazwa: ISO/IEC JTC1 SC29 Working Group 1 http://www.jpeg.org/public/jpeghomepage.htm Opisy standardu: http://www.jpeg.org/public/jpeglinks.htm

Kompresja JPEG Przekształcenie obrazu RGB w YCrCb: Kolory RGB skwantowane na 220 poziomach zostają zamienione na luminancję (jaskrawość) Y i chrominancję (kolorowość) CrCb, również 220 poziomów Kodowana jest 1 para wartości chrominancji na każde 2 wartości luminancji

Kompresja JPEG c.d. Zastosowanie DCT (Discrete Cosine Transform) dla bloków 8x8 pikseli (dla Y, dla U, dla V) Kwantyzacja, zależna od częstotliwości przestrzennej RLE (Run Length Encoding - kodowanie długości serii) i metoda Huffmana, w oparciu o obliczanie entropii i przewidywanie oczekiwanego wzorca danych RLE: zamiana ciągów powtarzających się symboli oznaczeniem, że wystąpił ciąg danego symbolu + określenie jego długości JPEG wykorzystuje względną niewrażliwość ludzkiego oka na kontrasty koloru (odcienie), tj. zmiany chrominancji, w porównaniu z luminancją. Możliwa jest zmiana kroku kwantyzacji dla każdego składnika częstotliwości, tj. większy krok może reprezentować mniej znaczące częstotliwości 76

Kompresja JPEG c.d. Jakość: Kodowanie progresywne >= 2 b/pix., kompresja 8:1, jakość nieodróżnialna od oryginału 1,5 b/pix, kompresja 10,7:1, jakość znakomita 0,75 b/pix, kompresja 21,4:1, jakość b.dobra 0,5 b/pix, kompresja 32:1, jakość dobra 0,25 b/pix, kompresja 64:1, jakość średnia Kodowanie progresywne

Kompresja JPEG Przykłady porównania obrazów oryginalnych i skomprymowanych za pomocą standardu JPEG http://www.bk.isy.liu.se/~svan/jpeg.html (z lewej oryginał, z prawej – po kompresji)

Kompresja JPEG - przykłady

Kompresja JPEG - wady Efekt zblokowania pikseli Efekt zniekształcenia krawędzi

JPEG 2000 Kompresja obrazu w oparciu o analizę falkową Części: Zastosowania: aparaty cyfrowe, obrazy medyczne i inne http://www.jpeg.org/jpeg2000/ Części: Part 1, Core coding system (intended as royalty and license-fee free - NB NOT patent-free) Part 2, Extensions (adds more features and sophistication to the core) Part 3, Motion JPEG 2000 Part 4, Conformance Part 5, Reference software (Java and C implementations are available) Part 6, Compound image file format (document imaging, for pre-press and fax-like applications, etc.) Part 7 has been abandoned Part 8, JPSEC (security aspects) Part 9, JPIP (interactive protocols and API) Part 10, JP3D (volumetric imaging) Part 11, JPWL (wireless applications) Part 12, ISO Base Media File Format (common with MPEG-4)

JPEG 2000 Part 1 definiuje podstawowy format plików, JP2 Można w nim dołączać metadane JP2 wykorzystuje rozszerzalną architekturę, wspólną dla innych formatów plików, definiowanych w dalszych częściach standardu http://www.lkn.ei.tum.de/studium/mmprog/jpeg2000/jpeg2000.htm

JPEG 2000 Opcjonalny tiling polega na podziale obrazu na prostokąty do niezależnego kodowania

JPEG 2000

JPEG2000 vs JPEG www.cs.sfu.ca/~jcliu/cmpt365/8-MediaCompression-Image.ppt

Kompresja fraktalna. Fraktale Kompresja oparta na lokalnym samopodobieństwie obrazu Fraktale: ułamkowy wymiar Hausdorffa-Besicovitcha, różny od wymiaru topologicznego Wymiar ten przyjmuje dla fraktala wartości niewymierne, wskazując jednocześnie w jaki sposób fraktal wypełnia przestrzeń, w której jest osadzony

Przykłady fraktali: zbiór Julii

Przykłady fraktali: żuk Mandelbrota Benoit Mandelbrot – pionier fraktali

Kompresja fraktalna Z obserwacji Barnsley’a wynika, ze obrazy z rzeczywistego świata zawierają dużo powtórzeń afinicznych (złożenie przesunięcia, obrotu i przeskalowania). Oznacza to, ze przy odpowiedniej funkcji IFS duże części obrazu są podobne do mniejszych części tego samego obrazu http://www.math.psu.edu/tseng/class/Fractals.html

Kompresja fraktalna: Podstawowe zasady Przekształcenia afiniczne: złożenie obrotu, przesunięcia i skalowania Rozpatrujemy afiniczne odwzorowanie zwężające współczynnik skalowania < 1. R2: W(x,y) = (ax+by+e, cx+dy+f) Parametry a,b,c,d opisują obrót i skalowanie Parametry e i f to odległości przesunięć w kierunku x i y.

Iterated Function Systems – IFS Krzywa Kocha 3 krzywe – płatek śniegu

Przekształcenia Kocha

Kompresja fraktalna Oparta na lokalnym samopodobieństwie obrazu I etap - segmentacja obrazu i wyszukanie lokalnego samopodobieństwa. Obraz traktowany jest jako funkcja f(x,y), określająca wartość piksela Zakodowanie obrazu jako zbioru przekształceń, odwzorowujących pewien segment rysunku w jego kopię. Każde takie przekształcenie kodowane jest jako IFS (Iterated Function System), tj. iterowany układ funkcji {K, wn: n = 1,...,N}, gdzie wn: K →K - funkcje ciągłe, K - zwarta przestrzeń metryczna z metryką d, wn – zwykle afiniczne Uzyskiwany duży stopień kompresji nie powoduje efektów ubocznych charakterystycznych dla metody JPEG (zblokowanie pikseli)

Kompresja fraktalna IFS atraktor http://thor.csie.ntu.edu.tw/notebook/fractal/fic_review/ticc.html Fraktal: wymiar Hausdorffa dH różny od topologicznego

Podstawa kompresji fraktalnej Collage Theorem:

Kompresja fraktalna Obraz traktowany jest jako funkcja f(x, y) opisująca piksel Podział na „Domain Regions” (obszary samopodobne) nienakładające się Podział na „Range Regions” większe od DR Dopasowywanie - dla każdego DR algorytm wyszykuje odpowiedni RR, który, po zastosowaniu odpowiedniego przekształcenia afinicznego, będzie przypominać ten obszar The fractal image compression first partitions the original image into nonoverlapping domain regions (they can be any size or shape). Then a collection of possible range regions is defined. The range regions can overlap and need not cover the entire image, but must be larger than the domain regions, For each domain region the algorithm then searches for a suitable range region that, when applied with an appropriate affine transformation, very closely resembles the domain region http://www.math.psu.edu/tseng/class/Fractals.html Matematyczny opis w pliku FIF Kompresja niezależna od rozdzielczości zdjęcia

Dekompresja obrazu Alokacja 2 buforów Podział Odwzorowania Bufor 1 – „Range Region” Bufor 2 – „Domain Region” Podział Odwzorowania Zamiana rolami - przeznaczenie buforów jest zamieniane w czasie dekompresji Utworzenie obrazu wynikowego To decompress an image, the compressor first allocates 2 memory buffers of equal size, with arbitrary initial content. The iterations then begin, with buffer 1 the range image and buffer 2 the domain image. The domain image is partitioned into DR as specified in the FIF file. For each DR, its associated RR is located in the range image. Then the corresponding affine map is applied to the content of the RR, pulling the content toward the map's attractor. Since each of the affine maps is contractive, the RR is contracted by the transformation. This is the reason that the RR are required to be larger than the DR during compression. For the next iteration, the roles of the domain image and range image are switched. The process of mapping the RR (now in buffer 2) to their respective DR (in buffer 1) is repeated, using the prescribed affine transformations. Then the entire step is repeated again and again, with the content of buffer 1 mapped to buffer 2, then vice versa. At every step, the content is pulled ever closer to the attractor of the IFS which forms a collage of the original image. Eventually the differences between the two images become very small, and the content of the first buffer is the output decompressed image

FIC vs. JPEG Cechy JPEG Wady FIC Metoda DCT - Discrete Cosine Transform Standard Zależny od rozdzielczości obrazu kompresowanego Niezadowalająca jakość kompresji ostrych krawędzi Wady FIC Długi czas kompresji Fraktale częściej stosowane są do syntezy (obrazu, dźwięku)

Generacja krajobrazów za pomocą fraktali Fractal Wireframe

Flat-Shared Rendering

Ray-Traced Rendering

Full Rendering

Formaty plików wideo avi, ifv mpeg, mpg, mpe, m1v mov qt rm AVI: Audio Video Interleave – kontener danych AV mpeg, mpg, mpe, m1v mov qt rm asf, wm, wmv, wmp, asx VDOLive Div-X http://netdesign.beep.pl/multimedia_formaty.shtml 103

Kompresja obrazów ruchomych MPEG M-JPEG (Moving JPEG) http://www.terran-int.com/CodecCentral/Codecs/MJPEG.html P*64 (CCITT H.261) – standardowy kodek wideotelefoniczny Przesyłanie z przepływnością będącą wielokrotnością 64kbit/s (podstawowe połączenie telefoniczne)

Kompresja obrazów ruchomych - MPEG MPEG - Moving Pictures Expert Group jest częścią International Standards Organisation; odpowiada za cyfrową kompresję audio i wideo Standard pozwala na kompresję w stosunku od 50:1 do 200:1 http://www.mpeg.org/MPEG/ http://wwwam.hhi.de/mpeg-video/papers/sikora/mpeg1_2/mpeg1_2.htm http://www.wlv.ac.uk/~c9653177/mpeg.html

Kompresja obrazów ruchomych - MPEG MPEG-1: przeznaczony do CD-I i Video-CD, pozwala na transmisję 1.5 Mbps. MPEG-2: standard dla TV cyfrowej i DVD (Digital Video Disc).  Jest to zaawansowana wersja layer-1, z możliwością kodowania obrazów z przeplotem; 4 Mbps. MP3: standard kompresji audio MPEG Audio Layer 3 (MPEG-1 Part 3) MPEG-4: standard dla www i zastosowań mobilnych, przewidywany do pokonania problemów z wielością standardów syntezy audio i wideo; przewidziano takie udoskonalenia jak zastosowanie AI do rekonstrukcji obrazu MPEG-7: Multimedia Content Description Interface – standard opisu metadanych; dla różnych aplikacji http://www.chiariglione.org/mpeg/standards/mpeg-7/mpeg-7.htm MPEG-21: Multimedia Framework – użycie zasobów multimedialnych w sieci http://www.chiariglione.org/mpeg/standards/mpeg-21/mpeg-21.htm

MPEG Working documents MPEG-A (Multimedia Application Formats) Part 6: Professional archival application format – new standard MPEG-B (MPEG Systems Technologies) MPEG-C (MPEG Video Technologies) Auxiliary Video Data Representation (StereoScopicVideo Applications) MPEG-D (MPEG Audio Technologies) – recent standards MPEG Surround; Spatial Audio Object Coding Unified Speech and Audio Coding Combines elements of AAC with linear prediction - estimating forthcoming samples based on those that have come before) stereo coding uses a down-mixing mode of MPEG Surround, 2-1-2 mode (transmits a mono down-mix with parameters that enable the interchannel differences to be reconstructed) http://www.gel.usherbrooke.ca/gournay/documents/publications/AES126_Neuendorf.pdf MPEG-E (MPEG Multimedia Middleware) i inne http://mpeg.chiariglione.org/working_documents.htm

Techniki kompresji w MPEG Discrete Cosine Transform (DCT) Kwantyzacja Kodowanie Huffmana Kodowanie predykcyjne – obliczanie różnic między ramkami, a następnie kodowanie wyłącznie tych różnic Predykcja dwustronna – na podstawie obrazów poprzednich i następnych

Kodery grafiki i wideo

Standardy kompresji obrazu http://www.coe.iup.edu/portfolio/HandoutPage/PT3Sitefiles/Miscellaneous/ImageFiles.doc

Standardy kompresji obrazu MPEG-2 – formaty próbkowania składowych luminancji i chrominancji 4:2:0 – 2:1 poziomo i pionowo (rozdzielczość składowych luminancji :chrominancji) 4:2:2 – próbkowanie 2:1 tylko poziomo 4:4:4 – bez przepróbkowania http://www.tvtechnology.com/features/Tech-Corner/f-RH-4.2.2-07.10.02.shtml

Standardy kompresji obrazu

Standardy AV DLNA – The Digital Living Network Alliance; aims to ensure interoperability between networked devices in both home and mobile environments and is supported by over 250 manufacturers THX Connect - certification program ensuring that a portable player can communicate with a car audio system and be controlled by it (JAES 56/9 2008, p.743) 113

Dźwięk/obraz/obraz ruchomy AVS (Audio Video Standard) – standard zainicjowany przez rząd Chin; 90% patentów jest w posiadaniu chińskich korporacji Wikipedia 114

Skalowalność strumienia danych 115 Skalowalność strumienia danych - w zakresie jakości i złożoności, z dostosowaniem do medium wyświetlającego i możliwości transmisji MPEG-2 w postaci 3 warstw, bazowej i 2*rozszerzonej (base layer + 2*enhance layers): Przestrzenną SNR, czyli różna dokładność z taka samą rozdzielczością Czasową Dane zapisywane w warstwach, w zależności od ich ważności MPEG-4 Skalowalność w oparciu o semantykę (Content based scalability)

Cechy kompresji stratnej obrazu Bez uwzględniania zawartości semantycznej obrazu - ciąg pikseli lub bloków pikseli stanowi ciąg jedno- lub wielo- wymiarowych sygnałów transponowanych do przestrzeni opartej na pewnej falowej bazie sygnałów np.: DCT, ewentualnie na transformacie falkowej (JPEG, H261 i MPEG-2) Podobieństwo piksel do piksela Niezależny od treści podział na bloki Eliminacja redundancji przestrzennej metodami analizy sygnałów Eliminacja redundancji czasowej techniką kompensacji ruchu bloków

Cechy kompresji stratnej obrazu Oparte na analizie semantycznej sceny - dzieli sceny na oddzielnie kodowane obiekty, opis obiektów przez lokalizację i ruch, kształt i teksturę Dostępność mechanizmów skalowalności i interakcji (MPEG-4, MPEG-7) Podobieństwo ze względu na ocenę człowieka Podział na segmenty odpowiadające obiektom fizycznym na scenie Eliminacja redundancji przestrzennej przez modelowanie plam (kontur+tekstura) Eliminacja redundancji czasowej techniką estymacji i kompensacji ruchu segmentów Nastawienie na dopasowanie do HVS (Human Visual System)

Typy metod stosowanych do oceny jakości kompresji Subiektywne notowanie wrażeń widzów lub słuchaczy MOS (Mean opinion score) Obiektywne porównanie ilościowe na podstawie wyznaczonych matematycznie parametrów obrazu Metody oparte na modelach percepcji informacji przez człowieka perceptualny model, zapewniający wierność percepcji słuchowej modelowanie układu percepcji wzrokowej człowieka (HVS, Human Visual System)

Obiektywne metody oceny jakości kompresji PSNR (Peak Signal-to–Noise Ratio) szczytowy stosunek sygnału do szumu SNR (Signal-to-Noise Ratio) stosunek sygnału do szumu Odległość pikseli dla obrazu monochromatycznego - różnica wartości dla kolorowego - odległość w przestrzeni barw YCRCB lub La*b* lub układzie Munsella Dodatkowo: Średnia różnica, Maksymalna różnica Błąd średniokwadratowy (Mean Square Error), Szczytowy błąd średniokwadratowy (Peak Mean Square Error), Znormalizowany błąd średniokwadratowy (Normalized Mean Square Error), Laplasjanowy błąd średniokwadratowy (Laplacian Mean Square Error) Jakość korelacji (Correlation Quality), Znormalizowana korelacja skośna (Normalized Cross-Correlation) Zawartość strukturalna (Structural Content) Wierność obrazu (Image Fidelity) Ważone odległości obrazów według różnych norm, np. Normy Minkowskiego i inne, oparte na graficznych miarach jakości obrazów, liczone np. na podstawie histogramu lub wykresu Hosaka, obrazującego degeneracje jakości

Literatura WIECZORKOWSKA, A., Multimedia. Podstawy teoretyczne i zastosowania praktyczne. Wydawnictwo PJWSTK, 2008 JEFFAY K., ZHANG H.: Readings In Multimedia Computing And Networking. Elsevier, Imprint: Morgan Kauffman QUINNEL R. A. (ed.), Image Compression, part I, EDN, Jan 21, 1993, 62- 71 QUINNEL R. A. (ed.), Image Compression, part II, EDN, March 4, 1993, pp. 120-126 SZCZERBA M., Sound file format conversion/Konwersja formatów plików dźwiękowych, Zeszyt Naukowy Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej nr 10, 1996 http://www.coe.iup.edu/portfolio/HandoutPage/PT3Sitefiles/Miscellaneous/ImageFiles.doc