Formaty plików audio i wideo

Prezentacja na temat: "Formaty plików audio i wideo"— Zapis prezentacji:

1 Formaty plików audio i wideo
Wstęp do Multimediów Wykład 5 Formaty plików audio i wideo

2 Audio Podstawowe parametry cyfrowej rejestracji sygnałów audio:
Częstotliwość próbkowania Rozdzielczość bitowa zapisu Format danych (liniowy, PCM, etc.) Wybór parametrów zapisu dźwięku jest uwarunkowany następującymi czynnikami: Jakość sygnału Oszczędność w wykorzystaniu pamięci Możliwość zapisu sygnału w czasie rzeczywistym (szczególnie dotyczy to starszych systemów, o niewielkiej mocy obliczeniowej) Kompatybilność formatu zapisu

3 Audio W praktyce wybór formatu cyfrowego zapisu dźwięku jest zwykle kompromisem między jakością sygnału a oszczędnością pamięci pliki przeznaczone do przechowywania szerokopasmowego sygnału muzycznego wysokiej jakości, oraz pliki do przechowywania sygnału mowy z ograniczeniem pasma częstotliwości i dynamiki

4 Audio Wraz z rozwojem techniki cyfrowego zapisu sygnałów akustycznych i stosowaniem systemów komputerowych do obróbki dźwięku, powstało wiele różnych formatów składowania danych - plików dźwiękowych Ich znaczna ilość spowodowana jest głównie różnorodnością systemów operacyjnych

5 Audio Ponieważ metody akwizycji i przechowywania danych dźwiękowych zostały opracowane niezależnie przez wielu producentów sprzętu i oprogramowania, stąd powstało wiele różnych formatów plików dźwiękowych Z powyższym wiąże się zagadnienie konwersji formatów plików dźwiękowych

6 Konwersja formatów plików dźwiękowych
Przy obsłudze komputerowych systemów obróbki dźwięku niezbędna jest znajomość podstawowych formatów plików dźwiękowych, ich dostępności systemowej i przeznaczenia Znajomość tej problematyki jest szczególnie istotna przy przenoszeniu plików dźwiękowych pomiędzy systemami operacyjnymi Przenoszenie plików dźwiękowych pomiędzy systemami umożliwiają programowe konwertery formatów Programy te umożliwiają niekiedy także proste przekształcenia sygnału np. dodanie echa, odwrócenie przebiegu, decymację, zmianę amplitudy itp.

7 Konwersja formatów plików dźwiękowych
Konwersja formatów plików dźwiękowych wymaga uwzględnienia 2 zagadnień: Konwersja parametrów zapisu: częstotliwości próbkowania, liczby kanałów, rozdzielczości bitowej, Konwersja typów plików (formatu zapisu danych w pliku)

8 Częstotliwości próbkowania
Częstotliwości próbkowania stosowane w cyfrowych systemach audio: 5500 Hz (Macintosh) (=44100/8) 7333 Hz (=44100/6) 8000 Hz – standard telefoniczny do kodowania μ-law, a-law Hz– standard NeXT, używany z kodekiem Telco 11025 Hz (=22050/2) 16000 Hz standard telefoniczny G.722

9 Częstotliwości próbkowania c.d.
Hz – NTSC TV = /(214·2) 18900 Hz – standard CD-ROM 22050 Hz – standard Macintosh, CD/2 22254.[54] – standard złącza monitora MacIntosha 128k 32000 Hz DAB (Digital Audio Broadcasting), NICAM (Nearly-Instantaneous Companded Audio Multiplex) – np. BBC; inne systemy TV, HDTV, R-DAT 32768 Hz (32·1024) 37800 Hz – high quality CD-ROM

10 Częstotliwości próbkowania c.d.
44056 Hz – częstotliwość próbkowania używana w sprzęcie profesjonalnym (kompat. z NTSC) 44100 Hz – CD audio – najpopularniejsza częstotliwość w aplikacjach profesjonalnych i domowych 48000 Hz – R-DAT 49152 Hz (48·1024) >50000 Hz – używane niekiedy w profesjonalnych systemach cyfrowego przetwarzania sygnałów 96000 Hz – high resolution R-DAT

11 Konwersja częstotliwości próbkowania
Procedura dwuetapowa: Nadpróbkowanie (ang. oversampling) – generowanie dodatkowych próbek Usuwanie nadmiarowych próbek Częstotliwość nadpróbkowania powinna być NWW źródłowej i docelowej częstotliwości próbkowania

12 Procedura przepróbkowania

13 Relacje między najpopularniejszymi częstotliwościami próbkowania

14 Generowanie dodatkowych próbek
Dodatkowe próbki generowane są za pomocą różnego typu algorytmów interpolacyjnych W zależności od wymaganej jakości sygnału oraz możliwości systemowych, stosowana jest zarówno interpolacja liniowa (proste systemy powszechnego użytku), jak i interpolacje wielomianowe wysokiego rzędu (zastosowania profesjonalne)

15 Usuwanie nadmiarowych próbek
Usuwanie nadmiarowych próbek z cyfrowej reprezentacji sygnału (decymacja): Aby uniknąć aliasingu (nakładania widma), nadpróbkowany sygnał nie może zawierać częstotliwości > cz. Nyquista (połowa docelowej cz. próbkowania)

16 Zapobieganie aliasingowi
Nadpróbkowany sygnał Xa(t) należy poddać filtracji dolnoprzepustowej z częstotliwością odcięcia

17 Procedura przepróbkowania
Uwaga: sygnał wyjściowy, otrzymany w wyniku nadpróbkowania, może nie zawierać żadnych próbek sygnału wejściowego, a jedynie próbki wygenerowane po nadpróbkowaniu (w wyniku interpolacji)

18 Sposoby kodowania PCM ADPCM Kodeki kompandorowe: Kodeki źródła
Mu-law (standard amerykańsko-japoński) A-law (standard europejski) Kodeki źródła Wokodery Kodeki hybrydowe kodek = koder + dekoder

19 PCM PCM (Pulse Code Modulation) –najpopularniejszy sposób kodowania dźwięku Kwantyzacja wielobitowa liniowa Stosunek sygnału do szumu w zapisie n-bitowym: SNR=~6,02n+1,76 [dB] Zaleta: możliwość uzyskania wysokiej jakości (tzn. jakość CD) Wada: duże rozmiary plików

20 ADPCM DPCM (Differential Pulse Code Modulation) – wykorzystanie quasi-okresowości sygnałów muzycznych Stosowana jest predykcja wartości kolejnej próbki na podstawie wartości poprzednich próbek; ADPCM (Adaptive Differential Pulse Code Modulation) – zastosowanie predyktora adaptatywnego, tj. przystosowującego sposób predykcji do indywidualnej charakterystyki kodowanego sygnału

21 Kwantyzacja 1-bitowa Znacznie wyższa częstotliwość próbkowania
 modulacja (analogicznie jak DPCM, ale zapis 1-bitowy) modulacja  ; filtr decymacyjny na wyjściu DSP, ograniczający częstotliwość

22 CCITT A-law: Europa, Azja, Meksyk
CCITT - Comite Consultatif Internationale de Telegraphie et Telephonie Obecnie ITU-T: Telecommunication Standardization Sector of the International Telecommunications Union A-law jest standardem kodowania i kompresji dźwięku w Windows 95 i Web phones Zaprojektowany jako standard telekomunikacji telefonicznej

23 CCITT μ-law: USA, Kanada, Japonia
Nazwy używane zamiennie: Sun-AU file, Next sound file, mu-law, u-law Mu-law jest standardem kompresji – sposobem kodowania dźwięku opartym na częstotliwości próbkowania 8kHz Stosowane przez Sun, NeXT, Windows 95; zaprojektowany jako standard komunikacji telefonicznej Opis w CCITT (ITU) Recommendation G.711

24 CCITT μ-law Kodowanie oparte na kwantyzacji logarytmicznej: więcej poziomów kwantyzacji dla niższych poziomów sygnału (obserwacja statystyczna: większe prawdopodobieństwo sygnałów o mniejszym poziomie) W typowym systemie μ-law, liniowe próbki kodowane przez bitów są komprymowane do 8 bitów

25 Kodowanie mowy LPAS – linear-prediction-based analysis-by-synthesis
Dekoder otrzymuje dane określające sygnał pobudzenia i filtr syntetyzujący. Mowa jest generowana jako odpowiedź filtru syntezy na sygnał pobudzenia Filtr syntezy: LP, zmienny w czasie, okresowy update, wyznaczony przez analizę ramki LP Filtr działa jako filtr kształtujący, odwzorowujący sygnał o względnie płaskim widmie w sygnał z autokorelacją i obwiednią widma podobną do sygnału oryginalnego AbS excitation coding: koder wyznacza sygnał pobudzenia dla danego segmentu (jednorazowo dla 1 segmentu), poprzez podawanie kandydatów-segmentów pobudzenia na replikę filtru syntezy. Wybierany jest ten który minimalizuje perceptualnie ważone zniekształcenia pomiędzy sygnałem oryginalnym i syntetyzowanym

26 Kodowanie mowy CELP algorithms – code-excited linear prediction
Forma LPAS Zastosowanie kwantyzacji wektorowej Zaprojektowany wcześniej zbiór wektorów pobudzenia jest przechowywany w książce kodowej. Dla każdego segmentu czasowego, koder szuka wektora którego próbki najlepiej działają jako wektor pobudzenia dla danego segmentu Np. książka kodowa z 1024 wektorami, 40-D każdy, wymaga słowa 10-b żeby wyznaczyć kolejnych 40 ramek sygnału pobudzenia Doskonale sprawdza się w zakresie przepływności 4-16 kb/s

27 Wokodery Kodek źródła tworzy model źródła dźwięku i dokonuje rekonstrukcji sygnału na podstawie tego modelu Wokoder (Voice Coder) – kodek źródła, przewidziany do transmisji sygnału mowy Używane są 2 podstawowe modele sygnału: Dźwięczny (pobudzenie tonowe) Bezdźwięczny (pobudzenie szumowe) Wokodery LPC – linear prediction coding LPC-10, 10 rzędu, wieloletni standard U.S. Government Każda ramka jest określana jako dźwięczna (wyspecyfikowany okres wysokości dźwięku) lub bezdźwięczna (szum losowy) Dekoder syntetyzuje mowę przepuszczając sygnał pobudzenia przez filtr LP

28 Wokodery Zaleta: Wada: Sygnał przekazywany jest w bardzo małym pliku
Nadaje się do kodowania jedynie określonego typu sygnałów Nie nadaje się do kodowania np. muzyki

29 Kodeki hybrydowe Łączą cechy kodeków falowych i kodeków źródła
Najpopularniejsze - kodeki AbS (Analysis-by-Synthesis): najpierw sygnał dzielony jest na ramki, a następnie dla każdej ramki budowany jest model źródła Koder sprawdza zachowanie modelu źródła przy różnych sposobach pobudzenia; po porównaniu z sygnałem źródłowym wybierany jest najodpowiedniejszy sposób pobudzenia

30 Konwersja sposobu kodowania
Przy konwersji sposobu kodowania zwykle stosuje się rozkodowanie do formatu PCM, a następnie kodowanie do formatu docelowego Pozwala to wykorzystać istniejące kodeki

31 Główne formaty plików dźwiękowych
.wav (Microsoft, IBM) .snd, .au (NeXT, Sun) .mp3 .mid (MIDI) Inne: aiff; mp3pro; mp4; ogg; vqf; qt (QuickTime audio); ra, rm, ram (RealAudio); wma; rmf; Liquid Audio; a2bmusic Standardy kompresji perceptualnej: MPEG, AC-3 (HDTV), PASC (magnetofon DCC)

32 Kodowanie perceptualne dźwięku
Źródło:

33 Porównanie jakości dźwięku w różnych formatach

34 Cel kompresji audio Wysokiej jakości cyfrowe dane audio wymagają wiele miejsca przy przechowywaniu i szerokiego pasma przy przesyłaniu Przykład: 1 minuta nagrania CD (częstotliwość próbkowania 44.1kHz, 16 bitów na próbkę, stereo) 44100 * 2 [kanały] * 2 [B/Sa] * 60 [s] ~ 10 MB miejsca na dysku przy transmisji: dla modemu 28.8 [B] * 8 [bit/B] / (28800 bit/s * 60 s/min) ~ 49 minut na ściągnięcie 1 minuty

35 Cel kompresji audio Cyfrowe kodowanie sygnału audio (tu - kompresja audio) minimalizuje wymagania miejsca na dysku (lub szerokości pasma przy przesyłaniu) Dla cyfrowego sygnału audio z CD, przepływność binarna [liczba bitów przesyłanych w jednostce czasu] wynosi kbps Dla MPEG-2 AAC, jakość CD osiągana jest przy przepływności 96 kbps Współczesne perceptualne techniki kodowania audio, np. MPEG Layer-3, MPEG-2 AAC, wykorzystują właściwości ucha ludzkiego (percepcji dźwięku) do osiągnięcia 12-krotnej redukcji bez straty lub przy niezauważalnej stracie jakości

36 Cel kompresji audio Kompresja perceptualna stanowi zatem podstawę aplikacji wymagających wysokiej jakości sygnału i niskiej przepływności binarnej, np. ścieżki dźwiękowe gier na CD-ROM, przesyłanie dźwięku przez Internet, cyfrowe rozgłośnie radiowe etc Po dokonaniu kompresji stratnej nadmiarowa informacja zostaje bezpowrotnie usunięta z pliku. Odtworzone pliki różnią się od oryginałów, ale brzmią tak samo (mniej lub bardziej, zależnie od kompresji)

37 Kompresja audio Kompresja sygnału audio składa się z 2 części:
kodowanie - przekształcenie danych audio, np. pliku WAVE, w skomprymowany ciąg bitów dekodowanie - konieczne do odtworzenia pliku Najwyższa efektywność kodowania osiągana jest dla algorytmów wykorzystujących redundancję sygnału (redundancy – np. ten sam ton przez 1s, irrelevancy) w oparciu o model systemu słyszenia człowieka

38 Kompresja audio Schemat kodowania można opisać jako „perceptual noise shaping” lub „perceptual subband/transform coding”: Koder analizuje składniki widmowe sygnału audio za pomocą banku filtrów (transformaty) i stosuje model psychoakustyczny do estymacji ledwo postrzegalnego poziomu szumu Na etapie kwantyzacji i kodowania, koder zapisuje dane tak, by spełnić wymagania określone w przepływności binarnej i maskowaniu Dekoder jest dość prosty – syntetyzuje sygnał audio na podstawie zakodowanych składników widmowych

39 Podstawy psychoakustyczne kodowania
Psychoakustyka opisuje charakterystykę układu słuchowego człowieka. Współczesna technologia kodeków audio oparta jest na podstawach psychoakustycznych Czułość układu słuchowego człowieka zmienia się w dziedzinie częstotliwości Wysoka dla częstotliwości kHz Zmniejsza się poniżej i powyżej tych granic Czułość słuchu reprezentowana jest przez próg słyszenia – nie są postrzegane tony poniżej tego progu

40 Podstawy psychoakustyczne kodowania
Najistotniejszym faktem psychoakustycznym jest efekt maskowania. Dla każdego tonu w sygnale audio można wyznaczyć próg maskowania. Jeśli ton leży poniżej tego progu, zostanie zamaskowany przez ton głośniejszy i nie będzie słyszalny Niesłyszalne elementy sygnału audio (irrelevant elements) mogą zostać wyeliminowane przez koder

41 Podstawy psychoakustyczne kodowania

42 Podstawy psychoakustyczne kodowania
Źródło:

43 MPEG1-Audio Layer I, najprostszy – najlepszy dla przepływności powyżej 128 Kb/s na kanał Layer II - przepływności ok. 128 Kb/s Layer III, najbardziej złożony, ale daje najwyższą jakość, zwłaszcza dla przepływności ok. 64 Kb/s na kanał Audio w ISDN Próbkowanie: 32, 44.1, lub 48 kHz

44 MPEG-audio

45 MPEG-audio

46 MPEG Audio Layer-3 Używając kodeka MPEG można uzyskać kompresję dźwięku CD 12:1 bez straty jakości Kompresja rzędu 24:1 i wyższa, zachowuje dobrą jakość dźwięku (lepszą niż zmiana częstotliwości próbkowania i rozdzielczości bitowej) Kompresja ta dokonywana jest poprzez kodowanie perceptualne, oparte na percepcji dźwięku przez ucho ludzkie

47 MPEG Audio – redukcja danych
4:1 - Layer 1 (odpowiada przepływności 384 kbps dla sygnału stereo), 6:1...8:1 - Layer 2 (odpowiada przepływnościom kbps dla sygnału stereo), 10:1...12:1 - Layer 3 (odpowiada przepływnościom kbps dla sygnału stereo), przy zachowaniu jakości oryginału CD

48 Jakość dźwięku w MP3 Maskowanie Testy odsłuchowe

49 Schemat MP3

50 Model perceptualny Model perceptualny wyznacza jakość implementacji: stosuje tylko bank filtrów lub łączy go z wyznaczaniem energii związanej z maskowaniem Wyjście modelu perceptualnego zawiera wartości obliczone dla progów maskowania lub dopuszczalny szum dla każdej kodowanej części sygnału Jeśli szum kwantyzacji znajdzie się poniżej progu maskowania, wynik kompresji jest nieodróżnialny od oryginału

51 Joint stereo coding Element ten wykorzystuje fakt, że oba kanały zawierają tę samą informację (irrelevancy, redundancy), do obniżenia przepływności Wykorzystywany, gdy wymagana jest niska przepływność binarna, a sygnał jest stereofoniczny

52 Kwantyzacja i kodowanie
Jest to system 2 zagnieżdżonych pętli Kwantyzacja jest wykładnicza – wyższe wartości kodowane są z mniejszą dokładnością. W proces kwantyzacji wbudowany jest również noise shaping Skwantowane wartości są kodowane za pomocą kodowania Huffmana (bezstratnego – budowa drzewa od liści do korzenia) Pozostałe elementy dopracowywane są w 2 pętlach metodą analysis-by-synthesis

53 MPEG-2 AAC (Advanced Audio Coding)
Kodowanie dźwięku dookólnego (5.1)

54 MPEG-2 AAC MPEG-2 AAC jest kontynuacją MP3
Dopuszczalne częstotliwości próbkowania 8-96 kHz i dowolna liczba kanałów 1-48 Wykorzystanie kodowania perceptualnego (maskowanie): szum kwantyzacji jest rozdzielany do pasm częstotliwościowych tak, aby został zamaskowany przez sygnał, a więc był niesłyszalny Struktura kodera różna od poprzedników

55 MPEG-2 AAC

56 MPEG-2 AAC - elementy Zastosowanie MDCT (Modified DCT)
TNS – Temporal Noise Shaping – kształtuje dystrybucję szumu kwantyzacji w czasie za pomocą predykcji w dziedzinie częstotliwości W szczególności głos ludzki zyskuje na zastosowaniu TNS

57 MPEG-2 AAC - elementy Predykcja: wykorzystanie faktu, że pewne sygnały audio dobrze nadają się do predykcji Kwantyzacja: dokładniejsza kontrola rozdzielczości kwantyzacji Bit-stream format: kodowanie z uwzględnieniem entropii dla uzyskania jak najmniejszej redundancji Zastosowanie MPEG-2 AAC: rozgłośnie cyfrowe, MPEG-4

58 Metody kompresji obrazu
Bezstratne (dokładne odtworzenie danych) Probabilistyczne, np. statystyczne – budowa binarnego drzewa kodów; symbole częściej występujące umieszczane są bliżej korzenia metoda Huffmana – budowa od liści do korzenia metoda Shannona-Fano - odwrotnie Słownikowe (Ziv, Lempel – Hajfa, koniec lat 70.) - zastąpienie powtarzających się ciągów znaków odniesieniami do ich pierwotnego wystąpienia Stratne - duży stopień upakowania kosztem utraty szczegółów

59 Kompresja obrazu Metody Najbardziej efektywne metody - stratne:
symetryczne asymetryczne Najbardziej efektywne metody - stratne: Kompresja JPEG Kompresja fraktalna

60 Kompresja obrazu Zdjęcie B w formacie bmp
m·n komórek danych, po jednej dla każdego piksela Wielkość komórki jest różna w zależności od rodzaju zdjęcia Czarno-białe  1 bit (0  biały/1 czarny) Dwuwymiarowy zbiór w którym interesują nas tylko piksele których bit = 1 Możemy rozpatrywać to zdjęcie jako zwarty podzbiór R2 B w skali szarości  podzbiór R3 Trzeci bajt odpowiada za określenie intensywności skali szarości B - zdjęcie kolorowe  podzbiór R5

61 Kompresja JPEG

62 Kompresja JPEG

63 Kompresja stratna obrazu - JPEG
JPEG (Joint Photographic Experts Group) – grupa ekspertów opracowująca standardy kodowania obrazów ciągłych ISO i ITU-T; oficjalna nazwa: ISO/IEC JTC1 SC29 Working Group 1 Opisy standardu:

64 Kompresja JPEG Przekształcenie obrazu RGB w YCrCb:
Kolory RGB skwantowane na 220 poziomach zostają zamienione na luminancję (jaskrawość) Y i chrominancję (kolorowość) CrCb, również 220 poziomów Kodowana jest 1 para wartości chrominancji na każde 2 wartości luminancji

65 Kompresja JPEG c.d. Zastosowanie DCT (Discrete Cosine Transform) dla bloków 8x8 pikseli Kwantyzacja, zależna od częstotliwości przestrzennej RLE (Run Length Encoding) i metoda Huffmana, w oparciu o obliczanie entropii i przewidywanie oczekiwanego wzorca danych JPEG wykorzystuje względną niewrażliwość ludzkiego oka na kontrasty koloru (odcienie), tj. zmiany chrominancji, w porównaniu z luminancją. Możliwa jest zmiana kroku kwantyzacji dla każdego składnika częstotliwości, tj. większy krok może reprezentować mniej znaczące częstotliwości

66 Kompresja JPEG c.d. Jakość: Kodowanie progresywne
>= 2 b/pix., kompresja 8:1, jakość nieodróżnialna od oryginału 1,5 b/pix, kompresja 10,7:1, jakość znakomita 0,75 b/pix, kompresja 21,4:1, jakość b.dobra 0,5 b/pix, kompresja 32:1, jakość dobra 0,25 b/pix, kompresja 64:1, jakość średnia Kodowanie progresywne

67 Kompresja JPEG Przykłady porównania obrazów oryginalnych i skomprymowanych za pomocą standardu JPEG (z lewej oryginał, z prawej – po kompresji)

68 Kompresja JPEG - przykłady

69 Kompresja JPEG - wady Efekt zblokowania pikseli
Efekt zniekształcenia krawędzi

70 JPEG 2000 Kompresja obrazu w oparciu o analizę falkową Części:
Zastosowania: aparaty cyfrowe, obrazy medyczne i inne Części: Part 1, Core coding system (intended as royalty and license-fee free - NB NOT patent-free) Part 2, Extensions (adds more features and sophistication to the core) Part 3, Motion JPEG 2000 Part 4, Conformance Part 5, Reference software (Java and C implementations are available) Part 6, Compound image file format (document imaging, for pre-press and fax-like applications, etc.) Part 7 has been abandoned Part 8, JPSEC (security aspects) Part 9, JPIP (interactive protocols and API) Part 10, JP3D (volumetric imaging) Part 11, JPWL (wireless applications) Part 12, ISO Base Media File Format (common with MPEG-4)

71 JPEG 2000 Part 1 definiuje podstawowy format plików, JP2
Można w nim dołączać metadane JP2 wykorzystuje rozszerzalną architekturę, wspólną dla innych formatów plików, definiowanych w dalszych częściach standardu

72 JPEG 2000 Opcjonalny tiling polega na podziale obrazu na prostokąty do niezależnego kodowania

73 JPEG 2000

74 Kompresja fraktalna. Fraktale
Kompresja oparta na lokalnym samopodobieństwie obrazu Fraktale: ułamkowy wymiar Hausdorffa-Besicovitcha, różny od wymiaru topologicznego Wymiar ten przyjmuje dla fraktala wartości niewymierne, wskazując jednocześnie w jaki sposób fraktal wypełnia przestrzeń, w której jest osadzony

75 Przykłady fraktali: zbiór Julii

76 Przykłady fraktali: żuk Mandelbrota
Benoit Mandelbrot – pionier fraktali

77 Kompresja fraktalna Z obserwacji Barnsley’a wynika, ze obrazy z rzeczywistego świata zawierają dużo powtórzeń afinicznych (złożenie przesunięcia, obrotu i przeskalowania). Oznacza to, ze przy odpowiedniej funkcji IFS duże części obrazu są podobne do mniejszych części tego samego obrazu

78 Kompresja fraktalna: Podstawowe zasady
Przekształcenia afiniczne: złożenie obrotu, przesunięcia i skalowania Rozpatrujemy afiniczne odwzorowanie zwężające współczynnik skalowania < 1. R2: W(x,y) = (ax+by+e, cx+dy+f) Parametry a,b,c,d opisują obrót i skalowanie Parametry e i f to odległości przesunięć w kierunku x i y.

79 Iterated Function Systems – IFS
Krzywa Kocha 3 krzywe – płatek śniegu

80 Przekształcenia Kocha

81 Kompresja fraktalna Oparta na lokalnym samopodobieństwie obrazu
I etap - segmentacja obrazu i wyszukanie lokalnego samopodobieństwa. Obraz traktowany jest jako funkcja f(x,y), określająca wartość piksela Zakodowanie obrazu jako zbioru przekształceń, odwzorowujących pewien segment rysunku w jego kopię. Każde takie przekształcenie kodowane jest jako IFS (Iterated Function System), tj. iterowany układ funkcji {K, wn: n = 1,...,N}, gdzie wn: K →K - funkcje ciągłe, K - zwarta przestrzeń metryczna z metryką d, wn – zwykle afiniczne Uzyskiwany duży stopień kompresji nie powoduje efektów ubocznych charakterystycznych dla metody JPEG (zblokowanie pikseli)

82 Kompresja fraktalna IFS atraktor
Fraktal: wymiar Hausdorffa dH różny od topologicznego

83 Podstawa kompresji fraktalnej
Collage Theorem:

84 Kompresja fraktalna Obraz traktowany jest jako funkcja f(x, y) opisująca piksel Podział na „Domain Regions” (obszary samopodobne) nienakładające się Podział na „Range Regions” większe od DR Dopasowywanie - dla każdego DR algorytm wyszykuje odpowiedni RR, który, po zastosowaniu odpowiedniego przekształcenia afinicznego, będzie przypominać ten obszar The fractal image compression first partitions the original image into nonoverlapping domain regions (they can be any size or shape). Then a collection of possible range regions is defined. The range regions can overlap and need not cover the entire image, but must be larger than the domain regions, For each domain region the algorithm then searches for a suitable range region that, when applied with an appropriate affine transformation, very closely resembles the domain region Matematyczny opis w pliku FIF Kompresja niezależna od rozdzielczości zdjęcia

85 Dekompresja obrazu Alokacja 2 buforów Podział Odwzorowania
Bufor 1 – „Range Region” Bufor 2 – „Domain Region” Podział Odwzorowania Zamiana rolami - przeznaczenie buforów jest zamieniane w czasie dekompresji Utworzenie obrazu wynikowego To decompress an image, the compressor first allocates 2 memory buffers of equal size, with arbitrary initial content. The iterations then begin, with buffer 1 the range image and buffer 2 the domain image. The domain image is partitioned into DR as specified in the FIF file. For each DR, its associated RR is located in the range image. Then the corresponding affine map is applied to the content of the RR, pulling the content toward the map's attractor. Since each of the affine maps is contractive, the RR is contracted by the transformation. This is the reason that the RR are required to be larger than the DR during compression. For the next iteration, the roles of the domain image and range image are switched. The process of mapping the RR (now in buffer 2) to their respective DR (in buffer 1) is repeated, using the prescribed affine transformations. Then the entire step is repeated again and again, with the content of buffer 1 mapped to buffer 2, then vice versa. At every step, the content is pulled ever closer to the attractor of the IFS which forms a collage of the original image. Eventually the differences between the two images become very small, and the content of the first buffer is the output decompressed image

86 FIC vs. JPEG Cechy JPEG Wady FIC
Metoda DCT - Discrete Cosine Transform Standard Zależny od rozdzielczości obrazu kompresowanego Niezadowalająca jakość kompresji ostrych krawędzi Wady FIC Długi czas kompresji Fraktale częściej stosowane są do syntezy (obrazu, dźwięku)

87 Generacja krajobrazów za pomocą fraktali
Fractal Wireframe

88 Flat-Shared Rendering

89 Ray-Traced Rendering

90 Full Rendering

91 Formaty plików wideo avi, ifv mpeg, mpg, mpe, m1v mov qt rm
asf, wm, wmv, wmp, asx VDOLive Div-X

92 Kompresja obrazów ruchomych
MPEG M-JPEG (Moving JPEG) P*64 (CCITT H.261) – standardowy kodek wideotelefoniczny Przesyłanie z przepływnością będącą wielokrotnością 64kbit/s (podstawowe połączenie telefoniczne)

93 Kompresja obrazów ruchomych - MPEG
MPEG - Moving Pictures Expert Group jest częścią International Standards Organisation; odpowiada za cyfrową kompresję audio i wideo Standard pozwala na kompresję w stosunku od 50:1 do 200:1

94 Kompresja obrazów ruchomych - MPEG
MPEG-1: przeznaczony do CD-I i Video-CD, pozwala na transmisję 1.5 Mbps. MPEG-2: standard dla TV cyfrowej i DVD (Digital Video Disc).  Jest to zaawansowana wersja layer-1, z możliwością kodowania obrazów z przeplotem; 4 Mbps. MP3: standard kompresji audio MPEG Audio Layer 3 (MPEG-1 Part 3) MPEG-4: standard dla www i zastosowań mobilnych, przewidywany do pokonania problemów z wielością standardów syntezy audio i wideo; przewidziano takie udoskonalenia jak zastosowanie AI do rekonstrukcji obrazu MPEG-7: Multimedia Content Description Interface – standard opisu metadanych; dla różnych aplikacji MPEG-21: Multimedia Framework – użycie zasobów multimedialnych w sieci

95 Techniki kompresji w MPEG
Discrete Cosine Transform (DCT) Kwantyzacja Kodowanie Huffmana Kodowanie predykcyjne – obliczanie różnic między ramkami, a następnie kodowanie wyłącznie tych różnic Predykcja dwustronna – na podstawie obrazów poprzednich i następnych

96 Kodery grafiki i wideo

97 Standardy kompresji obrazu

98 Standardy kompresji obrazu
MPEG-2 – formaty próbkowania składowych luminancji i chrominancji 4:2:0 – 2:1 poziomo i pionowo (rozdzielczość składowych luminancji :chrominancji) 4:2:2 – próbkowanie 2:1 tylko poziomo 4:4:4 – bez przepróbkowania

99 Standardy kompresji obrazu

100 Skalowalność strumienia danych
100 Skalowalność strumienia danych - w zakresie jakości i złożoności, z dostosowaniem do medium wyświetlającego i możliwości transmisji MPEG-2 w postaci 3 warstw, bazowej i 2*rozszerzonej (base layer + 2*enhance layers): Przestrzenną SNR, czyli różna dokładność z taka samą rozdzielczością Czasową Dane zapisywane w warstwach, w zależności od ich ważności MPEG-4 Skalowalność w oparciu o semantykę (Content based scalability)

101 Cechy kompresji stratnej obrazu
Bez uwzględniania zawartości semantycznej obrazu - ciąg pikseli lub bloków pikseli stanowi ciąg jedno- lub wielo- wymiarowych sygnałów transponowanych do przestrzeni opartej na pewnej falowej bazie sygnałów np.: DCT, ewentualnie na transformacie falkowej (JPEG, H261 i MPEG-2) Podobieństwo piksel do piksela Niezależny od treści podział na bloki Eliminacja redundancji przestrzennej metodami analizy sygnałów Eliminacja redundancji czasowej techniką kompensacji ruchu bloków

102 Cechy kompresji stratnej obrazu
Oparte na analizie semantycznej sceny - dzieli sceny na oddzielnie kodowane obiekty, opis obiektów przez lokalizację i ruch, kształt i teksturę Dostępność mechanizmów skalowalności i interakcji (MPEG-4, MPEG-7) Podobieństwo ze względu na ocenę człowieka Podział na segmenty odpowiadające obiektom fizycznym na scenie Eliminacja redundancji przestrzennej przez modelowanie plam (kontur+tekstura) Eliminacja redundancji czasowej techniką estymacji i kompensacji ruchu segmentów Nastawienie na dopasowanie do HVS (Human Visual System)

103 Typy metod stosowanych do oceny jakości kompresji
Subiektywne notowanie wrażeń widzów lub słuchaczy MOS (Mean opinion score) Obiektywne porównanie ilościowe na podstawie wyznaczonych matematycznie parametrów obrazu Metody oparte na modelach percepcji informacji przez człowieka perceptualny model, zapewniający wierność percepcji słuchowej modelowanie układu percepcji wzrokowej człowieka (HVS, Human Visual System)

104 Obiektywne metody oceny jakości kompresji
PSNR (Peak Signal-to–Noise Ratio) szczytowy stosunek sygnału do szumu SNR (Signal-to-Noise Ratio) stosunek sygnału do szumu Odległość pikseli dla obrazu monochromatycznego - różnica wartości dla kolorowego - odległość w przestrzeni barw YCRCB lub La*b* lub układzie Munsella Dodatkowo: Średnia różnica, Maksymalna różnica Błąd średniokwadratowy (Mean Square Error), Szczytowy błąd średniokwadratowy (Peak Mean Square Error), Znormalizowany błąd średniokwadratowy (Normalized Mean Square Error), Laplasjanowy błąd średniokwadratowy (Laplacian Mean Square Error) Jakość korelacji (Correlation Quality), Znormalizowana korelacja skośna (Normalized Cross-Correlation) Zawartość strukturalna (Structural Content) Wierność obrazu (Image Fidelity) Ważone odległości obrazów według różnych norm, np. Normy Minkowskiego i inne, oparte na graficznych miarach jakości obrazów, liczone np. na podstawie histogramu lub wykresu Hosaka, obrazującego degeneracje jakości

105 Literatura WIECZORKOWSKA, A., Multimedia. Podstawy teoretyczne i zastosowania praktyczne. Wydawnictwo PJWSTK, 2008 JEFFAY K., ZHANG H.: Readings In Multimedia Computing And Networking. Elsevier, Imprint: Morgan Kauffman QUINNEL R. A. (ed.), Image Compression, part I, EDN, Jan 21, 1993, QUINNEL R. A. (ed.), Image Compression, part II, EDN, March 4, 1993, pp SZCZERBA M., Sound file format conversion/Konwersja formatów plików dźwiękowych, Zeszyt Naukowy Wydziału Elektrotechniki i Automatyki Politechniki Gdańskiej nr 10, 1996