Materiały pochodzą z Platformy Edukacyjnej Portalu www.szkolnictwo.pl Wszelkie treści i zasoby edukacyjne publikowane na łamach Portalu www.szkolnictwo.pl mogą być wykorzystywane przez jego Użytkowników wyłącznie w zakresie własnego użytku osobistego oraz do użytku w szkołach podczas zajęć dydaktycznych. Kopiowanie, wprowadzanie zmian, przesyłanie, publiczne odtwarzanie i wszelkie wykorzystywanie tych treści do celów komercyjnych jest niedozwolone. Plik można dowolnie modernizować na potrzeby własne oraz do wykorzystania w szkołach podczas zajęć dydaktycznych.

Kompresja danych

Czym jest kompresja? Kompresja danych [ang. data compression] – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów. Jest stosowana głównie ze względu na ograniczenie prędkości przesyłania sygnałów (dźwięku, grafiki, obrazów ruchomych i in.) i pojemności nośników informacji; polega na kodowaniu danych, pozwalającym na redukcję nadmiaru informacji w przesyłanym strumieniu, a jednocześnie umożliwiającym późniejsze ich odtworzenie. Za twórcę pierwszego algorytmu kompresji uważa się Claude'a Shannona – amerykańskiego matematyka, inżyniera, który pracował nad komunikacją, teorią informacją oraz sposobami przesyłania i przechowywania danych. Jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk. Kompresję można dzielić na ilościową (bezstratną) oraz jakościową (stratną). Claude E. Shannon 1916 - 2001

Kiedy zaczęto kompresować dane? Właściwie wtedy, gdy zaczęto kodować. Przykładem może być: Alfabet Braille’a. 6 bitów (czyli 64 możliwości) wykorzystane do kodowania liter, cyfr i znaków przestankowych, oraz najczęściej występujących krótkich słów: Kod Baudota. Kod do komunikacji telegraficznej: 5 bitów, ale jedno ze słów kodowych pozwala na przełączanie między literami i „obrazkami” (obrazki to cyfry, znaki przestankowe, kody sterujące, operatory arytmetyczne). W wyniku kodujemy nie 32 elementy lecz 64, i liczymy na to, że przełączanie występuje rzadko. and Louis Braille 1809-1852 Emile Baudot 1845-1903

Dlaczego kompresujemy? Kompresja jest głównie stosowana z następujących powodów: oszczędność pamięci przyspieszenie transmisji danych kodowanie, przesłanie postaci zakodowanej i dekodowanie powinny być szybsze od przesłania postaci nieskompresowanej transmisja progresywna Najpierw wersje niskiej jakości, „przybliżone”, potem kompresja pełnej wersji lub rezygnacja redukcja obliczeń Na przybliżonych danych możemy szybciej uzyskać (przybliżony) wynik

Kompresja bezstratna Kompresja bezstratna wykorzystuje redundancję (nadmiarowość) informacyjną (dowolnego) strumienia danych. Jej cechą charakterystyczną jest identyczność bitowa strumienia zdekompresowanego ze strumieniem źródłowym. Dzięki temu kompresja bezstratna może być wykorzystana do dowolnego formatu danych. Programy kompresujące używają algorytmów kompresji ilościowej. Kompresję bezstratną można realizować statycznie i dynamicznie. Algorytmy bez analizy danych: ByteRun – IFF ILBM Run Length Encoding – BMP Lempel Ziv Welsh (LZW) – GIF Algorytmy z analizą danych: Algorytm Huffmana – ZLIB, ZIP Kompresja arytmetyczna Przykład redundancji informacyjnej dane źródłowe AAABBBAAAAAABBBBCCCCCBBBBBAAAAAAA prosta kompresja typu „byte run” 3A3B6A4B5C5B7A

Kompresja bezstratna Zastosowania teksty, kod programu (wykonywalny) ostatni etap w alg. kompresji stratnej Współczynnik kompresji: zazwyczaj 4 Metody dla ciągów „losowych” Kodowanie Huffmana, kodowanie arytmetyczne, i in. Metody słownikowe (dane zależne) LZ77, LZ78, kodowanie Burrowsa-Wheelera, i in. Standardy: gzip, zip, bzip, GIF, PNG, JBIG, Lossless JPG, i in.

Kompresja stratna Kompresja stratna jest charakterystyczna dla danych medialnych, ponieważ wykorzystuje redundancję percepcyjną. Opiera się ona na tym, że ludzkie zmysły i mózg nie analizują całej informacji zawartej w strumieniu multimedialnym. W związku z tym część danych może zostać z tego strumienia usunięta, podczas gdy percepcja tego strumienia pozostanie niezmieniona, lub (częściej) strata jakości percepcji jest w danych warunkach akceptowalna. Pewnym problemem jest tu indywidualność percepcji. Autorzy kompresorów konstruują uśrednione modele percepcji w oparciu o wyniki eksperymentów (np. model psychoakustyczny MPEG Audio). Trzeba się liczyć z tym, że indywidualne osoby mogą mieć percepcję inną niż uśredniony model. Na przykład większość ludzi kompresję MPEG 1 Audio warstwę 3 (popularne MP3) o przepływności 192 kbit/s traktuje jako „jakość CD”, podczas gdy są osoby, które odczuwają stratę jakości nawet przy 256 kbit/s. Większość algorytmów kompresji stratnej na koniec pakuje przetransformowane dane dodatkowo algorytmem bezstratnym.

Kompresja stratna Zastosowania audio, wideo, obrazy generowane komputerowo, fotografie ALE: nie zdjęcia RTG, czy z misji kosmicznych (zbyt duży koszt) Współczynnik kompresji: dowolny, ale z zachowaniem zadowalającej jakości ok. 10:1 Metody kwantyzacja skalarna i wektorowa kompresja falkowa transfromaty kodowanie podpasmowe Standardy JPEG, JPEG2000, MPEG w różnych wariantach i różne poziomy, MP3

Kompresja Algorytmy kompresji używają modeli prawdopodobieństwa. Istnieją dwa systemy: modele statyczne, modele adaptywne. Modele statyczne, jeśli nie są znane z góry, są przesyłane przed właściwymi danymi. Koszt przesłania takiego modelu jest bardzo duży i wymusza stosowanie wyłącznie bardzo prostych modeli. To powoduje, że modele statyczne rzadko są stosowane. Kompresory są tutaj zwykle znacznie bardziej złożone niż dekompresory. Modele adaptywne są tworzone w miarę przetwarzania danych. Kompresor i dekompresor używają tego samego algorytmu do nanoszenia zmian na model w miarę napływania danych. W tym przypadku złożoność kompresorów i dekompresorów jest zwykle, choć nie zawsze, podobna. Wadą modeli adaptywnych jest to, że na początku model ten znacznie odbiega od optymalnego. Jednak możliwość stosowania modeli o dowolnej złożoności, możliwość używania różnych modeli do różnych obszarów kompresowanych danych oraz brak potrzeby przesyłania modelu sprawia, że właściwie całkowicie wyparły one modele statyczne.

Współczynnik kompresji Współczynnik kompresji jest definiowany jako stosunek miejsca zaoszczędzonego dzięki zastosowaniu programu kompresującego do wielkości pliku przed spakowaniem. I tak współczynnik kompresji 2:1 przyjmuje się za średni. Współczynnik kompresji podawany jest w procentach określających o ile plik spakowany jest mniejszy od pierwotnego (np. 75%) lub jaką część pliku pierwotnego stanowi plik spakowany (np. 25%). Może być również wyrażony miarą stosunku rozmiaru pliku pierwotnego do jego rozmiaru po kompresji, np. 2:1, gdzie plik po kompresji jest 2 razy mniejszy od pierwotnego. Większy współczynnik (3:1) oznacza lepszą kompresję, mniejszy (1,5:1) gorszą.

Co warto kompresować? Rodzaj pliku Objętość po kompresji Pliki graficzne w formacie BMP ok. 45% Pliki graficzne w formacie JPG ok. 98% Pliki dźwiękowe MIDI i WAVE ok. 40% Pliki dźwiękowe MP3 ok. 97% Dokumenty Worda, Excela itp. od 20% Filmy DivX ok. 90% Pliki baz danych

Kompresja grafiki Formaty graficzne: Grafika rastrowa (bitmapa) - sposób zapisu obrazów w postaci prostokątnej tablicy wartości, opisujących kolory poszczególnych punktów obrazu (prostokątów składowych). Jakość wynikowego obrazu zależy od ilości prostokątów, na które podzielony jest cały obraz. Grafika wektorowa (obiektowa) - wszelkie obrazy tworzone są za pomocą figur geometrycznych. Jest to grafika generowana w całości komputerowo i nie ma ona bezpośredniego przełożenia na obrazowanie obiektów z natury obraz w tej grafice składa się ze stosu elementów ułożonych w odpowiedniej kolejności ten rodzaj grafiki nadaje się idealnie do tworzenia ilustracji (kopiowanie z natury zdjęć i innych elementów jest domeną grafiki bitmapowej). Grafika wektorowa jest grafiką w pełni skalowalną, co oznacza, iż można obrazy wektorowe powiększać oraz zmieniać ich proporcje bez uszczerbku dla jakości.

Kompresja grafiki Grafika rastrowa – formaty stratne: JPEG (Joint Photographic Experts Group) najpopularniejszy format plików graficznych z kompresją stratną TIFF (Tagged Image File Format) - popularny format plików graficznych udostępniający wiele rodzajów kompresji Grafika rastrowa – formaty bezstratne: PNG (Portable Network Graphics) GIF (Graphics Interchange Format) + TIFF Bez kompresji – BMP (BitMap) oraz TIFF Grafika wektorowa SVG (Scalable Vector Graphics) - format oparty na języku XML; promowany jako standard grafiki wektorowej Macromedia Flash - najpopularniejszy format grafiki wektorowej PS i EPS – PostScript i Encapsulated PS - uniwersalny język opisu strony opracowany przez firmę Adobe Systems Incorporated, będący obecnie standardem w zastosowaniach poligraficznych

Kompresja grafiki - JPEG Algorytm przebiega następująco: obraz jest konwertowany z kanałów czerwony-zielony-niebieski (RGB) na jasność (luminancję) i 2 kanały barwy (chrominancje). Ludzie znacznie dokładniej postrzegają drobne różnice jasności od drobnych różnic barwy, dlatego użyteczne jest tutaj użycie różnych parametrów kompresji. Krok nie jest obowiązkowy (opcjonalnie można go pominąć). wstępnie odrzucana jest część pikseli kanałów barwy, ponieważ ludzkie oko ma znacznie niższą rozdzielczość barwy niż rozdzielczość jasności. Można nie redukować wcale, redukować 2:1 lub 4:1. kanały są dzielone na bloki 8×8 pikseli. W przypadku kanałów kolorów, jest to 8×8 danych po redukcji rozdzielczości, a więc zwykle 16×16 pikseli obrazu początkowego. na blokach wykonywana jest dyskretna transformata kosinusowa (DCT). Zamiast wartości pikseli mamy teraz średnią wartość wewnątrz bloku oraz częstotliwości zmian wewnątrz bloku, obie wyrażone przez liczby zmiennoprzecinkowe. Transformata DCT jest odwracalna, więc na razie nie tracimy żadnych danych.

Kompresja grafiki - JPEG Zastąpienie średnich wartości bloków przez różnice wobec wartości poprzedniej. Poprawia to w pewnym stopniu współczynnik kompresji. Kwantyzacja, czyli zastąpienie danych zmiennoprzecinkowych przez liczby całkowite. To właśnie tutaj występują straty danych. Zależnie od parametrów kompresora, odrzuca się mniej lub więcej danych. Zasadniczo większa dokładność jest stosowana do danych dotyczących niskich częstotliwości niż wysokich. współczynniki DCT są uporządkowywane zygzakowato, aby zera leżały obok siebie. współczynniki niezerowe są kompresowane algorytmem Huffmana. Są specjalne kody dla ciągów zer. Użyta transformata powoduje efekty blokowe w przypadku mocno skompresowanych obrazków. Algorytmu JPEG ma możliwość kontroli stopnia kompresji w jej trakcie, co umożliwia dobranie jego stopnia do danego obrazka, tak aby uzyskać jak najmniejszy plik, ale o zadowalającej jakości.

Kompresja JPG - przykład Obrazek podstawowy, przed skompresowaniem zajmuje 196 662 B. Obrazek silnie skompresowany. Wg programu kompresującego po DCT dane zostają upakowane do poziomu ok. 25%. Rozmiar po kompresji: 4070 B. Widoczne przekłamania w kolorach. Obrazek bardzo silnie skompresowany. Wg programu kompresującego po DCT dane zostają upakowane do poziomu ok. 5% Rozmiar po kompresji: 1741 B. Widoczne silne "pocięcie" obrazka na kwadraty oraz dużo przekłamań w kolorach

Kompresja grafiki - GIF Pliki tego typu są powszechnie używane na stronach WWW, gdyż pozwalają na tworzenie animacji dwustanową przezroczystością. Z założenia jest to zapis danych tzw. bezstratny z czystego ujęcia algorytmicznego, czyli wszystkie piksele są wiernie zakodowane w pliku (ich umiejscowienie oraz kolor). Format GIF zbudowany jest z: 1. nagłówek – określa ogólne parametry pliku 2. bloki kontrolne - określają czas wyświetlania obrazka oraz to, co nastąpi po upływie tego czasu 3. bloki obrazka 4. bloki dodatkowe Format GIF zapisuje jedynie piksel z dostępnej palety 256 kolorów w bloku obrazu. Większość obecnie przetwarzanych obrazów posiada paletę 24-bitową (ok. 16,7 milionów kolorów) a większość programów do obróbki obrazu potrafi zakodować w tym formacie tylko jeden blok, przed zapisaniem obrazu GIF następuje szereg procesów stratnych.

Kompresja GIF - przykład Obrazek oryginalny – wszystkie szczegóły są widoczne Format GIF 256 kolorów powstanie struktury ziarnistej piksele przechodzą do następnego poziomu kolorystycznego otrzymując nową wartość – pojawiają się punkty o jednorodnej barwie 79% pliku oryginalnego Format GIF 128 kolorów zwiększenie ziarnistości zwiększenie liczby wyizolowanych pikseli o różnych kolorach 83% pliku oryginalnego Format GIF 64 kolorów Bardzo duże zniekształcenie kolorów – zysk niewielki 87% pliku oryginalnego

Kompresja grafiki - PNG PNG (ang. Portable Network Graphics) – rastrowy format plików graficznych oraz system bezstratnej kompresji danych graficznych. PNG został opracowany jako następca GIF w 1995 roku. Obsługuje stopniowaną przezroczystość (tzw. kanału alfa) oraz 24-bitową głębię kolorów. Format PNG znajduje przewiduje tryby o niskiej ilości kolorów (paletowe od 2 do 256 oraz tryb skali szarości). Jest to przydatne w sytuacjach, gdy nadmiarowa informacja jest niewskazana (tj. gdy ważniejsza od subiektywnej wierności oryginałowi jest treść obrazu). Ma także tryb 24-bitowego RGB, w którym można zapisywać obraz w milionach kolorów i bez jakichkolwiek zniekształceń właściwych formatom stratnym, do jakich należy JPEG. Jedną z technik zastosowanych w PNG jest aplikowanie prostych filtrów graficznych, które mogą uprościć dane obrazu przed kompresją, zwiększając jej wydajność. Jest dostępne kilka filtrów (np. różnica między sąsiednimi pikselami/liniami), które są dobierane dla każdej linii pliku z osobna.

Kompresja PNG - przykład Format PNG 24 kolory wzdłuż krawędzi pojawiają się zniekształcenia schodkowe znaczne pogorszenie jakości oszczędność pamięci 53% Format PNG 256 kolorów wyraźny efekt ziarnistości pojawiają się punkty o odmiennych barwach zysk 77% wygląd plakatowy Obrazek oryginalny – wszystkie szczegóły są widoczne

Kompresja stratna dźwięku Proces kompresji polega na usuwaniu słabych dźwięków, które: a) nie docierają do mózgu człowieka b) występują na krótko przed lub po silnym sygnale Najpopularniejszym formatem jest MP3, MPEG3 – pliki o bardzo dużym stopniu kompresji. Zapis muzyki w tym formacie łączy się ze stratami jakości, jednak dla przeciętnego słuchacza są one niesłyszalne. Skuteczną metodą poprawienia stopnia kompresji jest kompresja z dynamicznym bitrate (VBR). Najnowsze standardy AAC+ umożliwia dostarczanie wielokanałowych sygnałów audio (np.. 5.1) już dla strumienia binarnego 128 kbps, a sygnałów stereofonicznych – nawet przy 32kbps. Odrębną gałęzią jest kompresja sygnałów mowy. Tu podstawowym kryterium jest raczej zrozumiałość mowy niż wierne odtworzenie. Powszechnie stosowaną techniką jest dynamiczne modelowanie układu głosowego człowieka i przesyłanie parametrów modelu, oraz pobudzenia szczątkowego (szum + ton). Na tej technice opiera się np. standard kompresji telefonii komórkowej GSM.

Kompresja stratna video O ile rozdzielczość percepcyjna obrazów nieruchomych u człowieka jest niezła, o tyle w przypadku video możliwości „oszustwa” jest więcej. Większość ludzi odbiera ruch pokazany z prędkością powyżej 25 klatek na sekundę jako płynny. To podstawa ograniczenia strumienia danych. Oczywiście do każdej klatki dają się zastosować techniki stosowane przy obrazach nieruchomych, przede wszystkim format YUV i skwantowane transformaty częstotliwościowe. Najbardziej znane formaty to: DivX/XviD, przy odpowiednich warunkach może skompresować zawartość płyty DVD na zwykłą CD, bez widocznych różnic. MPEG, jedną z jego odmian stosuje się przy filmach na DVD, bardzo wysoka jakość, połączona z większymi objętościowo plikami (100MB DivX = ok. 350MB MPEG). Real Video, niską jakość obrazu rekompensuje mała objętość dzięki czemu wykorzystywany jest przy transmisjach na żywo.

Bibliografia A. Drozdek, Wprowadzenie do kompresji danych, WNT 1999 K. Sayood , Kompresja danych. Wprowadzenie, 1. READ ME, Warszawa, 2002 W. Skarbek, Multimedia . Algorytmy i standardy kompresji, Akademicka Oficyna Wydawnicza PLJ, Warszawa, 1998 P. Wróblewski : Algorytmy, struktury danych i techniki programowania, Helion, Gliwice 2001 D. Pindraszak: Archiwizatory – kompresja danych, MIKOM www.pl.wikipedia.org