dr A Kwiatkowska Instytut Informatyki Podstawy Informatyki dr A Kwiatkowska Instytut Informatyki

Teoria informacji badaniem problemów ilości informacji oraz sposobów jej kodowania i przesyłania zajmuje się teoria informacji za ojca teorii informacji uważa się Claude’a E. Shannona, który po raz pierwszy użył tego terminu w swoich pracach

Teoria informacji (ilościowa) Claude Shannon, 1948-49. w roku 1948 zajmując się zagadnieniem przepustowości linii telefonicznych, Shannon opracował wiele ważnych do dziś formuł matematycznych, które stanowią podstawę nowoczesnej teorii informacji jego twierdzenia nabrały szczególnego znaczenia praktycznego po wynalezieniu układów scalonych teoria ta leży u podstaw współczesnej ekspansji komputerów i Internetu

Teoria informacji przesyłanie informacji wymaga ustalenia zrozumiałego zarówno przez nadajnik, jak i odbiornik zasobu znaków (symboli), co do których są one zgodne (kodowanie). mogą to być słowa, litery obrazy, kształty lub też dźwięki przesyłanie informacji przebiega kanałem przesyłowym, którym może być powietrze, próżnia, przewód sieci informatycznej, instalacja pneumatyczna, hydrauliczna albo energetyczna oraz wiele innych mediów przenoszących informacje

Teoria informacji z punktu widzenia techniki najbardziej odpornym na zakłócenia i prostym w przetwarzaniu jest system binarny (dwójkowy) potwierdza to przyroda, stosując podobny system w układzie nerwowym, zasada wszystko albo nic w systemie tym możliwe jest również prowadzenie rachunku logicznego – algebry Boole’a: prawda (tak) – 1, fałsz (nie) – 0

Teoria informacji według teorii Shannona, każdemu znakowi odpowiada ciąg znaków dwójkowych tzw. bitów ciąg bitów jest nazywany kodem danego znaku lub słowem kodowym określonego źródła wiadomości

Teoria informacji kod źródła jest zbiorem wszystkich słów kodowych dla znaków (komunikatów) jakie dane źródło może wytworzyć liczba bitów występujących w słowie kodowym jest nazywana długością słowa kodowego

Przykład Słowem kodowym litery A w komputerach jest na ogół następujący ciąg bitów: długość słowa kodowego dla znaku A wynosi 8 00100001

Teoria informacji Słowa kodowe różnych komunikatów wytwarzanych przez dane źródło mogą być różnej długości i występować z różnymi prawdopodobieństwami Np. poszczególne litery w tekście (w danym języku) występują z różnymi prawdopodobieństwami.

log2(1/ pi) Teoria informacji W teorii Shannona przyjmuje się, że słowo kodowe występujące z prawdopodobieństwem pi zawiera jednostek informacji. log2(1/ pi)

Teoria informacji Średnia (ważona) ilość informacji (H) w komunikatach ze źródła wytwarzającego n różnych komunikatów z prawdopodobieństwem pi (i=1,...,n) każdy, określana jest wzorem: Średnia ilość informacji jest nazywana entropią informacyjną

Teoria informacji Własności entropii: jest nieujemna jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1 własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii

Teoria informacji Średnia (ważona) długość słowa kodowego (L) dla źródła wytwarzającego n różnych komunikatów określana jest wzorem: gdzie: pi – prawdopodobieństwo wystąpienia i-tego komunikatu, di – długość słowa kodowego i-tego komunikatu [bit], i=1,...,n.

Teoria informacji Redundancją danego sposobu kodowania dla danego źródła nazywa się różnicę wartości: L-H. Twierdzenie Shannona mówi, że redundancja jest liczbą nieujemną

Teoria informacji w przesyłaniu informacji stosuje się sposoby kodowania o redundancji większej od zera, pozwalające nie tylko wykrywać większość błędów przesyłania, ale także usuwać je im mniejsza redundancja, tym trudniej wykryć przekłamania w transmisji dla redundancji zerowej każde słowo kodowe ma określone znaczenie, nie mogą wystąpić słowa kodowe o nieznanym znaczeniu (niedopuszczalne dla danego sposobu kodowania)

Teoria informacji kodowanie jest to przyporządkowanie elementom jakiegoś alfabetu ciągów binarnych. kodowanie może mieć różne cele: zmniejszenie objętości danych – kompresja zapewnienie odporności na błędy – kody korekcyjne zapewnienie poufności danych – kryptografia

Teoria informacji w przesyłaniu informacji często stosowane są tzw. kody parzystości (nieparzystości), kody parzystości krzyżowej i inne. kod parzystości polega na tym, że każde słowo kodowe będące ciągiem cyfr binarnych posiada na ustalonej dodatkowej pozycji cyfrę 1, gdy liczba jedynek w słowie jest nieparzysta lub cyfrę 0 w przypadku przeciwnym

Teoria informacji kod parzystości krzyżowy umożliwia nie tylko wykrywanie przekłamań powstałych w czasie transmisji danych lecz także ich usuwanie w większości przypadków przesyłane informacje są kodowane jak w kodzie parzystości, lecz po określonej liczbie słów kodowych wstawiane jest tzw. słowo parzystości

Teoria informacji słowo parzystości posiada bit 1 na tych pozycjach, dla których suma jedynek w słowach poprzedzających słowo parzystości (od ostatniego słowa parzystości) jest nieparzysta jeśli suma jedynek na tej samej pozycji w słowach poprzedzających słowo parzystości jest parzysta, wówczas w słowie parzystości na tej pozycji występuje 0

Teoria informacji Uwaga ogólna: duża redundancja pozwala skuteczniej odczytywać zniekształconą informację

Teoria informacji Rodzaje kodów kody stałej długości – np. kody ASCII o długości 8 bitów (ponieważ długość jest stała nie ma kłopotu z podziałem na znaki) kody o różnej długości – kody prefiksowe, kod Morse’a (ważne jest zapewnienie, że kody da się prawidłowo odczytać)

Teoria informacji Przepustowość informacji to stosunek przekazywanych ilości informacji do czasu:

Teoria informacji Pojemność informacyjna łącza informacyjnego to stosunek maksymalnej ilości przekazywanych informacji do czasu: 0<L≤C