Teorie informacji i miary informacji

Prezentacja na temat: "Teorie informacji i miary informacji"— Zapis prezentacji:

1 Teorie informacji i miary informacji
Podstawowe pojęcia

2 Wprowadzenie Przekazywanie wiadomości jest jednym z najważniejszych zadań techniki. Zadanie przekazywania: w przestrzeni – systemy teleinformatyczne, w czasie – systemy rejestrujące i zapamiętujące. Środki przekazywania wiadomości –nadajniki, odbiorniki, kanały oraz odpowiadające tym kanałom sygnały. Sygnały, które w nadajniku przyporządkowuje się wiadomościom, umożliwiają przekazywanie wiadomości przez kanały. Kanały: przestrzenne – odpowiedni dla kanału sygnał nadany (w jednym miejscu) wywołuje (w innym miejscu) sygnał odebrany, na podstawie którego odtwarzana jest wiadomość, czasowe – umożliwiają zapamiętywanie sygnałów w czasie.

3 Informacja Termin informacja (łac. informatio) oznacza: wiadomość,
uświadomienie sobie czegoś, Określenia pojęcia informacji: jest odbiciem realnego świata (ogólne), wszystkie wiadomości będące obiektem przechowywania, przekazywania i przetwarzania, Pojęcie informacji: pewne modele rzeczy realnych obrazujących ich istotę w stopniu potrzebnym do celów praktycznych, tzn. nie rzeczy i procesy, lecz ich istotne i reprezentatywne charakterystyki, pojęcie pierwotne, którego ścisłe zdefiniowanie za pomocą innych pojęć prostszych nie jest możliwe, pojęcie abstrakcyjne (analogiczne np. do pojęć matematycznych).

4 Informacja - definicja
Rozpowszechnione definicje: Informacją nazywamy to wszystko, co można zużytkować do bardziej sprawnego wyboru działań prowadzących do realizacji pewnego celu, Dowolna wiadomość, na podstawie której odbiorca wiadomości opiera swoje działanie (przeprowadza, usprawnia). Istota przytoczonych definicji: posiadając i właściwie użytkując informację możliwe jest lepsze realizowanie celowych działań, potencjalny charakter informacji – warunkiem realizacji pewnego celu jest właściwe wykorzystanie informacji. Całokształt zagadnień związanych z wydobywaniem, przechowywaniem, przekazywaniem, przetwarzaniem i prezentowaniem informacji nazywamy nauką o informacji.

5 Klasyfikacja informacji
Informacje można klasyfikować przede wszystkim ze względu na: strukturę zbioru postaci, jakie informacja może przyjmować, strukturę pojedynczej informacji, mechanizm, zgodnie z którym konkretna informacja jest wybierana ze zbioru wszystkich postaci, jakie może ona przyjmować. Ze względu na strukturę zbioru postaci, jakie informacja może przyjmować, informacje dzielimy na ziarnistą (binarną) i ciągłą. Jeżeli zbiór postaci informacji zawiera skończoną liczbę elementów to jest on zbiorem ziarnistym. Szczególnym przypadkiem zbioru ziarnistego jest zbiór binarny (dwójkowy), w którym liczba elementów zbioru wynosi 2. Jeżeli zbiór ten zawiera nieskończoną liczbę elementów (jeżeli obok jednej informacji możemy znaleźć inne informacje), to zbiór ten nazywamy zbiorem ciągłym.

6 Klasyfikacja informacji
Podstawą klasyfikacji struktury pojedynczej informacji jest hierarchiczność i wymiarowość informacji elementarnej - z tego punktu widzenia informacje dzielone są na: jednowymiarowe, wielowymiarowe informacje-funkcje. Konieczność ujęcia podstawowej cechy informacji jaką jest to, że początkowo nie jest znana, jest model probabilistyczny co oznacza przyjęcie założenia, że informacja jest realizacją pewnej zmiennej losowej o określonych właściwościach probabilistycznych. Zbiór postaci, jakie może przyjmować informacja jak i jej właściwości statystyczne można traktować jako informację o informacji. Stąd rozróżnienie informacji roboczej (niższy poziom) i informacji o właściwościach informacji roboczej (wyższy poziom). na poziomie niższym hierarchii znajduje się informacja robocza pozwalająca na realizację celowego działania, na poziomie wyższym znajduje się informacja umożliwiająca realizację celowego działania jakim jest pozyskiwanie informacji o właściwościach informacji roboczej.

7 Sygnał W większości przypadków informacja nie jest dostępna bezpośrednio; bezpośrednio dostępny jest pewien nośnik, tzn. sygnał zawierający informację. Zawartość informacji w sygnale oznacza, że wartości niektórych parametrów sygnału zależą od informacji - w skrajnym przypadku wartości wszystkich parametrów sygnału zależą od informacji i wtedy możliwe jest utożsamianie informacji i sygnału. Sygnał – podobnie jak informację – charakteryzuje: struktura zbioru postaci, jakie sygnał może przyjmować, struktura pojedynczego sygnału, który najczęściej ma postać ciągu sygnałów elementarnych. Podstawową cechą sygnałów jest możliwość ich przekształcania po to, aby uzyskać sygnały o pożądanych właściwościach przy zachowaniu zdolności do przenoszenia informacji. Oznacza to, że w procesie przekształcenia mogą być eliminowane lub zmieniane tylko te cechy sygnału, które nie przenoszą informacji.

8 Schemat formowania sygnału
Oryginał fizyczny Modele matematyczne Model fizyczny Zespół wydobywania Zespół kwantowania Zespół kodowania Zjawisko Sygnał Zjawisko obserwowane Informacja pierwotna Informacja kwantowana Informacja kodowana

9 Fazy obiegu informacji
Cykl obiegu i przetwarzania sygnałów niosących informację: wydobycie informacji: tworzenie obrazu obiektu na podstawie jego rozpoznania i oceny – po oddzieleniu informacji użytecznej od szumów otrzymywany jest sygnał dogodny do przesłania lub przetwarzania, przesłanie informacji: przenoszenie informacji w przestrzeni przy pomocy różnych (pod względem fizycznym) sygnałów nośnych (mechaniczne, pneumatyczne, optyczne, elektryczne, elektromagnetyczne), przetwarzanie informacji: rozwiązywanie (w tym automatyczne) zadań związanych z przekształcaniem informacji niezależnie od celów tych zadań, przedstawienie (prezentacja) informacji: demonstrowanie umownych figur opisujących jakościowe i ilościowe charakterystyki przedstawianej informacji przy użyciu różnych urządzeń (optyczne, akustyczne, rejestratory, tablice synoptyczne, makiety, itd.), oddziaływanie informacji: wywoływanie, przez sygnały niosące informacje lub sygnały ukształtowane przez informację, procesów powodujących odpowiednie zmiany stanu obiektu.

10 Przepływ informacji w systemie informacyjnym
Przesłanie informacji Przetwarzanie informacji Prezentowanie informacji Wydobywanie informacji Generowanie informacji Oddziaływanie informacji Obiekt – źródło i użytkownik informacji

11 Postacie informacji Informację można klasyfikować według:
dziedzin wiedzy (np. bilogiczna, techniczna, ekonomiczna), fizycznego charakteru wydobywania (np.. Wzrokowa, słuchowa, smakowa), właściwości metrologicznych, Kwalifikacja wg. właściwości metrologicznych jest najbardziej odpowiednia dla zagadnień technicznych Ze względu na właściwości metrologiczne wyróżniane są następujące formy informacji: informacja parametryczna – zbiory liczbowych ocen wartości jakichkolwiek mierzonych wielkości, wyniki liczbowych określeń przy badaniu, analizie, kontroli, zliczaniu, itd., informacja topologiczna – formy geometryczne, plany, obrazy i przedstawienia przestrzenne, Informacja abstrakcyjna – formuły matematyczne, uogólnione obrazy i pojęcia

12 Informacja parametryczna
Cztery podstawowe formy informacji parametrycznej: zdarzenie dwuwartościowe (informacja zerowego rzędu), wielkość (informacja pierwszego rzędu – jednowymiarowa) – uporządkowany w jednym wymiarze zbiór zdarzeń, z których każde odpowiada osiągnięciu przez wielkość określonego poziomu, wielkość postaci dyskretnej (zbiór zdarzeń jest przeliczalny), wielkości postaci ciągłej (zbiór zdarzeń jest nieprzeliczalny). funkcja (informacja drugiego rzędu) – dwuwymiarowy zbiór zdarzeń określany poprzez relację pomiędzy wielkością i czasem, wielkością i położeniem lub pomiędzy wielkościami, przestrzeń (informacja rzędu równego wymiarowi przestrzeni) – model definiowany zależnością pomiędzy wartością oraz przestrzenią i czasem.

13 Informacja parametryczna - formy
Cztery podstawowe formy informacji parametrycznej: Informacja parametryczna Informacja topologiczna Zdarzenie (inf. zerowymiarowa) Punkt Wielkość (inf. jednowymiarowa) Linia Funkcja (inf. dwuwymiarowa) Powierzchnia Zespół (inf. n-wymiarowa) Objętość

14 Rodzaje informacji parametrycznej
X(T,N) X X(T) Δx Δx Tak Δx N Nie Δn T T Δt Δt zdarzenie wielkość funkcja przestrzeń (zespół)

15 Struktura informacji W wyniku przekształceń informacja może przyjmować rozmaite struktury: naturalną - odwzorowuje realne stany obiektów (zazwyczaj w formie analogowej z szumami, unormowaną - złożona ze zbiorów sprowadzonych do wspólnej skali, początku liczenia i innych wspólnych uogólnionych charakterystyk (wynik działania operatorów skali, zakresu i lokalizacji na informację naturalną), kompleksową – sprowadzenie całej informacji do układu współrzędnych, zdekomponowaną – wynik zmiany liczby pomiarów, struktury oraz rozmieszczenia elementów informacyjnych w zestawach informacyjnych (zwykle wynik redukcji rzędu informacji), uogólnioną – po usunięciu z informacji naturalnej części o drugorzędnym znaczeniu, dyskretną – wynik dyskretyzacji informacji analogowej (równomiernej lub nierównomiernej) bezwymiarową – wynik dyskretyzacji zespołu informacyjnego (informacja w uniwersalnej bezwymiarowej formie liczbowej), kodowaną – w postaci zbioru liczb lub formie cyfrowej opartej na dowolnym systemie liczenia lub kodowania.

16 Nadmiarowość informacji
Generowanie sygnałów sterujących sygnały Podejmowanie decyzji sygnały Semantyczne wzbogacanie informacji (wartości znaczeniowe) sygnały Statystyczne wzbogacanie informacji (usunięcie nadmiaru) sygnały Strukturalne wzbogacanie informacji (usunięcie nadmiaru) sygnały Generowanie (pobieranie) informacji pierwotnej (naturalnej)

17 Teorie informacji Głównym problemem teorii informacji jest ustalanie miar ilości i jakości informacji Znane miary informacji odpowiadają trzem kierunkom w teorii informacji: Strukturalna: przedmiotem jest dyskretny charakter informacji i zagadnienia pomiaru ilości informacji z wykorzystaniem metod kombinatorycznych, Statystyczna: przedmiotem są probabilistyczne własności zdarzeń i zagadnienia pomiaru entropii jako miary nieokreśloności, Semantyczna: przedmiotem jest celowość, użyteczność i znaczenie informacji.

18 Źródła informacji i wiadomości
Źródła informacji i generowane przez nie wiadomości dzielą się na dyskretne i ciągłe. Wiadomości dyskretne składają się z przeliczalnych zbiorów elementów, wydzielanych przez źródło jako sekwencja czasowa. Zbiór elementów to alfabet, a jego elementy to litery (pojęcie litery obejmuje litery, cyfry, znaki). Liczba liter w alfabecie to objętość alfabetu. Źródło dyskretne w skończonym czasie generuje skończony zbiór wiadomości. Wiadomości ciągłe mają postać dowolnej wielkości fizycznej mierzonej w zadanym przedziale czasu. Skończony zbiór wiadomości w skończonym przedziale czasu, reprezentujący wiadomość ciągła, otrzymywany jest w procesie dyskretyzacji (próbkowanie i kwantowanie).

19 Strukturalne miary informacji
Uwzględniają: jedynie dyskretną konstrukcję zespołów informacyjnych, szczególnie liczbę elementów informacyjnych w zespołach informacyjnych, związki pomiędzy elementami informacyjnymi i własności kombinacji elementów informacyjnych, Strukturalne miary informacji: geometryczna – pomiar długości, powierzchni lub objętości geometrycznego modelu zespołu informacyjnego, kombinacyjna – ocena możliwości przesyłania informacji przy pomocy różnych kombinacji elementów informacyjnych, addytywna – ocena pojemności zespołu informacyjnego (umożliwia sumowanie i zachowuje proporcjonalność ilości informacji).

20 Miara geometryczna Określenie ilości informacji metodą geometryczną sprowadza się do pomiaru długości, powierzchni lub objętości geometrycznego modelu zespołu informacyjnego przy pomocy dyskretnych jednostek (kwantów). Metoda geometryczna określa graniczną (maksymalną) możliwą ilość informacji w zadanych, strukturalnych wymiarach. Taka (graniczna) ilość informacji jest nazywana pojemnością informacyjną badanej części systemu informacyjnego Pojemność informacyjna jest liczbą określającą ile kwantów zawiera pełny zestaw informacji. Miara geometryczna może być także stosowana do oceny ilości informacji zawartych w oddzielnych wiadomościach.

21 Miara geometryczna - przykład

22 Miara kombinacyjna Miara kombinacyjna stosowana jest wtedy, gdy trzeba ocenić możliwości przesyłania informacji przy pomocy różnych kombinacji elementów informacyjnych. Ilość informacji według miary kombinacyjnej oblicza się jako liczbę kombinacji elementów – ocenie podlegają kombinacyjne właściwości granicznej, strukturalnej różnorodności zespołów informacyjnych. Kombinacje mogą być tworzone w zespołach z niejednakowymi elementami, zmiennymi zależnościami lub różnorodnymi położeniami. Elementy są różne, jeżeli różnią się między sobą dowolną cechą: rozmiarem, formą, kolorem, itd. Elementy jednakowe pod względem wszystkich swoich cech mogą być uważane za różne, jeżeli uwzględni się ich położenie (położenie też może być cechą) Przykład wpływu zmiany położenia elementu - zmiany położenia „zera” w dwójkowym, pozycyjnym systemie liczenia: 11110 i – zmiana liczby 30 na 15, 00001 i – zmiana liczby 1 na 16

23 Miara kombinacyjna - różne rodzaje zestawów elementów

24 Miara kombinacyjna Przy stosowaniu miary kombinacyjnej ilość informacji pokrywa się z liczbą możliwych zestawów elementów. W przypadku miary kombinacyjnej ocena ilości informacji nie polega na zwykłym zliczaniu kwantów (jak to ma miejsce w przypadku oceny geometrycznej), lecz na określaniu liczby możliwych lub rzeczywiście występujących kombinacji. Miara kombinacyjna służy do oceny strukturalnej różnorodności informacji. Miara kombinacyjna może dotyczyć wszystkich możliwych kombinacji, lub rzeczywistego stopnia swobody danego systemu (kombinacje realizowalne).

25 Miara addytywna (Hartley’a)
Pojęcia wykorzystywane w definicji miary addytywnej: głębokość słowa (h) – liczba wszystkich, różnych elementów występujących w danym alfabecie – odpowiada podstawie systemu liczenia i kodowania, długość słowa (l) – liczba powtórzeń alfabetu niezbędna i wystarczająca do przedstawienia liczb w określonego przedziału wartości (liczba pozycji liczbowych w danym systemie liczenia), Pojemność słowa: Ilość informacji (w bitach):

26 Miara addytywna - przykład
alfabet 1 h = 1 l alfabet 1 h = 2 l = 8

27 Statystyczne miary informacji - prawdopodobieństwo i informacja
W ujęciu probabilistycznym informacja jest rozpatrywana jako wiadomości o zajściu zdarzeń przypadkowych, realizacji losowych wielkości i funkcji, a ilość informacji uzależnia się od prawdopodobieństwa a priori tych zdarzeń, wielkości czy funkcji. Kiedy uzyskujemy wiadomości o zdarzeniach często występujących, których prawdopodobieństwo zajścia dąży do jedności (tzn. do wartości odpowiadającej zdarzeniu pewnemu), to takie zdarzenie dostarcza mało informacji. Podobnie dużo informacji niosą wiadomości o zdarzeniach, których prawdopodobieństwo jest bliskie zeru. Większość typów informacji można sprowadzić do zjawisk dwójkowych typu „tak – nie” i par „zdarzenie – zdarzenie przeciwne” – taka para daje najprostszy , niepodzielny element (kwant) informacji. Pod pojęciem zdarzenia rozumiane jest elementarne jednoprzedmiotowe zdarzenie, które może zachodzić z prawdopodobieństwem p, lub nie zachodzić z prawdopodobieństwem q = 1-p (gdy p = 1-q zachodzi sytuacja najbardziej nieokreślona).

28 Statystyczne miary informacji - prawdopodobieństwo i informacja
Zdarzenia mogą być rozpatrywane jako możliwe realizacje pewnego doświadczenia, przy czym wszystkie realizacje stanowią zupełny zbiór zdarzeń charakteryzujący się tym, że suma prawdopodobieństw zdarzeń wchodzących w jego skład jest równa jedności. Doświadczeniem może być również zmiana losowej wielkości X, która może przyjmować różne wartości. Wówczas każda określona wartość ma sens realizacji lub zdarzenia elementarnego. Na ogół zdarzeniami może być k możliwych dyskretnych stanów jakiegokolwiek fizycznego układu, na przykład k wartości wielkości mierzonej, k położeń urządzenia nastawiającego, stany k elementów urządzenia, itp.

29 Statystyczne miary informacji - wprowadzenie
Każdą wiadomość należy uważać za wielkość nieznaną z punktu widzenia użytkownika systemu (np. telekomunikacyjnego). Jeżeli wiadomość jest z góry znana w punkcie odbiorczym, to: nie może być uznana za wiadomość, ponieważ nie niesie żadnej informacji, mającej usprawnić działanie użytkownika systemu, odbiór takich „wiadomości” z zasady jest zbędny, Znany jest jednak z zasady zbiór wiadomości – konkretna nadawana wiadomość jest wybierana z tego zbioru za pomocą jakiegoś mechanizmu, Wiadomość będzie można odtworzyć po stronie odbiorczej tym lepiej, im więcej wiemy o zasadzie działania mechanizmu, który w źródle wiadomości wybiera tę wiadomość ze zbioru, Oznacza to, że nie można przyjąć modelu deterministycznego, Istotą procesu uzyskiwania informacji jest zmniejszenie stopnia pierwotnej niewiedzy. Zagadnienie podstawowe – wybór modelu nieznanej z góry wiadomości.

30 Statystyczne miary informacji – model probabilistyczny
Podstawowym, najprostszym modelem niedeterministycznym jest model probabilistyczny, W modelu probabilistycznym interesująca (nas) wielkość uważana jest za realizację zmiennej losowej (procesu stochastycznego), W konsekwencji – interesująca (nas) wielkość wykazuje przy licznych obserwacjach regularności statystyczne, tzn. ma określony rozkład prawdopodobieństwa, Model probabilistyczny jest adekwatny do większości spotykanych w praktyce przypadków przesyłania informacji, Są przypadki, w których nie ma sensu mówić o regularnościach statystycznych (np. w przypadku obserwacji pojedynczych). Przypadki: rozkład prawdopodobieństwa interesującej (nas) wielkości nie znanej istnieje (I), rozkład prawdopodobieństwa interesującej (nas) wielkości nie znanej istnieje (NI), Istnienie rozkładu prawdopodobieństwa nie jest równoznaczne ze znajomością tego rozkładu przez obserwatora, stąd: obserwator zna rozkład prawdopodobieństwa, obserwator nie zna rozkładu prawdopodobieństwa.

31 Statystyczne miary informacji – poziomy informacji
wielkość (parametr, proces) jest znana nie jest znana rozkład prawdopodobieństwa nie istnieje rozkład prawdopodobieństwa istnieje nie jest znany rozkład rozkładów prawdopodobieństwa nie istnieje jest znany rozkład rozkładów prawdopodobieństwa istnieje nie jest znany jest znany

32 Statystyczne miary informacji – model Bayesa
W przypadku najprostszego ze zbiorów, jakim jest zbiór dyskretny, z poszczególnymi wiadomościami tworzącymi ten zbiór można wzajemnie jednoznacznie powiązać liczby. Modelem statystycznym źródła wiadomości dyskretnych jest zmienna losowa dyskretna. Jeżeli: Zbiorem realizacji zmiennej losowej jest: To właściwości statystyczne wiadomości dyskretnej w pełni opisuje zbiór prawdopodobieństwa wystąpienia tych realizacji (rozkład prawdopodobieństwa): Zbiór tych prawdopodobieństwa jest rozkładem prawdopodobieństwa a priori – są one znane (bądź zakłada się, że są znane) przed obserwacją.

33 Statystyczne miary informacji - modele
W bardziej złożonych przypadkach wiadomości dyskretne mają strukturę ciągów wiadomości elementarnych, tzn. wiadomość – ciąg powstaje droga kolejnego losowania wiadomości elementarnych, Modelem statystycznym wiadomości – ciągów jest ciąg dyskretnych zmiennych losowych, tzn. dyskretny proces stochastyczny, Istotne jest określenie, w jaki sposób właściwości statystyczne takiego źródła zależą od czasu, jeżeli nie zależą od czasu to modelem są dyskretne stacjonarne procesy stochastyczne, jeżeli prawdopodobieństwo danej spośród wiadomości elementarnych tworzących wiadomości - ciągi zależy tylko od skończonej liczby wiadomości elementarnych podanych w przeszłości (jeżeli źródło ma pamięć skończoną), to modelem są dyskretne procesy Markowa, Modelem statystycznym ciągłych wiadomości (wiadomości – funkcji) są ciągłe procesy stochastyczne.

34 Statystyczne miary informacji – entropia
Nieokreśloność (dowolnej sytuacji) może być opisana za pomocą entropii, która charakteryzuje zdolność źródła do wydawania informacji, (od greckiego entrope – obrót) Entropia w termodynamice oznacza prawdopodobieństwo cieplnego stanu ośrodka, w matematyce – stopień nieokreśloności sytuacji lub zadania. W teorii informacji entropia charakteryzuje zdolność źródła do wydawania informacji – entropia określa stopień nieokreśloności i nieoczekiwalności stanu. Entropia definiowana jest dla dyskretnego schematu probabilistycznego, tj. dla zbioru zdarzeń rozumianego jako zupełny, skończony zbiór (przestrzeń) niejednoznacznych zdarzeń o znanym rozkładzie prawdopodobieństwa, którego łączna wartość jest równa jedności, Entropia zbioru jest ilościową miarą jego nieokreśloności, a więc także jego informacyjności, W statystycznej teorii informacji (teorii komunikacji) entropia (Shannon) wyraża się ilościowo jako średnia wartość funkcji zbioru prawdopodobieństwa wszystkich możliwych realizacji doświadczenia – wszystkich możliwych zdarzeń.

35 Statystyczne miary informacji – entropia
Zakładając, że: - wśród N możliwych realizacji doświadczenia jest k różnych realizacji, - i - ta realizacja ( k i ,... 2 , 1 = ) powtarza się i n razy i wnosi informację i I , - ilość informacji w każdej realizacji jest związana z prawdopodobieństwem i p tej realizacji i dana jest wyrażeniem: i p I 2 log ) / 1 ( - = - wartości ilorazów N n i / , określające częstości powtórz eń poszczególnych realizacji, przy dostatecznie dużym N są równe prawdopodobieństwo tych realizacji: i p N n = / , to ilość informacji przypadająca średnio na jedną realizację doświadczenia – entropia jest dana wyrażeniem: = + N I n p H k ... ) ,..., , ( 2 1 = - + N p n k ) log ( ... 2 1 Σ = - k i p 1 2 log ...

36 Statystyczne miary informacji – entropia
Entropię można określić jako średnią wartość ilości informacji przypadającą na jedno zdarzenie ze zbioru } ,..., , { 2 1 k x X = lub wartością oczekiwaną ilości informacji I w mierzonej wielkości X : Σ = - k i x p X I E H 1 2 ) ( log )] [ ,..., , Funkcja ) ( p H gdzie ] ,..., , [ 2 1 k p = jest wektorem prawdopodobieństwa zdarzeń i spełnia następujące warunki: - ) ( p H jest ciągła w przedziale 1 < i p , - ) ( p H jest symetry czna względem p , tzn. wartość nie zmienia się przy dowolnej zmianie rozmieszczenia argumentów i p , - ) , ( ,..., 2 1 k p q H + = - co oznacza, że jeżeli zdarzenie k x składa się z dwóch zdarzeń 1 k x i 2 k x o prawdopodobieństwach równych odpowiednio 1 q i 2 q ( 1 2 = + q ) to łączna wartość entropii jest równa sumie entropii części nierozgałęzionej z wagą k p dla prawdopodobieństwa warunkowych k p q 1 i k p q 2 .

37 Właściwości entropii Entropia jest zawsze nieujemna, ponieważ wartości prawdopodobieństw należą do przedziału [0,1], a więc ich logarytmy są liczbami niedodatnimi. Entropia jest równa zeru tylko w takim przypadku, gdy jedno ze zdarzeń zachodzi z prawdopodobieństwem równym jeden, a wszystkie pozostałe z prawdopodobieństwami równymi zeru (wynik doświadczenia lub pomiaru jest znany a priori), Entropia osiąga maksymalną wartość w przypadku, gdy prawdopodobieństwa wszystkich zdarzeń są równe (gdy wszystkie zdarzenia są jednakowo prawdopodobne), Wartość entropii jest równa strukturalnej addytywnej mierze ilości informacji (miara Hartley’a) w przypadku, gdy wszystkie zdarzenia są jednakowo prawdopodobne – równość tych miar oznacza, że pojemność informacyjna systemu jest w pełni wykorzystana.

38 Entropia zdarzenia elementarnego

39 Entropia zdarzenia elementarnego
1.0 0.8 0.6 0.4 0.2 0.2 0.4 0.6 0.8 1.0 prawdopodobieństwo

40 Entropia zdarzeń złożonych

41 Entropia zdarzeń złożonych - przykład

42 Entropia zdarzeń złożonych - przykład

43 Entropia zdarzeń złożonych

44 Entropia zdarzeń złożonych - schemat przesyłania informacji
x1 y1 x2 y2 . . xi yj nadajnik xi yj odbiornik . . xn ym Ciąg symboli x1, x2, ... , xi, ..., xn może podlegać przekłamaniom w czasie przesyłania do odbiornika. Symbol xi może zostać odebrany nie tylko jako jednoznacznie mu przyporządkowany symbol yi, lecz także jako jeden z symboli y1, y2, ..., yj, ..., ym z określonymi prawdopodobieństwami.

45 Entropia zdarzeń złożonych - schemat przesyłania informacji

46 Entropia zdarzeń złożonych - schemat przesyłania informacji

47 Ilość informacji i nadmiar

48 Ilość informacji i nadmiar

49 Semantyczne miary informacji
Zagadnienia rozpatrywane w semiotyce dotyczą pojęć: znaku – umownego oznaczenia elementu wiadomości, słowa – zbioru znaków mającego przedmiotowe znaczenie (sens), języka – słownika i reguł posługiwania się tym słownikiem, Semiotyka, będąca ogólną teorią znaku i zajmująca się zwłaszcza typologią rożnych odmian znaków oraz problemami ich funkcji, pozwala na wyróżnienie następujących aspektów teorii informacji: semantycznego – znaczenia znaków i słów (co wyraża znak), syntaktycznego – zależności pomiędzy znakami i słowami (co łączy znaki), sygmatycznego – zależności pomiędzy znakami, słowami i obiektami opisu (co oznacza znak), pragmatycznego – praktyczna przydatność znaków i słów (co daje znak), Strukturalne i statystyczne miary informacji dotyczą syntaktycznego ujęcia teorii informacji, Sygmatyczne ujęcia teorii informacji ma zastosowanie w teorii sygnałów i kodów, W zastosowaniach technicznych oceny pragmatyczne i semantyczne są tożsame – badane są wiadomości przydatne, a zatem mające znaczenie.

50 Semantyczne miary informacji - podstawowe pojęcia semiotyki
Semiotyka – sens i zawartość informacji syntaktyka (co łączy znaki) semantyka (co wyraża znak) znak pragmatyka (co daje znak) sygmatyka (co oznacza znak)

51 Semantyczne miary informacji - zawartość informacji

52 Semantyczne miary informacji - przydatność informacji

53 Entropia dynamiczna

54 Entropia dynamiczna

55 Podsumowanie Teoria i technika informacji odgrywa rolę podstawową ze względu na to, że jest stosowana do ujmowania istotnych zjawisk informacyjnych. Techniki informacyjne odnoszą się do procesów wydobywania, przechowywania, przekazywania, przetwarzania i prezentowania informacji. Systemy informacyjne różnią się od innych naturalnych i technicznych systemów tym, że występują w nich związki, procesy oraz zjawiska w postaci sygnałów – systemy informacyjne są zawsze „nałożone” na systemy robocze. Informacja jako taka jest zaliczana do pojęć abstrakcyjnych, analogicznych np. do pojęć matematycznych. Informacja zawsze przejawia się w materialno-energetycznej formie – w postaci sygnałów.