Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Teorie informacji i miary informacji Podstawowe pojęcia.

Podobne prezentacje


Prezentacja na temat: "Teorie informacji i miary informacji Podstawowe pojęcia."— Zapis prezentacji:

1 Teorie informacji i miary informacji Podstawowe pojęcia

2 Wprowadzenie Przekazywanie wiadomości jest jednym z najważniejszych zadań techniki. Zadanie przekazywania: w przestrzeni – systemy teleinformatyczne, w czasie – systemy rejestrujące i zapamiętujące. Środki przekazywania wiadomości –nadajniki, odbiorniki, kanały oraz odpowiadające tym kanałom sygnały. Sygnały, które w nadajniku przyporządkowuje się wiadomościom, umożliwiają przekazywanie wiadomości przez kanały. Kanały: przestrzenne – odpowiedni dla kanału sygnał nadany (w jednym miejscu) wywołuje (w innym miejscu) sygnał odebrany, na podstawie którego odtwarzana jest wiadomość, czasowe – umożliwiają zapamiętywanie sygnałów w czasie.

3 Informacja Termin informacja (łac. informatio) oznacza: wiadomość, uświadomienie sobie czegoś, Określenia pojęcia informacji: jest odbiciem realnego świata (ogólne), wszystkie wiadomości będące obiektem przechowywania, przekazywania i przetwarzania, Pojęcie informacji: pewne modele rzeczy realnych obrazujących ich istotę w stopniu potrzebnym do celów praktycznych, tzn. nie rzeczy i procesy, lecz ich istotne i reprezentatywne charakterystyki, pojęcie pierwotne, którego ścisłe zdefiniowanie za pomocą innych pojęć prostszych nie jest możliwe, pojęcie abstrakcyjne (analogiczne np. do pojęć matematycznych).

4 Informacja - definicja Rozpowszechnione definicje: Informacją nazywamy to wszystko, co można zużytkować do bardziej sprawnego wyboru działań prowadzących do realizacji pewnego celu, Dowolna wiadomość, na podstawie której odbiorca wiadomości opiera swoje działanie (przeprowadza, usprawnia). Istota przytoczonych definicji: posiadając i właściwie użytkując informację możliwe jest lepsze realizowanie celowych działań, potencjalny charakter informacji – warunkiem realizacji pewnego celu jest właściwe wykorzystanie informacji. Całokształt zagadnień związanych z wydobywaniem, przechowywaniem, przekazywaniem, przetwarzaniem i prezentowaniem informacji nazywamy nauką o informacji.

5 Klasyfikacja informacji Informacje można klasyfikować przede wszystkim ze względu na: strukturę zbioru postaci, jakie informacja może przyjmować, strukturę pojedynczej informacji, mechanizm, zgodnie z którym konkretna informacja jest wybierana ze zbioru wszystkich postaci, jakie może ona przyjmować. Ze względu na strukturę zbioru postaci, jakie informacja może przyjmować, informacje dzielimy na ziarnistą (binarną) i ciągłą. Jeżeli zbiór postaci informacji zawiera skończoną liczbę elementów to jest on zbiorem ziarnistym. Szczególnym przypadkiem zbioru ziarnistego jest zbiór binarny (dwójkowy), w którym liczba elementów zbioru wynosi 2. Jeżeli zbiór ten zawiera nieskończoną liczbę elementów (jeżeli obok jednej informacji możemy znaleźć inne informacje), to zbiór ten nazywamy zbiorem ciągłym.

6 Klasyfikacja informacji Podstawą klasyfikacji struktury pojedynczej informacji jest hierarchiczność i wymiarowość informacji elementarnej - z tego punktu widzenia informacje dzielone są na: jednowymiarowe, wielowymiarowe informacje-funkcje. Konieczność ujęcia podstawowej cechy informacji jaką jest to, że początkowo nie jest znana, jest model probabilistyczny co oznacza przyjęcie założenia, że informacja jest realizacją pewnej zmiennej losowej o określonych właściwościach probabilistycznych. Zbiór postaci, jakie może przyjmować informacja jak i jej właściwości statystyczne można traktować jako informację o informacji. Stąd rozróżnienie informacji roboczej (niższy poziom) i informacji o właściwościach informacji roboczej (wyższy poziom). na poziomie niższym hierarchii znajduje się informacja robocza pozwalająca na realizację celowego działania, na poziomie wyższym znajduje się informacja umożliwiająca realizację celowego działania jakim jest pozyskiwanie informacji o właściwościach informacji roboczej.

7 Sygnał W większości przypadków informacja nie jest dostępna bezpośrednio; bezpośrednio dostępny jest pewien nośnik, tzn. sygnał zawierający informację. Zawartość informacji w sygnale oznacza, że wartości niektórych parametrów sygnału zależą od informacji - w skrajnym przypadku wartości wszystkich parametrów sygnału zależą od informacji i wtedy możliwe jest utożsamianie informacji i sygnału. Sygnał – podobnie jak informację – charakteryzuje: struktura zbioru postaci, jakie sygnał może przyjmować, struktura pojedynczego sygnału, który najczęściej ma postać ciągu sygnałów elementarnych. Podstawową cechą sygnałów jest możliwość ich przekształcania po to, aby uzyskać sygnały o pożądanych właściwościach przy zachowaniu zdolności do przenoszenia informacji. Oznacza to, że w procesie przekształcenia mogą być eliminowane lub zmieniane tylko te cechy sygnału, które nie przenoszą informacji.

8 Schemat formowania sygnału Oryginał fizyczny Model fizyczny Modele matematyczne Sygnał Zjawisko obserwowane Informacja pierwotna Informacja kwantowana Informacja kodowana Zespół wydobywania Zespół kwantowania Zespół kodowania

9 Fazy obiegu informacji Cykl obiegu i przetwarzania sygnałów niosących informację: wydobycie informacji: tworzenie obrazu obiektu na podstawie jego rozpoznania i oceny – po oddzieleniu informacji użytecznej od szumów otrzymywany jest sygnał dogodny do przesłania lub przetwarzania, przesłanie informacji: przenoszenie informacji w przestrzeni przy pomocy różnych (pod względem fizycznym) sygnałów nośnych (mechaniczne, pneumatyczne, optyczne, elektryczne, elektromagnetyczne), przetwarzanie informacji: rozwiązywanie (w tym automatyczne) zadań związanych z przekształcaniem informacji niezależnie od celów tych zadań, przedstawienie (prezentacja) informacji: demonstrowanie umownych figur opisujących jakościowe i ilościowe charakterystyki przedstawianej informacji przy użyciu różnych urządzeń (optyczne, akustyczne, rejestratory, tablice synoptyczne, makiety, itd.), oddziaływanie informacji: wywoływanie, przez sygnały niosące informacje lub sygnały ukształtowane przez informację, procesów powodujących odpowiednie zmiany stanu obiektu.

10 Przepływ informacji w systemie informacyjnym Obiekt – źródło i użytkownik informacji Generowanie informacji Wydobywanie informacji Przesłanie informacji Przetwarzanie informacji Oddziaływanie informacji Prezentowanie informacji

11 Postacie informacji Informację można klasyfikować według: dziedzin wiedzy (np. bilogiczna, techniczna, ekonomiczna), fizycznego charakteru wydobywania (np.. Wzrokowa, słuchowa, smakowa), właściwości metrologicznych, Kwalifikacja wg. właściwości metrologicznych jest najbardziej odpowiednia dla zagadnień technicznych Ze względu na właściwości metrologiczne wyróżniane są następujące formy informacji: informacja parametryczna – zbiory liczbowych ocen wartości jakichkolwiek mierzonych wielkości, wyniki liczbowych określeń przy badaniu, analizie, kontroli, zliczaniu, itd., informacja topologiczna – formy geometryczne, plany, obrazy i przedstawienia przestrzenne, Informacja abstrakcyjna – formuły matematyczne, uogólnione obrazy i pojęcia

12 Informacja parametryczna Cztery podstawowe formy informacji parametrycznej: zdarzenie dwuwartościowe (informacja zerowego rzędu), wielkość (informacja pierwszego rzędu – jednowymiarowa) – uporządkowany w jednym wymiarze zbiór zdarzeń, z których każde odpowiada osiągnięciu przez wielkość określonego poziomu, wielkość postaci dyskretnej (zbiór zdarzeń jest przeliczalny), wielkości postaci ciągłej (zbiór zdarzeń jest nieprzeliczalny). funkcja (informacja drugiego rzędu) – dwuwymiarowy zbiór zdarzeń określany poprzez relację pomiędzy wielkością i czasem, wielkością i położeniem lub pomiędzy wielkościami, przestrzeń (informacja rzędu równego wymiarowi przestrzeni) – model definiowany zależnością pomiędzy wartością oraz przestrzenią i czasem.

13 Informacja parametryczna - formy Informacja parametrycznaInformacja topologiczna Zdarzenie (inf. zerowymiarowa)Punkt Wielkość (inf. jednowymiarowa)Linia Funkcja(inf. dwuwymiarowa)Powierzchnia Zespół (inf. n-wymiarowa)Objętość Cztery podstawowe formy informacji parametrycznej:

14 Rodzaje informacji parametrycznej Tak Nie X ΔxΔx X(T) ΔxΔx T ΔtΔt X(T,N) T ΔtΔt ΔxΔx N ΔnΔn zdarzenie wielkość funkcja przestrzeń (zespół)

15 Struktura informacji W wyniku przekształceń informacja może przyjmować rozmaite struktury: naturalną - odwzorowuje realne stany obiektów (zazwyczaj w formie analogowej z szumami, unormowaną - złożona ze zbiorów sprowadzonych do wspólnej skali, początku liczenia i innych wspólnych uogólnionych charakterystyk (wynik działania operatorów skali, zakresu i lokalizacji na informację naturalną), kompleksową – sprowadzenie całej informacji do układu współrzędnych, zdekomponowaną – wynik zmiany liczby pomiarów, struktury oraz rozmieszczenia elementów informacyjnych w zestawach informacyjnych (zwykle wynik redukcji rzędu informacji), uogólnioną – po usunięciu z informacji naturalnej części o drugorzędnym znaczeniu, dyskretną – wynik dyskretyzacji informacji analogowej (równomiernej lub nierównomiernej) bezwymiarową – wynik dyskretyzacji zespołu informacyjnego (informacja w uniwersalnej bezwymiarowej formie liczbowej), kodowaną – w postaci zbioru liczb lub formie cyfrowej opartej na dowolnym systemie liczenia lub kodowania.

16 Nadmiarowość informacji Generowanie sygnałów sterujących Podejmowanie decyzji Semantyczne wzbogacanie informacji (wartości znaczeniowe) Statystyczne wzbogacanie informacji (usunięcie nadmiaru) Strukturalne wzbogacanie informacji (usunięcie nadmiaru) Generowanie (pobieranie) informacji pierwotnej (naturalnej) sygnały

17 Teorie informacji Głównym problemem teorii informacji jest ustalanie miar ilości i jakości informacji Znane miary informacji odpowiadają trzem kierunkom w teorii informacji: Strukturalna: przedmiotem jest dyskretny charakter informacji i zagadnienia pomiaru ilości informacji z wykorzystaniem metod kombinatorycznych, Statystyczna: przedmiotem są probabilistyczne własności zdarzeń i zagadnienia pomiaru entropii jako miary nieokreśloności, Semantyczna: przedmiotem jest celowość, użyteczność i znaczenie informacji.

18 Źródła informacji i wiadomości Źródła informacji i generowane przez nie wiadomości dzielą się na dyskretne i ciągłe. Wiadomości dyskretne składają się z przeliczalnych zbiorów elementów, wydzielanych przez źródło jako sekwencja czasowa. Zbiór elementów to alfabet, a jego elementy to litery (pojęcie litery obejmuje litery, cyfry, znaki). Liczba liter w alfabecie to objętość alfabetu. Źródło dyskretne w skończonym czasie generuje skończony zbiór wiadomości. Wiadomości ciągłe mają postać dowolnej wielkości fizycznej mierzonej w zadanym przedziale czasu. Skończony zbiór wiadomości w skończonym przedziale czasu, reprezentujący wiadomość ciągła, otrzymywany jest w procesie dyskretyzacji (próbkowanie i kwantowanie).

19 Strukturalne miary informacji Uwzględniają: jedynie dyskretną konstrukcję zespołów informacyjnych, szczególnie liczbę elementów informacyjnych w zespołach informacyjnych, związki pomiędzy elementami informacyjnymi i własności kombinacji elementów informacyjnych, Strukturalne miary informacji: geometryczna – pomiar długości, powierzchni lub objętości geometrycznego modelu zespołu informacyjnego, kombinacyjna – ocena możliwości przesyłania informacji przy pomocy różnych kombinacji elementów informacyjnych, addytywna – ocena pojemności zespołu informacyjnego (umożliwia sumowanie i zachowuje proporcjonalność ilości informacji).

20 Miara geometryczna Określenie ilości informacji metodą geometryczną sprowadza się do pomiaru długości, powierzchni lub objętości geometrycznego modelu zespołu informacyjnego przy pomocy dyskretnych jednostek (kwantów). Metoda geometryczna określa graniczną (maksymalną) możliwą ilość informacji w zadanych, strukturalnych wymiarach. Taka (graniczna) ilość informacji jest nazywana pojemnością informacyjną badanej części systemu informacyjnego Pojemność informacyjna jest liczbą określającą ile kwantów zawiera pełny zestaw informacji. Miara geometryczna może być także stosowana do oceny ilości informacji zawartych w oddzielnych wiadomościach.

21 Miara geometryczna - przykład

22 Miara kombinacyjna Miara kombinacyjna stosowana jest wtedy, gdy trzeba ocenić możliwości przesyłania informacji przy pomocy różnych kombinacji elementów informacyjnych. Ilość informacji według miary kombinacyjnej oblicza się jako liczbę kombinacji elementów – ocenie podlegają kombinacyjne właściwości granicznej, strukturalnej różnorodności zespołów informacyjnych. Kombinacje mogą być tworzone w zespołach z niejednakowymi elementami, zmiennymi zależnościami lub różnorodnymi położeniami. Elementy są różne, jeżeli różnią się między sobą dowolną cechą: rozmiarem, formą, kolorem, itd. Elementy jednakowe pod względem wszystkich swoich cech mogą być uważane za różne, jeżeli uwzględni się ich położenie (położenie też może być cechą) Przykład wpływu zmiany położenia elementu - zmiany położenia zera w dwójkowym, pozycyjnym systemie liczenia: i – zmiana liczby 30 na 15, i – zmiana liczby 1 na 16

23 Miara kombinacyjna - różne rodzaje zestawów elementów

24 Miara kombinacyjna Przy stosowaniu miary kombinacyjnej ilość informacji pokrywa się z liczbą możliwych zestawów elementów. W przypadku miary kombinacyjnej ocena ilości informacji nie polega na zwykłym zliczaniu kwantów (jak to ma miejsce w przypadku oceny geometrycznej), lecz na określaniu liczby możliwych lub rzeczywiście występujących kombinacji. Miara kombinacyjna służy do oceny strukturalnej różnorodności informacji. Miara kombinacyjna może dotyczyć wszystkich możliwych kombinacji, lub rzeczywistego stopnia swobody danego systemu (kombinacje realizowalne).

25 Miara addytywna (Hartleya) Pojęcia wykorzystywane w definicji miary addytywnej: głębokość słowa (h) – liczba wszystkich, różnych elementów występujących w danym alfabecie – odpowiada podstawie systemu liczenia i kodowania, długość słowa (l) – liczba powtórzeń alfabetu niezbędna i wystarczająca do przedstawienia liczb w określonego przedziału wartości (liczba pozycji liczbowych w danym systemie liczenia), Pojemność słowa: Ilość informacji (w bitach):

26 Miara addytywna - przykład alfabet l h = alfabet l = 8 h = 2 1

27 Statystyczne miary informacji - prawdopodobieństwo i informacja W ujęciu probabilistycznym informacja jest rozpatrywana jako wiadomości o zajściu zdarzeń przypadkowych, realizacji losowych wielkości i funkcji, a ilość informacji uzależnia się od prawdopodobieństwa a priori tych zdarzeń, wielkości czy funkcji. Kiedy uzyskujemy wiadomości o zdarzeniach często występujących, których prawdopodobieństwo zajścia dąży do jedności (tzn. do wartości odpowiadającej zdarzeniu pewnemu), to takie zdarzenie dostarcza mało informacji. Podobnie dużo informacji niosą wiadomości o zdarzeniach, których prawdopodobieństwo jest bliskie zeru. Większość typów informacji można sprowadzić do zjawisk dwójkowych typu tak – nie i par zdarzenie – zdarzenie przeciwne – taka para daje najprostszy, niepodzielny element (kwant) informacji. Pod pojęciem zdarzenia rozumiane jest elementarne jednoprzedmiotowe zdarzenie, które może zachodzić z prawdopodobieństwem p, lub nie zachodzić z prawdopodobieństwem q = 1-p (gdy p = 1-q zachodzi sytuacja najbardziej nieokreślona).

28 Statystyczne miary informacji - prawdopodobieństwo i informacja Zdarzenia mogą być rozpatrywane jako możliwe realizacje pewnego doświadczenia, przy czym wszystkie realizacje stanowią zupełny zbiór zdarzeń charakteryzujący się tym, że suma prawdopodobieństw zdarzeń wchodzących w jego skład jest równa jedności. Doświadczeniem może być również zmiana losowej wielkości X, która może przyjmować różne wartości. Wówczas każda określona wartość ma sens realizacji lub zdarzenia elementarnego. Na ogół zdarzeniami może być k możliwych dyskretnych stanów jakiegokolwiek fizycznego układu, na przykład k wartości wielkości mierzonej, k położeń urządzenia nastawiającego, stany k elementów urządzenia, itp.

29 Statystyczne miary informacji - wprowadzenie Każdą wiadomość należy uważać za wielkość nieznaną z punktu widzenia użytkownika systemu (np. telekomunikacyjnego). Jeżeli wiadomość jest z góry znana w punkcie odbiorczym, to: nie może być uznana za wiadomość, ponieważ nie niesie żadnej informacji, mającej usprawnić działanie użytkownika systemu, odbiór takich wiadomości z zasady jest zbędny, Znany jest jednak z zasady zbiór wiadomości – konkretna nadawana wiadomość jest wybierana z tego zbioru za pomocą jakiegoś mechanizmu, Wiadomość będzie można odtworzyć po stronie odbiorczej tym lepiej, im więcej wiemy o zasadzie działania mechanizmu, który w źródle wiadomości wybiera tę wiadomość ze zbioru, Oznacza to, że nie można przyjąć modelu deterministycznego, Istotą procesu uzyskiwania informacji jest zmniejszenie stopnia pierwotnej niewiedzy. Zagadnienie podstawowe – wybór modelu nieznanej z góry wiadomości.

30 Statystyczne miary informacji – model probabilistyczny Podstawowym, najprostszym modelem niedeterministycznym jest model probabilistyczny, W modelu probabilistycznym interesująca (nas) wielkość uważana jest za realizację zmiennej losowej (procesu stochastycznego), W konsekwencji – interesująca (nas) wielkość wykazuje przy licznych obserwacjach regularności statystyczne, tzn. ma określony rozkład prawdopodobieństwa, Model probabilistyczny jest adekwatny do większości spotykanych w praktyce przypadków przesyłania informacji, Są przypadki, w których nie ma sensu mówić o regularnościach statystycznych (np. w przypadku obserwacji pojedynczych). Przypadki: rozkład prawdopodobieństwa interesującej (nas) wielkości nie znanej istnieje (I), rozkład prawdopodobieństwa interesującej (nas) wielkości nie znanej istnieje (NI), Istnienie rozkładu prawdopodobieństwa nie jest równoznaczne ze znajomością tego rozkładu przez obserwatora, stąd: obserwator zna rozkład prawdopodobieństwa, obserwator nie zna rozkładu prawdopodobieństwa.

31 Statystyczne miary informacji – poziomy informacji wielkość (parametr, proces) jest znananie jest znana rozkład prawdopodobieństwa istnieje rozkład prawdopodobieństwa nie istnieje jest znany nie jest znany rozkład rozkładów prawdopodobieństwa istnieje rozkład rozkładów prawdopodobieństwa nie istnieje jest znany nie jest znany

32 W przypadku najprostszego ze zbiorów, jakim jest zbiór dyskretny, z poszczególnymi wiadomościami tworzącymi ten zbiór można wzajemnie jednoznacznie powiązać liczby. Modelem statystycznym źródła wiadomości dyskretnych jest zmienna losowa dyskretna. Jeżeli: Zbiorem realizacji zmiennej losowej jest: To właściwości statystyczne wiadomości dyskretnej w pełni opisuje zbiór prawdopodobieństwa wystąpienia tych realizacji (rozkład prawdopodobieństwa): Zbiór tych prawdopodobieństwa jest rozkładem prawdopodobieństwa a priori – są one znane (bądź zakłada się, że są znane) przed obserwacją. Statystyczne miary informacji – model Bayesa

33 Statystyczne miary informacji - modele W bardziej złożonych przypadkach wiadomości dyskretne mają strukturę ciągów wiadomości elementarnych, tzn. wiadomość – ciąg powstaje droga kolejnego losowania wiadomości elementarnych, Modelem statystycznym wiadomości – ciągów jest ciąg dyskretnych zmiennych losowych, tzn. dyskretny proces stochastyczny, Istotne jest określenie, w jaki sposób właściwości statystyczne takiego źródła zależą od czasu, jeżeli nie zależą od czasu to modelem są dyskretne stacjonarne procesy stochastyczne, jeżeli prawdopodobieństwo danej spośród wiadomości elementarnych tworzących wiadomości - ciągi zależy tylko od skończonej liczby wiadomości elementarnych podanych w przeszłości (jeżeli źródło ma pamięć skończoną), to modelem są dyskretne procesy Markowa, Modelem statystycznym ciągłych wiadomości (wiadomości – funkcji) są ciągłe procesy stochastyczne.

34 Statystyczne miary informacji – entropia Nieokreśloność (dowolnej sytuacji) może być opisana za pomocą entropii, która charakteryzuje zdolność źródła do wydawania informacji, (od greckiego entrope – obrót) Entropia w termodynamice oznacza prawdopodobieństwo cieplnego stanu ośrodka, w matematyce – stopień nieokreśloności sytuacji lub zadania. W teorii informacji entropia charakteryzuje zdolność źródła do wydawania informacji – entropia określa stopień nieokreśloności i nieoczekiwalności stanu. Entropia definiowana jest dla dyskretnego schematu probabilistycznego, tj. dla zbioru zdarzeń rozumianego jako zupełny, skończony zbiór (przestrzeń) niejednoznacznych zdarzeń o znanym rozkładzie prawdopodobieństwa, którego łączna wartość jest równa jedności, Entropia zbioru jest ilościową miarą jego nieokreśloności, a więc także jego informacyjności, W statystycznej teorii informacji (teorii komunikacji) entropia (Shannon) wyraża się ilościowo jako średnia wartość funkcji zbioru prawdopodobieństwa wszystkich możliwych realizacji doświadczenia – wszystkich możliwych zdarzeń.

35 Statystyczne miary informacji – entropia Zakładając, że: - wśród N możliwych realizacji doświadczenia jest k różnych realizacji, - i -ta realizacja ( ki,...2,1 = ) powtarza się i n razy i wnosi informację i I, - ilość informacji w każdej realizacji jest związana z prawdopodobieństwem i p tej realizacji i dana jest wyrażeniem: iii ppI 22 log)/1( -== - wartości ilorazów Nn i /, określające częstości powtórzeń poszczególnych realizacji, przy dostatecznie dużym N są równe prawdopodobieństwo tych realizacji: ii pNn = /, to ilość informacji przypadająca średnio na jedną realizację doświadczenia– entropia jest dana wyrażeniem: = +++ = N InInIn pppH kk k... ),...,,( = = N pnpnpn kkk )log(...)log() ( Σ = -=----= k i iikk pppppppp log

36 Statystyczne miary informacji – entropia Entropię można określić jako średnią wartość ilości informacji przypadającą na jedno zdarzenie ze zbioru },...,,{ 21k xxxX = lub wartością oczekiwaną ilości informacji I w mierzonej wielkości X : Σ = -=== k i iik xpxpXIEXHpppH )(log)()]([)(),...,,( Funkcja )(pH gdzie ],...,,[ 21k pppp = jest wektorem prawdopodobieństwa zdarzeń i spełnia następujące warunki: - )(pH jest ciągła w przedziale 10 << i p, - )(pH jest symetryczna względem p, tzn. wartość nie zmienia się przy dowolnej zmianie rozmieszczenia argumentów i p, - ),(),...,,(),,,( kkkkk pqpqHppppHqqpppH += - co oznacza, że jeżeli zdarzenie k x składa się z dwóch zdarzeń 1 k x i 2 k x o prawdopodobieństwach równych odpowiednio 1 q i 2 q ( 1 21 =+ qq ) to łączna wartość entropii jest równa sumie entropii części nierozgałęzionej z wagą k p dla prawdopodobieństwa warunkowych k pq 1 i k pq 2.

37 Właściwości entropii Entropia jest zawsze nieujemna, ponieważ wartości prawdopodobieństw należą do przedziału [0,1], a więc ich logarytmy są liczbami niedodatnimi. Entropia jest równa zeru tylko w takim przypadku, gdy jedno ze zdarzeń zachodzi z prawdopodobieństwem równym jeden, a wszystkie pozostałe z prawdopodobieństwami równymi zeru (wynik doświadczenia lub pomiaru jest znany a priori), Entropia osiąga maksymalną wartość w przypadku, gdy prawdopodobieństwa wszystkich zdarzeń są równe (gdy wszystkie zdarzenia są jednakowo prawdopodobne), Wartość entropii jest równa strukturalnej addytywnej mierze ilości informacji (miara Hartleya) w przypadku, gdy wszystkie zdarzenia są jednakowo prawdopodobne – równość tych miar oznacza, że pojemność informacyjna systemu jest w pełni wykorzystana.

38 Entropia zdarzenia elementarnego

39 prawdopodobieństwo entropia

40 Entropia zdarzeń złożonych

41 Entropia zdarzeń złożonych - przykład

42

43 Entropia zdarzeń złożonych

44 Entropia zdarzeń złożonych - schemat przesyłania informacji nadajnikodbiornik y2y2 y1y1 yjyj ymym x2x2 x1x1 xixi xnxn Ciąg symboli x 1, x 2,..., x i,..., x n może podlegać przekłamaniom w czasie przesyłania do odbiornika. Symbol x i może zostać odebrany nie tylko jako jednoznacznie mu przyporządkowany symbol y i, lecz także jako jeden z symboli y 1, y 2,..., y j,..., y m z określonymi prawdopodobieństwami. xixi yjyj

45 Entropia zdarzeń złożonych - schemat przesyłania informacji

46

47 Ilość informacji i nadmiar

48

49 Semantyczne miary informacji Zagadnienia rozpatrywane w semiotyce dotyczą pojęć: znaku – umownego oznaczenia elementu wiadomości, słowa – zbioru znaków mającego przedmiotowe znaczenie (sens), języka – słownika i reguł posługiwania się tym słownikiem, Semiotyka, będąca ogólną teorią znaku i zajmująca się zwłaszcza typologią rożnych odmian znaków oraz problemami ich funkcji, pozwala na wyróżnienie następujących aspektów teorii informacji: semantycznego – znaczenia znaków i słów (co wyraża znak), syntaktycznego – zależności pomiędzy znakami i słowami (co łączy znaki), sygmatycznego – zależności pomiędzy znakami, słowami i obiektami opisu (co oznacza znak), pragmatycznego – praktyczna przydatność znaków i słów (co daje znak), Strukturalne i statystyczne miary informacji dotyczą syntaktycznego ujęcia teorii informacji, Sygmatyczne ujęcia teorii informacji ma zastosowanie w teorii sygnałów i kodów, W zastosowaniach technicznych oceny pragmatyczne i semantyczne są tożsame – badane są wiadomości przydatne, a zatem mające znaczenie.

50 Semantyczne miary informacji - podstawowe pojęcia semiotyki znak syntaktyka (co łączy znaki) pragmatyka (co daje znak) semantyka (co wyraża znak) sygmatyka (co oznacza znak) Semiotyka – sens i zawartość informacji

51 Semantyczne miary informacji - zawartość informacji

52 Semantyczne miary informacji - przydatność informacji

53 Entropia dynamiczna

54

55 Podsumowanie Teoria i technika informacji odgrywa rolę podstawową ze względu na to, że jest stosowana do ujmowania istotnych zjawisk informacyjnych. Techniki informacyjne odnoszą się do procesów wydobywania, przechowywania, przekazywania, przetwarzania i prezentowania informacji. Systemy informacyjne różnią się od innych naturalnych i technicznych systemów tym, że występują w nich związki, procesy oraz zjawiska w postaci sygnałów – systemy informacyjne są zawsze nałożone na systemy robocze. Informacja jako taka jest zaliczana do pojęć abstrakcyjnych, analogicznych np. do pojęć matematycznych. Informacja zawsze przejawia się w materialno-energetycznej formie – w postaci sygnałów.


Pobierz ppt "Teorie informacji i miary informacji Podstawowe pojęcia."

Podobne prezentacje


Reklamy Google