ELEMENTY TEORII INFORMACJI I STEROWANIA Warszawa, 16 listopada 2016

INFORMATYTKA W świecie istnieją dwa główne obiegi: Energii Informacji Dziedziną, która łączy ze sobą w sieć przyczynowo-skutkową elementy świata przyrodniczego, jest biocybernetyka. Nauka ta ukształtowała się w drugiej połowie XX wieku i zajmuje się badaniem procesów sterowania, regulacji i przetwarzania informacji w maszynach i żywych organizmach (Norbert Wiener, 1948)

Twórca cybernetyki Norbert Wiener (1894-1964)

Twórca teorii gier John von Neumann (1903-1957) John von Neumann (ur. 28 grudnia 1903 w Budapeszcie, zm. 8 lutego 1957 w Waszyngtonie) – matematyk, inżynier chemik, fizyk i informatyk. Wniósł znaczący wkład do wielu dziedzin matematyki - w szczególności był głównym twórcą teorii gier, teorii automatów komórkowych (w które pewien początkowy wkład miał także Stanisław Ulam), i stworzył formalizm matematyczny mechaniki kwantowej. Uczestniczył w projekcie Manhattan. Przyczynił się do rozwoju numerycznych prognoz pogody. John von Neumann (1903-1957)

Teoria informacji Teoria informacji zajmuje się analizą procesów wytwarzania, przenoszenia, odbioru i przetwarzania informacji. Nie uwzględnia się zazwyczaj struktury obiektu ani postaci energii biorącej udział w procesach. Przesyłanie informacji wymaga ustalenia zrozumiałego zarówno przez nadajnik, jak i odbiornik zasobu znaków (symboli), co do których są one zgodne (kodowanie). Mogą to być słowa, litery obrazy, kształty lub też dźwięki. Przesyłanie informacji przebiega kanałem przesyłowym, którym może być powietrze, próżnia, przewód sieci informatycznej, instalacja pneumatyczna, hydrauliczna albo energetyczna oraz wiele innych mediów przenoszących informacje

Łącze informacyjne Zakłócenia Odbiornik (dekodowanie) Nadajnik Przeznaczenie informacji Kanał Źródło Sygnały Sygnały Informacja Informacja

Informatyka Informatyka to dyscyplina nauk technicznych zajmująca się zagadnieniami pobierania, przechowywania, przesyłania, przetwarzania i interpretacji informacji. W organizmach zwierząt i u człowieka znane są dwa szczególnie ważne kanały przesyłowe informacji: system nerwowy i krwioobieg.

Łącza informacyjne w organizmie Jako nadajnik mogą służyć na przykład mózg i receptory oraz gruczoły wydzielania wewnętrznego. Odbiornikami mogą być elementy wykonawcze, mózg lub receptory. Na przykład: receptory - mózg mózg – mięśnie Gruczoły wydzielania wewnętrznego - narządy

Miara informacji Z punktu widzenia techniki najbardziej odpornym na zakłócenia i prostym w przetwarzaniu jest system binarny (dwójkowy). Potwierdza to przyroda, stosując podobny system w układzie nerwowym, zasada wszystko albo nic. W systemie tym możliwe jest również prowadzenie rachunku logicznego – algebry Boole’a: prawda (tak) – 1, fałsz (nie) – 0.

Bit Informacja polegająca na wyborze jednego ze stanów: 1 lub 0 tak lub nie H lub L Ma ilość informacji równą 1 bitowi bit skrót od binary digit

Miara informacji Informacja w sensie potocznym rozumiana jest jako znajomość pewnego stanu otaczającego świata. Informację definiuje się jako zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów.

Negentropia Zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów zachodzi z pewnym prawdopodobieństwem. Biorąc pod uwagę to prawdopodobieństwo oraz liczbę elementów zbioru n możliwych zdarzeń, określa się miarę informacji I (zwaną negentropią): pi – prawdopodobieństwo wystąpienia i – tego elementu zbioru

Negentropia Jednostką negentropii jest 1 bit 1 bit to wybór spośród dwóch jednakowych zdarzeń czyli wybór jednego z dwóch równie prawdopodobnych zdarzeń jest jednostką informacji.

Negentropia Wartość negentropii wzrasta wraz ze zwiększeniem liczby stanów, które mogą wystąpić oraz ze zwiększeniem nieprzewidywalności stanu aktualnego. Negentropia wielu niezależnych zbiorów stanów jest równa sumie ich negentropii. Negentropia informacji niezmiennej (występuje 1 stan) wynosi 0.

Negentropia Negentropia dla p1 = p2 = 0,5 wynosi I = 1 bit Negentropia,p1 = 0,01 p2 = 0.99, I = 0.0807 bita Dla równolicznych zbiorów negentropia przyjmuje największą wartość gdy prawdopodobieństwa wystąpienia każdego z elementów są równe: I = log2(n)

Przepustowość informacji Przepustowość informacji to stosunek przekazywanych ilości informacji do czasu: bod – skrót nazwiska Boudot

Gęstość informacji (powierzchniowa) Gęstość informacji to stosunek ilości informacji do powierzchni:

Pojemność informacyjna łącza informacyjnego Pojemność informacyjna łącza informacyjnego to stosunek maksymalnej ilości przekazywanych informacji do czasu: 0<L≤C

Przepustowość informacji żywych organizmów Ilość informacji odbieranych, wysyłanych lub przetwarzanych przez żywe organizmy może być tylko szacunkowa. Ilość informacji, które człowiek może przyjąć wszystkimi zmysłami ocenia się na około 109 bodów. Ilość informacji, które człowiek może wysłać ocenia się na około 107 bodów.

Przepustowość informacji Świadomie przetworzyć można co najwyżej 100 bodów na miliard odbieranych, z czego 10 bodów można zapamiętać na krótko, a tylko 1 bod trwale.

Przepustowość informacyjna receptorów [bod] Wzrok – 1010 Słuch - 5·104 Ucisk – 105 Temperatura – 103 Węch – 102 Smak - 10

Lejek informacyjny Ograniczenia przepustowości informacji mają miejsce we wszystkich zmysłach. Ograniczenie przepustowości nazywane jest lejkiem informacyjnym. Słuch Wzrok Węch Smak Dotyk Świadomość Selekcja 107 [bod] 102 [bod] Otoczenie 109 [bod]

C110n+C210n-1+C310n-2+…… 1234=1·103+2·102+3·101+4·100 System dziesiętny C110n+C210n-1+C310n-2+…… 1234=1·103+2·102+3·101+4·100

System dwójkowy (binarny) bit – liczba binarna (binary digit) bajt – jednostka miary informacji równa 8 bitom (ang. byte) bajt to 28=256 informacji Zapis binarny: b·2n+b·2n-1+b·2n-2+………. b=0 lub b=1

Bajt Ośmiocyfrowa liczba binarna jest podstawą zapisu różnych wielkości w pamięci komputera. 00000000 0 00000001 1 00000010 2 11111111 256 kilo – 103 210 = 1024 Mega – 106 220 = 10487576 Giga – 1012 230 = 1073741824