Dr hab. Marcin Miłkowski Filozofia informacji

Informacje wstępne Teoria informacji i miary informacji W stronę informacji semantycznej Dretske MacKay Informacja a poznanie Czy świat składa się z informacji?

Informacja strukturalna Informacja strukturalna (logon): istnieje nośnik fizyczny, który ma co najmniej dwa stany (może zmieniać się na jeden sposób, czyli ma jeden stopień swobody) Minimalne pojęcie, często stosowane w informatyce (to bity i bajty są jej jednostkami). Wystarczy, że istnieją różnice fizyczne. Bardzo mało!!! Taka informacja jest wszędzie.

Bateson: różnica, która czyni różnicę Słynna definicja Gregory’ego Batesona, antropologa kulturowego: „bit informacji jest to różnica, która czyni różnicę” Często mylnie brana za definicję informacji. Wskazuje na strukturalny charakter informacji: wykrywalne różnice to właśnie informacja jako struktura.

Teoria informacji Shannona-Weavera (1948) Teoria komunikacji pojętej w inżynierski sposób: Jak przesłać sygnał w kanale, w którym jest dużo szumu? Nie chodzi wcale o to, jakie informacja ma znaczenie, ale o to, czy nie została zafałszowana! Problem Shannona: jak pozbyć się szumu, jeśli mamy określoną przepustowość kanału…

Informacja selektywna Informacja selektywna (Shannona): miara nieprzewidywalności informacji strukturalnej (przesyłanej w kanale między nadawcą a odbiorcą) Jej jednostką też są bity, ale nie te same, o których mówi się standardowo w informatyce (np. przy podawaniu pojemności dysku).

Przykład: kod Morse’a Symbole: kreski i kropki (krótsze i dłuższe dźwięki) Informację mierzymy jako stopień zaskoczenia odbiorcy pewnego rodzaju ciągiem kresek i kropek, generowanym przez nadawcę. Niektóre kombinacje kropek i kresek są niepoprawne, więc ich prawdopodobieństwo jest bardzo niskie → więcej informacji!

Model komunikacji Shannona MODEL PROCESU KOMUNIKACJI ODBIORCA NADAWCA (źródło) DEKODOWANIE KANAŁ KODOWANIE SZUM sprzężenie zwrotne NADAWANIE KOMUNIKAT ODBIÓR

Uwaga: jak stosować miarę Shannona Weźmy dowód matematyczny. On ma prawdopodobieństwo 1. Wydawałoby się zatem, że żaden dowód nie niesie żadnej informacji w sensie Shannona. Ale tylko wtedy, kiedy odbiorca (którym może być maszyna!) zna tekst tego dowodu i wie, że dany tekst jest dowodem. Ilość informacji zależy od stopnia zaskoczenia odbiorcy. Nie jest absolutna!!!

Metafora przewodu Ujęcie Shannona miało służyć do opisu komunikacji z punktu widzenia inżyniera, a nie teoretyka komunikacji czy lingwisty. Wielu teoretyków odrzuca koncepcję, że rozumienie np. zdań w języku polskim polega na dekodowaniu znaczeń zakodowanych drogą fonetyczną. Komunikacja może polegać raczej na koordynacji działania i współdziałaniu, a nie na dekodowaniu…

Entropia i chaos Informacja w sensie Shannona nazywa się też „entropią”. Termin zaproponował John von Neumann (1903-1957), genialny matematyk. Zrobił tak ze względu na podobieństwo chaosu informacyjnego i entropii w sensie termodynamicznym. I ze względu na to, że to trudny termin i zawsze wygra się dowolny spór, jeśli powołamy się na skomplikowany termin z fizyki!

Entropia i chaos Ilość informacji daje wzór: Gdzie pi to prawdopodobieństwa poszczególnych elementów całego n-elementowego zbioru możliwych komunikatów. Przy równym rozkładzie (pi = 1/n) wzór: H = log n H = 0, ilekroć którekolwiek p wynosi 1 (log 1 = 0).

Bity informacji Shannona a bity informacji strukturalnej Dysk przenośny ma 1 GB wielkości = 109 bajtów = 1 000 000 000 bajtów Uwaga: czasem producenci podają w potęgach dwójki, wtedy jest to 230 bajtów (lub 10243 bajtów) Jeśli alfabet jest binarny, to jeden bit ma entropię log2 2 = 1. Ale w sklepie jest pewne, że dysk jest czysty, więc entropia jest zerowa (p = 1). Jeśli nie jest to wcale pewne, to entropia wynosi 29.897352853986263 (dla 109).

Energia i entropia W termodynamice entropia jest najwyższa, gdy poziomy energii są całkowicie jednolicie rozłożone. Czyli znając entropię, wiemy, jak uporządkowany jest układ. Tak samo z informacją w sensie Shannona: najwięcej informacji ma ciąg zupełnie nieprzewidywalny, a więc kompletnie losowy. Do losowości wrócimy!

Informacja algorytmiczna Miarą informacji algorytmicznej ciągu symboli jest długość najmniejszego programu mogącego wygenerować C. Przybliżenie tej miary dają uniwersalne algorytmy kompresji, np. Lempel-Ziv lub ZIP. Maksymalnie przypadkowe ciągi mają program dłuższy od samego ciągu. Ciągi całkowicie uporządkowane mają krótkie programy.

Losowość a informacja algorytmiczna Problem , czy coś jest ciągiem losowym, czyli czy istnieje program generujący taki ciąg, a krótszy od ciągu jest… Nierozstrzygalny! (Chaitin bardzo to podkreśla)

Pojęcie informacji O informacji można zatem mówić, gdy występują prawidłowości w przyrodzie (rozumiane statystycznie), objawiające się pojawianiem się określonych sygnałów. Te prawidłowości można odkrywać statystycznie przez badanie kowariacji lub mocniejszych współzależności.

Złożoność Teoria złożoności może wykorzystywać różne miary informacji. Najczęściej interesujące złożone układy to takie, które nie są: ani skrajnie proste, ani skrajnie chaotyczne, tylko jakoś między tymi skrajnościami.

Prawdziwość Ale pojęcia prawdziwości nie da się sprowadzić do pojęcia kowariacji, informacji Fishera czy nielosowości (istnienia programu generującego ciąg). Aby mówić o prawdziwości (zdań) lub weredyczności (np. postrzeżeń), trzeba coś jeszcze dodać…

W poszukiwaniu informacji semantycznej Informacja semantyczna ma mieć własność prawdziwości ale niekoniecznie fałszywości: w ujęciu Dretskego i Luciana Floridiego informacja nie może być fałszywa Wiele konkurencyjnych koncepcji…

Informacja probabilistyczna Informacja probabilistyczna (Dretskego): Sygnał r niesie informację, że F(s) ztw P(F(s)|r ^ k) = 1 gdzie k to zmienna uwzględniająca uprzednią wiedzę odbiorcy Tu mamy informację opartą na prawach przyrody, które są pewne w 100%. Prawa przyrody i podobne prawidłowości są informacyjne.

Probabilistyczna informacja semantyczna Informacja semantyczna w sensie Dretskego jest zawsze prawdziwa. Nie istnieje informacja fałszywa. Można tylko mówić o dezinformacji, która wydaje się informacją. Dretskego krytykowano za wymóg, żeby prawdopodobieństwo było jednością, ale to prawdopodobieństwo ocenia się ze względu na idealizowany zbiór możliwości.

Istotne możliwości Czy zegar informuje, że jest 11:00? Ponieważ jest nakręcony, nie jest zepsuty i funkcjonuje poprawnie, to nie ma innych istotnych możliwości w tym kanale informacyjnym. Ten zegar nie ma np. korelacji z kolorem kredy, którą trzymam. Ale zbiór możliwości do uwzględnienia nie daje się algorytmicznie wyznaczyć…

Donald MacKay Donald M. MacKay (1922-1987), teoretyk informacji i neurolog, związany z brytyjskim klubem Ratio (Ashby, Barlow, Turing, McCulloch…).

Koncepcja informacji semantycznej MacKaya Informacja jest semantyczna, kiedy ma selekcyjną funkcję względem zespołu stanów organizmu, które stanowią macierz prawdopodobieństw warunkowych działania. Potocznie: znaczyć to modyfikować gotowość do działania, a nie wywoływać reakcję. Informacja semantyczna nie redukuje się do sądów w sensie logicznym.

Koncepcja MacKaya Tę koncepcję przejmuje w 1969 Daniel Dennett (treść reprezentacji ma funkcję modyfikacji gotowości do działania). Alva Noe (później z Kevinem O’Reganem) opracowuje koncepcję percepcji jako działania sensomotorycznego, przy czym działanie jest rozumiane w takich samych gotowościowych kategoriach.

Poznanie a informacje Czy poznanie wymaga informacji? W którym sensie? W sensie statystycznym zawsze można mierzyć informację, gdzie jest jakakolwiek struktura. Poznanie nie jest kompletnie losowe. Więc będą informacje w sensie statystycznym, a także w sensie Dretskego. Czy w sensie semantycznym?

It from bit: paninformacjonizm Niektórzy fizycy twierdzą, że z matematycznych zasad informacji można wywieść całą fizykę: ”it from bit” (John A. Wheeler) Ze względu na zbieżność definicji Shannona z termodynamiką procesy energetyczne łatwo ujmuje się w tych ramach. Stąd zainteresowanie, czy informacja może ginąć w czarnych dziurach… Informacja czasem jest traktowana jako elementarny składnik rzeczywistości.

Podsumowanie Filozofia informacji zajmuje się problemem, czym jest informacja – niezależnie od istnienia miar informacji. A także etycznymi problemami informacji (L. Floridi jest niezależnym członkiem rady etycznej przy Google’u) Semantyczna koncepcja informacji to jedno z zastosowań teorii informacji w filozofii…

Dalsze lektury F. Dretske, Knowledge and the Flow of Information, 1982. The Π Research Network, The Philosophy of Information: Introduction, http://socphilinfo.org/teaching/boo k-pi-intro