Dr hab. Marcin Miłkowski

Prezentacja na temat: "Dr hab. Marcin Miłkowski"— Zapis prezentacji:

1 Dr hab. Marcin Miłkowski
Filozofia informacji

2 Informacje wstępne Teoria informacji i miary informacji
W stronę informacji semantycznej Dretske MacKay Informacja a poznanie Czy świat składa się z informacji?

3 Informacja strukturalna
Informacja strukturalna (logon): istnieje nośnik fizyczny, który ma co najmniej dwa stany (może zmieniać się na dwa sposoby, czyli ma dwa stopnie swobody) Minimalne pojęcie, często stosowane w informatyce (to bity i bajty są jej jednostkami). Wystarczy, że istnieją różnice fizyczne. Bardzo mało!!! Taka informacja jest wszędzie.

4 Teoria informacji Shannona-Weavera (1948)
Teoria komunikacji pojętej w inżynierski sposób: Jak przesłać sygnał w kanale, w którym jest dużo szumu? Nie chodzi wcale o to, jakie informacja ma znaczenie, ale o to, czy nie została zafałszowana! Problem Shannona: jak pozbyć się szumu, jeśli mamy określoną przepustowość kanału…

5 Informacja selektywna
Informacja selektywna (Shannona): miara nieprzewidywalności informacji strukturalnej (przesyłanej w kanale między nadawcą a odbiorcą) Jej jednostką też są bity, ale nie te same, o których mówi się standardowo w informatyce (np. przy podawaniu pojemności dysku).

6 Przykład: kod Morse’a Symbole:
kreski i kropki (krótsze i dłuższe dźwięki) Informację mierzymy jako stopień zaskoczenia odbiorcy pewnego rodzaju ciągiem kresek i kropek, generowanym przez nadawcę. Niektóre kombinacje kropek i kresek są niepoprawne, więc ich prawdopodobieństwo jest bardzo niskie → więcej informacji!

7 Model komunikacji Shannona
MODEL PROCESU KOMUNIKACJI ODBIORCA NADAWCA (źródło) DEKODOWANIE KANAŁ KODOWANIE SZUM sprzężenie zwrotne NADAWANIE KOMUNIKAT ODBIÓR

8 Uwaga: jak stosować miarę Shannona
Weźmy dowód matematyczny. On ma prawdopodobieństwo 1. Wydawałoby się zatem, że żaden dowód nie niesie żadnej informacji w sensie Shannona. Ale tylko wtedy, kiedy odbiorca (którym może być maszyna!) zna tekst tego dowodu i wie, że dany tekst jest dowodem. Ilość informacji zależy od stopnia zaskoczenia odbiorcy. Nie jest absolutna!!!

9 Metafora przewodu Ujęcie Shannona miało służyć do opisu komunikacji z punktu widzenia inżyniera, a nie teoretyka komunikacji czy lingwisty. Wielu teoretyków odrzuca koncepcję, że rozumienie np. zdań w języku polskim polega na dekodowaniu znaczeń zakodowanych drogą fonetyczną. Komunikacja może polegać raczej na koordynacji działania i współdziałaniu, a nie na dekodowaniu…

10 Entropia i chaos Informacja w sensie Shannona nazywa się też „entropią”. Termin zaproponował John von Neumann ( ), genialny matematyk. Zrobił tak ze względu na podobieństwo chaosu informacyjnego i entropii w sensie termodynamicznym. I ze względu na to, że to trudny termin i zawsze wygra się dowolny spór, jeśli powołamy się na skomplikowany termin z fizyki!

11 Entropia i chaos Ilość informacji daje wzór:
Gdzie pi to prawdopodobieństwa poszczególnych elementów całego n-elementowego zbioru możliwych komunikatów. Przy równym rozkładzie (pi = 1/n) wzór: H = log n H = 0, ilekroć którekolwiek p wynosi 1.

12 Energia i entropia W termodynamice entropia jest najwyższa, gdy poziomy energii są całkowicie jednolicie rozłożone. Czyli znając entropię, wiemy, jak uporządkowany jest układ. Tak samo z informacją w sensie Shannona: najwięcej informacji ma ciąg zupełnie nieprzewidywalny, a więc kompletnie losowy. Do losowości wrócimy!

13 Informacja metryczna Informacja metryczna (Fishera):
miara głębi świadectw (miara jakości procedury estymacji lub pomiaru): mierzy informację zawartą w zmiennej losowej X na temat nieznanego parametru, od którego zależy X . Stosuje się do określania siły hipotez (stopnia, w jakim potwierdzają ją pomiary). Znane w statystyce wcześniej niż miary Shannona. The conditional probability of s’s being F, given r (and k), is 1 (but, given k alone, less than 1)

14 Informacja algorytmiczna
Miarą informacji algorytmicznej ciągu symboli jest długość najmniejszego programu mogącego wygenerować C. Przybliżenie tej miary dają uniwersalne algorytmy kompresji, np. Lempel-Ziv lub ZIP. Maksymalnie przypadkowe ciągi mają program dłuższy od samego ciągu. Ciągi całkowicie uporządkowane mają krótkie programy.

15 Losowość a informacja algorytmiczna
Problem , czy coś jest ciągiem losowym, czyli czy istnieje program generujący taki ciąg, a krótszy od ciągu jest… Nierozstrzygalny! (Chaitin bardzo to podkreśla) Ale tylko dla ciągów nieskończonych. Skończone nie są nigdy w pełni losowe (są rekurencyjne)

16 Pojęcie informacji O informacji można zatem mówić, gdy występują prawidłowości w przyrodzie (rozumiane statystycznie), objawiające się pojawianiem się określonych sygnałów. Te prawidłowości można odkrywać statystycznie przez badanie kowariacji lub mocniejszych współzależności.

17 Złożoność Teoria złożoności może wykorzystywać różne miary informacji.
Najczęściej interesujące złożone układy to takie, które nie są: ani skrajnie proste, ani skrajnie chaotyczne, tylko jakoś między tymi skrajnościami.

18 Prawdziwość Ale pojęcia prawdziwości nie da się sprowadzić do pojęcia kowariacji, informacji Fishera czy nielosowości (istnienia programu generującego ciąg). Aby mówić o prawdziwości (zdań) lub weredyczności (np. postrzeżeń), trzeba coś jeszcze dodać…

19 W poszukiwaniu informacji semantycznej
Informacja semantyczna ma mieć własność prawdziwości ale niekoniecznie fałszywości: w ujęciu Dretskego i Luciana Floridiego informacja nie może być fałszywa Wiele konkurencyjnych koncepcji…

20 Informacja probabilistyczna
Informacja probabilistyczna (Dretskego): Sygnał r niesie informację, że F(s) ztw P(F(s)|r ^ k) = 1 gdzie k to zmienna uwzględniająca uprzednią wiedzę odbiorcy Tu mamy informację opartą na prawach przyrody, które są pewne w 100%. Prawa przyrody i podobne prawidłowości są informacyjne.

21 Probabilistyczna informacja semantyczna
Informacja semantyczna w sensie Dretskego jest zawsze prawdziwa. Nie istnieje informacja fałszywa. Można tylko mówić o dezinformacji, która wydaje się informacją. Dretskego krytykowano za wymóg, żeby prawdopodobieństwo było jednością, ale to prawdopodobieństwo ocenia się ze względu na idealizowany zbiór możliwości.

22 Istotne możliwości Czy zegar informuje, że jest 11:00?
Ponieważ jest nakręcony, nie jest zepsuty i funkcjonuje poprawnie, to nie ma innych istotnych możliwości w tym kanale informacyjnym. Ten zegar nie ma np. korelacji z kolorem kredy, którą trzymam. Ale zbiór możliwości do uwzględnienia nie daje się algorytmicznie wyznaczyć…

23 Donald MacKay Donald M. MacKay ( ), teoretyk informacji i neurolog, związany z brytyjskim klubem Ratio (Ashby, Barlow, Turing, McCulloch…).

24 Koncepcja informacji semantycznej MacKaya
Informacja jest semantyczna, kiedy ma selekcyjną funkcję względem zespołu stanów organizmu, które stanowią macierz prawdopobieństw warunkowych działania. Potocznie: znaczyć to modyfikować gotowość do działania, a nie wywoływać reakcję. Informacja semantyczna nie redukuje się do sądów w sensie logicznym.

25 Koncepcja MacKaya Tę koncepcję przejmuje w 1969 Daniel Dennett (treść reprezentacji ma funkcję modyfikacji gotowości do działania). Alva Noe (później z Kevinem O’Reganem) opracowuje koncepcję percepcji jako działania sensomotorycznego, przy czym działanie jest rozumiane w takich samych gotowościowych kategoriach.

26 Poznanie a informacje Czy poznanie wymaga informacji? W którym sensie?
W sensie statystycznym zawsze można mierzyć informację, gdzie jest jakakolwiek struktura. Poznanie nie jest kompletnie losowe. Więc będą informacje w sensie statystycznym, a także w sensie Dretskego. Czy w sensie semantycznym?

27 It from bit: paninformacjonizm
Niektórzy fizycy twierdzą, że z matematycznych zasad informacji można wywieść całą fizykę: ”it from bit” (John A. Wheeler) Ze względu na zbieżność definicji Shannona z termodynamiką procesy energetyczne łatwo ujmuje się w tych ramach. Stąd zainteresowanie, czy informacja może ginąć w czarnych dziurach… Informacja czasem jest traktowana jako elementarny składnik rzeczywistości.

28 Podsumowanie Filozofia informacji zajmuje się problemem, czym jest informacja – niezależnie od istnienia miar informacji. A także etycznymi problemami informacji (L. Floridi jest niezależnym członkiem rady etycznej przy Google’u) Semantyczna koncepcja informacji to jedno z zastosowań teorii informacji w filozofii…

29 Dalsze lektury F. Dretske, Knowledge and the Flow of Information, The Π Research Network, The Philosophy of Information: Introduction, k-pi-intro