Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Dr hab. Marcin Miłkowski. Informacje wstępne  Teoria informacji i miary informacji  W stronę informacji semantycznej  Dretske  MacKay  Informacja.

Podobne prezentacje


Prezentacja na temat: "Dr hab. Marcin Miłkowski. Informacje wstępne  Teoria informacji i miary informacji  W stronę informacji semantycznej  Dretske  MacKay  Informacja."— Zapis prezentacji:

1 Dr hab. Marcin Miłkowski

2 Informacje wstępne  Teoria informacji i miary informacji  W stronę informacji semantycznej  Dretske  MacKay  Informacja a poznanie  Czy świat składa się z informacji?

3 Informacja strukturalna  Informacja strukturalna (logon):  istnieje nośnik fizyczny, który ma co najmniej dwa stany (może zmieniać się na dwa sposoby, czyli ma dwa stopnie swobody)  Minimalne pojęcie, często stosowane w informatyce (to bity i bajty są jej jednostkami).  Wystarczy, że istnieją różnice fizyczne. Bardzo mało!!!  Taka informacja jest wszędzie.

4 Teoria informacji Shannona- Weavera (1948)  Teoria komunikacji pojętej w inżynierski sposób:  Jak przesłać sygnał w kanale, w którym jest dużo szumu?  Nie chodzi wcale o to, jakie informacja ma znaczenie, ale o to, czy nie została zafałszowana!  Problem Shannona: jak pozbyć się szumu, jeśli mamy określoną przepustowość kanału…

5 Informacja selektywna  Informacja selektywna (Shannona):  miara nieprzewidywalności informacji strukturalnej (przesyłanej w kanale między nadawcą a odbiorcą)  Jej jednostką też są bity, ale nie te same, o których mówi się standardowo w informatyce (np. przy podawaniu pojemności dysku).

6 Przykład: kod Morse’a  Symbole:  kreski i kropki (krótsze i dłuższe dźwięki)  Informację mierzymy jako stopień zaskoczenia odbiorcy pewnego rodzaju ciągiem kresek i kropek, generowanym przez nadawcę.  Niektóre kombinacje kropek i kresek są niepoprawne, więc ich prawdopodobieństwo jest bardzo niskie → więcej informacji!

7 ODBIORCA NADAWCA (źródło) DEKODOWANIE KANAŁ KODOWANIE SZUM sprzężenie zwrotne NADAWANIEKOMUNIKAT ODBIÓR NADAWANIE ODBIÓR MODEL PROCESU KOMUNIKACJI Model komunikacji Shannona

8 Uwaga: jak stosować miarę Shannona  Weźmy dowód matematyczny. On ma prawdopodobieństwo 1.  Wydawałoby się zatem, że żaden dowód nie niesie żadnej informacji w sensie Shannona.  Ale tylko wtedy, kiedy odbiorca (którym może być maszyna!) zna tekst tego dowodu i wie, że dany tekst jest dowodem.  Ilość informacji zależy od stopnia zaskoczenia odbiorcy. Nie jest absolutna!!!

9 Metafora przewodu  Ujęcie Shannona miało służyć do opisu komunikacji z punktu widzenia inżyniera, a nie teoretyka komunikacji czy lingwisty.  Wielu teoretyków odrzuca koncepcję, że rozumienie np. zdań w języku polskim polega na dekodowaniu znaczeń zakodowanych drogą fonetyczną.  Komunikacja może polegać raczej na koordynacji działania i współdziałaniu, a nie na dekodowaniu…

10 Entropia i chaos  Informacja w sensie Shannona nazywa się też „entropią”.  Termin zaproponował John von Neumann ( ), genialny matematyk.  Zrobił tak ze względu na podobieństwo chaosu informacyjnego i entropii w sensie termodynamicznym.  I ze względu na to, że to trudny termin i zawsze wygra się dowolny spór, jeśli powołamy się na skomplikowany termin z fizyki!

11 Entropia i chaos  Ilość informacji daje wzór:  Gdzie p i to prawdopodobieństwa poszczególnych elementów całego n-elementowego zbioru możliwych komunikatów.  Przy równym rozkładzie (p i = 1/n) wzór: H = log n  H = 0, ilekroć którekolwiek p wynosi 1.

12 Energia i entropia  W termodynamice entropia jest najwyższa, gdy poziomy energii są całkowicie jednolicie rozłożone. Czyli znając entropię, wiemy, jak uporządkowany jest układ.  Tak samo z informacją w sensie Shannona: najwięcej informacji ma ciąg zupełnie nieprzewidywalny, a więc kompletnie losowy.  Do losowości wrócimy!

13 Informacja metryczna  Informacja metryczna (Fishera):  miara głębi świadectw (miara jakości procedury estymacji lub pomiaru):  mierzy informację zawartą w zmiennej losowej X na temat nieznanego parametru, od którego zależy X.  Stosuje się do określania siły hipotez (stopnia, w jakim potwierdzają ją pomiary).  Znane w statystyce wcześniej niż miary Shannona.

14 Informacja algorytmiczna  Miarą informacji algorytmicznej ciągu symboli jest długość najmniejszego programu mogącego wygenerować C.  Przybliżenie tej miary dają uniwersalne algorytmy kompresji, np. Lempel-Ziv lub ZIP.  Maksymalnie przypadkowe ciągi mają program dłuższy od samego ciągu. Ciągi całkowicie uporządkowane mają krótkie programy.

15 Losowość a informacja algorytmiczna  Problem, czy coś jest ciągiem losowym, czyli czy istnieje program generujący taki ciąg, a krótszy od ciągu jest…  Nierozstrzygalny! (Chaitin bardzo to podkreśla)  Ale tylko dla ciągów nieskończonych. Skończone nie są nigdy w pełni losowe (są rekurencyjne)

16 Pojęcie informacji  O informacji można zatem mówić, gdy występują prawidłowości w przyrodzie (rozumiane statystycznie), objawiające się pojawianiem się określonych sygnałów.  Te prawidłowości można odkrywać statystycznie przez badanie kowariacji lub mocniejszych współzależności.

17 Złożoność  Teoria złożoności może wykorzystywać różne miary informacji.  Najczęściej interesujące złożone układy to takie, które nie są:  ani skrajnie proste,  ani skrajnie chaotyczne,  tylko jakoś między tymi skrajnościami.

18 Prawdziwość  Ale pojęcia prawdziwości nie da się sprowadzić do pojęcia kowariacji, informacji Fishera czy nielosowości (istnienia programu generującego ciąg).  Aby mówić o prawdziwości (zdań) lub weredyczności (np. postrzeżeń), trzeba coś jeszcze dodać…

19 W poszukiwaniu informacji semantycznej  Informacja semantyczna ma mieć własność prawdziwości  ale niekoniecznie fałszywości: w ujęciu Dretskego i Luciana Floridiego informacja nie może być fałszywa  Wiele konkurencyjnych koncepcji…

20 Informacja probabilistyczna  Informacja probabilistyczna (Dretskego):  Sygnał r niesie informację, że F(s) ztw P(F(s)|r ^ k) = 1  gdzie k to zmienna uwzględniająca uprzednią wiedzę odbiorcy  Tu mamy informację opartą na prawach przyrody, które są pewne w 100%.  Prawa przyrody i podobne prawidłowości są informacyjne.

21 Probabilistyczna informacja semantyczna  Informacja semantyczna w sensie Dretskego jest zawsze prawdziwa. Nie istnieje informacja fałszywa.  Można tylko mówić o dezinformacji, która wydaje się informacją.  Dretskego krytykowano za wymóg, żeby prawdopodobieństwo było jednością, ale to prawdopodobieństwo ocenia się ze względu na idealizowany zbiór możliwości.

22 Istotne możliwości  Czy zegar informuje, że jest 11:00?  Ponieważ jest nakręcony, nie jest zepsuty i funkcjonuje poprawnie, to nie ma innych istotnych możliwości w tym kanale informacyjnym.  Ten zegar nie ma np. korelacji z kolorem kredy, którą trzymam.  Ale zbiór możliwości do uwzględnienia nie daje się algorytmicznie wyznaczyć…

23 Donald MacKay  Donald M. MacKay ( ), teoretyk informacji i neurolog, związany z brytyjskim klubem Ratio (Ashby, Barlow, Turing, McCulloch…).

24 Koncepcja informacji semantycznej MacKaya  Informacja jest semantyczna, kiedy ma selekcyjną funkcję względem zespołu stanów organizmu, które stanowią macierz prawdopobieństw warunkowych działania.  Potocznie: znaczyć to modyfikować gotowość do działania, a nie wywoływać reakcję.  Informacja semantyczna nie redukuje się do sądów w sensie logicznym.

25 Koncepcja MacKaya  Tę koncepcję przejmuje w 1969 Daniel Dennett (treść reprezentacji ma funkcję modyfikacji gotowości do działania).  Alva Noe (później z Kevinem O’Reganem) opracowuje koncepcję percepcji jako działania sensomotorycznego, przy czym działanie jest rozumiane w takich samych gotowościowych kategoriach.

26 Poznanie a informacje  Czy poznanie wymaga informacji?  W którym sensie?  W sensie statystycznym zawsze można mierzyć informację, gdzie jest jakakolwiek struktura.  Poznanie nie jest kompletnie losowe. Więc będą informacje w sensie statystycznym, a także w sensie Dretskego.  Czy w sensie semantycznym?

27 It from bit: paninformacjonizm  Niektórzy fizycy twierdzą, że z matematycznych zasad informacji można wywieść całą fizykę: ”it from bit” (John A. Wheeler)  Ze względu na zbieżność definicji Shannona z termodynamiką procesy energetyczne łatwo ujmuje się w tych ramach.  Stąd zainteresowanie, czy informacja może ginąć w czarnych dziurach…  Informacja czasem jest traktowana jako elementarny składnik rzeczywistości.

28 Podsumowanie  Filozofia informacji zajmuje się problemem, czym jest informacja – niezależnie od istnienia miar informacji.  A także etycznymi problemami informacji (L. Floridi jest niezależnym członkiem rady etycznej przy Google’u)  Semantyczna koncepcja informacji to jedno z zastosowań teorii informacji w filozofii…

29 Dalsze lektury  F. Dretske, Knowledge and the Flow of Information,  The Π Research Network, The Philosophy of Information: Introduction, k-pi-intro k-pi-intro


Pobierz ppt "Dr hab. Marcin Miłkowski. Informacje wstępne  Teoria informacji i miary informacji  W stronę informacji semantycznej  Dretske  MacKay  Informacja."

Podobne prezentacje


Reklamy Google