Wstęp do kognitywistyki Rola eksplanacyjna reprezentacji. Koneksjonizm Marcin Miłkowski

Cztery koncepcje reprezentacji koneksjonistycznych Węzły sieci jako pojęcia Reprezentacje rozproszone Sieci jako modele rzeczywistości Dynamiczna interpretacja sieci (I to nie wszystko...)

Węzły sieci jako pojęcia (McClelland 1981) Dwa gangi: Jets i Sharks, opisane za pomocą sieci neuropodobnej Sieć poprawnie rozpoznaje cechy członków gangu Krytyka: zupełnie niewiarygodne neurologicznie MCCLELLAND, James L. Retrieving general and specific information from stored knowledge of specifics. W: Proceedings of the Third Annual Meeting of the Cognitive Science Society. Berkeley, CA: Cognitive Science Society, 1981. s. 170–172.

Węzły sieci jako pojęcia Niewiarygodność neurologiczna: To nawet nie jest teoria komórek babcinych, bo interpretację znaczenia węzłów – np. określonego wieku bandyty – po prostu przypisuje sieci obserwator. Sieć sama nie jest w stanie odnieść swoich stanów (nawet jak będzie w robocie) np. do 20-letniego bandyty z bandy Sharks.

Reprezentacje rozproszone (sieci subsymboliczne) Sieci rozpoznające pojęcia „subsymbolicznie” – węzły nie odpowiadają całym pojęciom ani ich cechom Sieci jako detektory wzorców

Teoria pojęć jako prototypów Trzy podstawowe teorie pojęć w psychologii poznawczej pojęcia jako teorie, czyli warunki konieczne i wystarczające; pojęcia jako prototypy; pojęcia jako egzemplarze.

Teoria pojęć jako prototypów E. Rosch (1975): Co jest dobrym przykładem kategorii „mebel”? krzesło, sofa, stół... zdecydowanie rzadziej: poduszka, telefon, lodówka... ROSCH, Eleanor & MERVIS, Carolyn B. Family resemblances: Studies in the internal structure of categories. Cognitive Psychology. październik 1975, T. 7, nr 4, s. 573–605. DOI 10.1016/0010-0285(75)90024-9.

Podobieństwo rodzinne wg Wittgensteina W Dociekaniach filozoficznych twierdzi, że nie można podać koniecznych i wystarczających warunków podobieństwa rodzinnego.

Teoria pojęć jako prototypów Sieci z rozproszonymi reprezentacjami mogą wykrywać wzorce w mniejszym lub większym stopniu – co odpowiada stopniowalnej kategoryzacji zgodnie z teorią prototypów. Łagodna degradacja: elastyczność kategoryzacji.

Teoria pojęć jako egzemplarzy Pamiętamy swoisty egzemplarz (przykład kategorii), traktując go jako swoisty. To też daje efekty stopniowalności. I też łatwo stworzyć odpowiednią sieć koneksjonistyczną.

Sieci jako modele rzeczywistości G. O’Brien i J. Opie (2009): sieci jako całości są analogicznymi modelami. Między siecią a dziedziną poznawczą zachodzi podobieństwo strukturalne (drugiego rzędu: zachowane są relacje między obiektami). Na tym polega ich skuteczność jako narzędzi obliczeniowych. Muszą odzwierciedlać strukturę zadania. O’BRIEN, Gerard & OPIE, Jon. The role of representation in computation. Cognitive processing. 2009, T. 10, nr 1, s. 53–62. DOI 10.1007/s10339-008-0227-x.

Sieci jako modele procesów J. Elman (1990): sieć klasyfikująca angielskie wyrazy w zdaniu – przewidująca kategorię następnego wyrazu w świetle kategorii wyrazów poprzednich Wykonalne, bo j. angielski ma stosunkowo sztywny szyk ELMAN, J. Finding structure in time. Cognitive Science. 1990, T. 14, nr 2, s. 179–211. DOI 10.1016/0364-0213(90)90002-E.

Sieć Elmana (1990) Ukryte jednostki zawierają wewnętrzne reprezentacje wejść Dzięki nim sieć ma właściwe wyjścia

Analiza wyuczonej sieci Widać grupowanie węzłów o podobnych funkcjach Metoda analizy klastrowej (grupowania) służy do ujawniania struktury sieci

I pogrzeb... Argument Fodora i Pylyshyna (1988): Produktywność to cechy pojęć, które muszą być uwzględnione w modelach poznania. Nie obecnie istnieje inne wyjaśnienie produktywności niż przez odwołanie do kompozycyjności i systematyczności. Tylko modele symboliczne są kompozycyjne. FODOR, Jerry A. & PYLYSHYN, Zenon W. Connectionism and cognitive architecture: a critical analysis. Cognition. 1988, T. 28, nr 1–2, s. 3–71.

Produktywność Wypowiedzi językowe, których jest potencjalnie nieskończenie wiele, składają się ze skończonej listy prostszych jednostek. Te jednostki składowe łączymy w wypowiedzi. Znając zasady łączenia (kompozycjonalności) i jednostki składowe, możemy zrozumieć i wypowiedzieć potencjalnie nieskończoną liczbę zdań.

I pogrzeb... (c.d.) Argument uogólniony: Koneksjonizm albo nie zapewnia kompozycyjności pojęć i jest nieadekwatny, albo zapewnia kompozycyjność, ale tylko dlatego, że jest tylko implementacją (realizacją) modelu symbolicznego. Bardzo trudny dylemat!

Skąd problemy z kompozycyjnością? Relacje w sieci są zwykle skojarzeniowe (asocjacyjne). Skojarzenia mogą być tylko słabsze lub mocniejsze (mają przypisane wagi). Skojarzenie jest relacją symetryczną. Za pomocą relacji symetrycznej nie da się opisać kolejności wyrazów w zdaniu, a kolejność jest kluczowa dla kompozycyjności. Skojarzenie o mocy 0,5 między x a y jest równie mocne między x i y, jak i między y i x. Jeśli 1 jest skojarzone z 2, to 2 jest skojarzone z 1. Relacji > nie można opisać relacją skojarzenia. Porządek może opisywać tylko relacja antysymetryczna.

Skąd problemy z kompozycyjnością? Krowy są piękne na Mazowszu. Nie wszystkie warianty są poprawne: Są Mazowszu piękne na krowy. Mazowszu krowy na są piękne. Mazowszu piękne są na krowy. Mazowszu na krowy są piękne. Mazowszu są na krowy piękne. Mazowszu są na piękne krowy. …

Próby odpowiedzi Argument z przybliżenia: Sieci neuropodobne muszą zapewnić przybliżoną kompozycyjność, przez co nie są ściśle sprowadzalne do modeli symbolicznych. Np. nowoczesne atraktorowe sieci impulsowe budowane przez Chrisa Eliasmitha zawierają tzw. wskaźniki semantyczne, które są skompresowanymi informacjami o innych stanach sieci. ELIASMITH, Chris. How to build the brain: a neural architecture for biological cognition. New York: Oxford University Press, 2013. ISBN 978-0-19-979454-6.

Próby odpowiedzi Reprezentacje wysokiego rzędu efektywnie kodują reprezentacje niskopoziomowe w modelu SPAUN (2,5 miliona sztucznych neuronów) Rola szumu w mózgu biologicznym!

I osinowy kołek Bill Ramsey (2007): większość tzw. reprezentacji w koneksjonizmie to tylko korelaty czynności percepcyjnych lub motorycznych. Nie trzeba ich nazywać reprezentacjami, bo nie mają żadnej treści, o ile nie są modelami strukturalnymi (reprezentacjami analogicznymi). RAMSEY, William M. Representation Reconsidered. Cambridge: Cambridge University Press, 2007. ISBN 978-0-511-59795-4.

Zarzut Ramseya Fotokomórka w kranie reaguje na obecność dłoni, ale ich nie reprezentuje. Podobnie jest ze stanami sieci neuropodobnych, o ile nie mają struktury podobnej do zadania. Większość nie ma. Eliminacjonizm (antyreprezentacjonizm)

Podsumowanie W badaniach nad pojęciami nad modelami symbolicznymi dominują modele koneksjonistyczne (różne wersje prototypów i egzemplarze) Ale istnieją współcześnie modele odnoszące się też do motoryki i percepcji, np. ucieleśnione symulacje Barsalou czy G. Pezzulo.

Podsumowanie Dylemat Fodora i Pylyshyna okazał się bardzo istotny. Koneksjoniści muszą pokazać, dlaczego ich sieci cechujące się kompozycyjnością nie są tylko realizacjami modeli symbolicznych.

Podsumowanie Sieci koneksjonistyczne co do zasady mogą reprezentować na różne sposoby. Prawdopodobnie reprezentacje rozproszone są bardziej wiarygodne neuronalnie. Sama korelacja z bodźcem czy reakcją nie wystarczy, aby nazwać coś „reprezentacją”. A co właściwie wystarczy?

O czym Była mowa Jak reprezentują sieci neuropodobne? Cztery wesela… I pogrzeb: argument Fodora i Pylyshyna I osinowy kołek: argument Ramseya Modele koneksjonistyczne: to żyje!