Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja.

Podobne prezentacje


Prezentacja na temat: "Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja."— Zapis prezentacji:

1 Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja Kognitywistyczna: Język odnaleziony. Kraków

2 Plan 1.Lingwistyka i informatyka neurokognitywna. 2.Słowa w mózgu i ich komputerowe modele. 3.Wgląd i rola prawej półkuli. 4.Skojarzenia i kreatywność. 5.Neurokognitywny model wyższych czynności psychicznych. 6.Przykłady zastosowań: tworzenie nowych słów, zagadki i gry słowne. 7.Kreatywność słowotwórcza. 8.Zastosowania medyczne. 9.Przyszłość.

3 Wielkie wyzwanie AI: język Test Turinga – pierwotny test zbyt trudny. Warianty: pytania: tak/nie; osobisty test Turinga (Carpenter & Freeman), program udaje osobę, którą dobrze znamy. Nagroda Loebnera: w stylu testu Turinga, od prawie 20 lat zawody botów i ludzi rozmawiających z sędziami, większość oparta na szablonach i dopasowaniu wzorców = oszustwo daje dość dużo. Systemy Q/A, oceniane na Text Retrieval Conference (TREC). Gry słowne, np. gra w 20 pytań, wymagająca znajomości pojęć i ich własności, ale nie złożonych relacji pomiędzy nimi. Postępy w uczeniu się naturalnego języka zależą od automatycznego tworzenia, rozwijania i używania obszernych baz wiedzy. Inteligentne systemy wspomagające nauczanie, kombinacja rozumowania i kompetencji językowych, trudne do oceny?

4 Projekty NLP Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW, ponad autorów, którzy wpisali ponad faktów; wyniki posłużyły do utworzenia ConceptNet, bardzo dużej sieci semantycznej. Commonsense MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania. Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej...

5 Lingwistyka Neurokognitywna Jerome A. Feldman, From Molecule to Metaphor: A Neural Theory of Language. MIT Press 2006 Thought is structured neural activity. Language is inextricable from thought and experience. Większość lingwistów specjalizuje się w fonetyce, fonologii, morfologii, syntaktyce, leksykografii, ontologiach, semantyce, pragmatyce... ale język jest wielo-modalny, zintegrowany z percepcją i myśleniem. Tylko neuronowe teorie języka (NTL) mogą prawidłowo opisać wszystkie jego aspekty, łącznie z dynamiką. Nawet proste mózg-podobne przetwarzanie informacji daje psychologicznie interesujące rezultaty => złożoność mózgu nie jest głównym problemem! Trzeba robić modele odpowiednich struktur. Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, kontroli zachowania, świadomości, języka => praktyczne algorytmy, lepsze zrozumienie procesów.

6 Język i ucieleśnienie Ucieleśnienie jest modne ale nie takie nowe, eg: R. Brooks, Elephants Dont Play Chess (1990), R. Brooks, L.A. Stein, Building Brains for Bodies (1993), Cog project manifesto ( ). Varela, Thompson, Rosch, The embodied mind 1991 W lingwistyce: Lakoff & Johnson, Philosophy In The Flesh (1999). Lakoff & Nunez, Where Mathematics Comes From? How the Embodied Mind Brings Mathematics into Being (2000). Postępy lingwistyki komputerowej są powolne, wielu ekspertów utraciło wiarę w metody formalne, pojawiły się metody statystyczne korzystające z ogromnych korpusów, oraz idee ucieleśnienia i enaktywizmu. Kilka większych projektów realizowanych jest w ramach FP6. Protojęzyki w komunikacji robotów (Kismet, Aibo) – konf. w Toruniu! Matematyka kognitywna (Lakoff) tłumaczy metafory leżace u podstaw rozumienia abstrakcyjnych koncepcji.

7 Jakie ucieleśnienie? Jak mogą wyglądać "ucieleśnione" reprezentacje? Brak reprezentacji, jedynie reakcje sensomotoryczne? Wszystkie pojęcia są ucielesnione, czy tylko pojęcia pierwotne? Aaron Sloman (2007): wszystkie proste pojęcia wywodzą się z cielesnych doświadczeń, inne są wymyślane, złożone, abstrakcyjne. David Hume podał przykład pojęcia złożonego: złota góra. Zamiast ugruntowania symboli Sloman proponuje jedynie ich zaczepienie.

8 Pojęcia jako obiekty umysłu W 1994 przedstawiłem podobny model: pierwotne obiekty umysłu powstają z danych zmysłowych (wzrok, słuch, dotyk, wrażenia kinestetyczne i inne), a obiekty wtórne tworzą się jako abstrakcyjne kategorie, oparte na pierwotnych. Peter Gärdenfors opracował podobny model geometryczny (Conceptual Spaces). Przestrzeń pojęć definiuje wymiary, w których można zdefiniować stan umysłu związany z doświadczeniem wewnętrznym, wrażeniami specyficznych jakości, intencjami. Kluczowa metafora: świadomy umysł jest cieniem neurodynamiki, więc wszystkie zdarzenia trzeba z niej wyprowadzić.

9 Metafora systemu dynamicznego Umysł/mózg jak system dynamiczny: Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 Jak połączyć neuro i psyche ? R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki.

10 Model czytania Uczenie: przypadkowy wybór jednej z 3 warstw (ortografia, fonologia, semantyka) jako wejścia, a pozostałych dwóch jako wyjścia, czyli mapowanie jednego aspektu na dwa inne. Symulacje można robić za pomocą gotowych programów pozwalających na robienie eksperymentów. Model czytania uwzględnia ortografię, fonologię i semantykę, warstwę której pobudzenia identyfikują jednoznacznie sens. Uczenie zarówno korelacyjne jak i konkurencyjne.

11 Trajektorie Sieci zbiegają do interpretacji różnymi drogami, możemy badać dynamikę tego procesu, np: reakcje warstwy semantycznej dla poszczególnych słów: rent; tart, wave cost (skojarzenie semantyczne), tent (fonologiczne).

12 Trajektorie - energie P.McLeod, T. Shallice, D.C. Plaut, Attractor dynamics in word recognition: converging evidence from errors by normal subjects, dyslexic patients and a connectionist model. Cognition 74 (2000) Maskowanie krótko widzianych słów przez kolejne; pokazuje dynamikę atraktorową procesów czytania, błędy semantyczne i fonologiczne.

13 Parę pytań i odpowiedzi Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja, pomyłki w czytaniu)? Mamy rozproszone reprezentacja leksykalne, interakcje między rozpoz- nawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. Skąd bierze się znaczenie słów? Dzięki ko-okurencji z innymi słowami oraz oddziaływaniom z reprezentacjami danych z różnych zmysłów. W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. Czemu dzieci mówią I goed zamiast I went? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. Jak od słów przejść do zdań? Pozwala na to gestalt zdań, ograniczone trajektorie wynikające z prezentacji słów, które można zrozumieć jako przybliżone reguły gramatyczne. Jak to jednak zrobić na dużą skalę w systemach NLP?

14 Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji). Sieci działania – postrzegania, wnioski z badań ERP i fMRI.

15 Symbole w mózgu Jak pojęcia słyszane, pomyślane, widziane aktywują mózgi? Eksperymenty z użyciem fMRI pozwalają na rozpoznanie aktywnych obszarów, zwykle w lewym płacie skroniowym (Cohen i inn. 2004). Różne aspekty: ortografia, fonologia, artykulacja, semantyka. Lateral inferotemporal multimodal area (LIMA) reagują zarówno na wzrokową jak i słuchową stymulację, wykazują fonemiczne i leksykalne korelacje krosmodalne. Visual word form area (VWFA), leży w pobliżu w bruździe potyliczno-skroniowej. AWFA dla słuchu, w lewym przednim górnym zakręcie skroniowym? Położenie tych regionów w różnych obszarach mózgu jest zróznicowane. Lewa półkula: precyzyjna reprezentacja koncepcji (odnośniki i składowe fonetyczne); prawa półkula? Reaguje na zróżnicowane pobudzenia.

16 Neuroobrazowanie słów? Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. Model nauczony na ~10 fMRI skanach + dużym korpusie słów (10 12 ) przewiduje aktywność fMRI dla ponad 100 rzeczowników. Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRIPrzykłady fMRI dla czasowników.

17 Rozpoznawanie obiektów Teroia S. Edelmana (1997) ; co trzeba wyjaśnić ? Podobieństwo obiektów. Wystarcz ado tego nisko-wymiarowa przestrzeń (<300) "pól recepcyjnych". Rozkłady prawdopodobieństwa aktywacji populacji kolumn korowych działają jak słabe klasyfikatory działające jako całość (komitet).

18 BICA jako aproksymacja Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych. Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach wzorców stanów mózgu i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić? Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście (w,Cont)? Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech.

19 Mental models P. Johnson-Laird, 1983 book and papers. Imagination: mental rotation, time ~ angle, about 60 o /sec. Internal models of relations between objects, hypothesized to play a major role in cognition and decision-making. AI: direct representations are very useful, direct in some aspects only! Reasoning: imaging relations, seeing mental picture, semantic? Systematic fallacies: a sort of cognitive illusions. If the test is to continue then the turbine must be rotating fast enough to generate emergency electricity. The turbine is not rotating fast enough to generate this electricity. What, if anything, follows? Chernobyl disaster … If A=>B; then ~B => ~A, but only about 2/3 students answer correctly.. Kenneth Craik, 1943 book The Nature of Explanation, G-H Luquet attributed mental models to children in 1927.

20 Trudne modele Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. A=>B i B=>C to łatwo kojarzymy, że A=>C, ale weźmy taki schemat: Wszyscy akademicy to uczeni. Żaden mędrzec nie jest akademikiem. Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie.

21 Mental models summary 1.MM represent explicitly what is true, but not what is false; this may lead naive reasoner into systematic error. 2.Large number of complex models => poor performance. 3.Tendency to focus on a few possible models => erroneous conclusions and irrational decisions. Cognitive illusions are just like visual illusions. M. Piattelli-Palmarini, Inevitable Illusions: How Mistakes of Reason Rule Our Minds (1996) R. Pohl, Cognitive Illusions: A Handbook on Fallacies and Biases in Thinking, Judgement and Memory (2005) Amazing, but mental models theory ignores everything we know about learning in any form! How and why do we reason the way we do? Im innocent! My brain made me do it! The mental model theory is an alternative to the view that deduction depends on formal rules of inference.

22 Kiedy powstają świadome wrażenia? Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), , 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro- obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.

23 Neurocognitive reps. How is a word (concept) w represented in the brain? Word w = (w f,w s ) has phonological (+visual) component w f, word form; extended semantic representation w s, word meaning; and is always defined in the context Cont (enactive). (w,Cont,t) prob. distribution of brain activations, changing in time. Hearing or thinking a word w, or seeing an object labeled as w adds to the overall brain activation, unfortunately in a non-linear way. How? Maximizing overall self-consistency, mutual activations, meanings that dont fit to current context are automatically inhibited. Result: almost continuous variation of this meaning. This process is rather difficult to approximate using typical knowledge representation techniques, such as connectionist models, semantic networks, frames or probabilistic networks.

24 Approximate reps. States (w,Cont) lexicographical meanings: clusterize (w,Cont) for all contexts; define prototypes (w k,Cont) for different meanings w k. A1: use spreading activation in semantic networks to define. A2: take a snapshot of activation in discrete space (vector approach). Meaning of the word is a result of priming, spreading activation to speech, motor and associative brain areas, creating affordances. (w,Cont) ~ quasi-stationary wave, with phonological/visual core activations w f and variable extended representation w s selected by Cont. (w,Cont) state into components, because the semantic representation E. Schrödinger (1935): best possible knowledge of a whole does not include the best possible knowledge of its parts! Not only in quantum case. Left semantic network LH contains w f coupled with the RH. What is the role of right semantic network RH?

25 Semantic => vector reps Some associations are subjective, some are universal. How to find the activation pathways in the brain? Try this algorithm: Perform text pre-processing steps: stemming, stop-list, spell-checking... Map text to some ontology to discover concepts (ex. UMLS ontology). Use relations (Wordnet, ULMS), selecting those types only that help to distinguish between concepts. Create first-order cosets (terms + all new terms from included relations), expanding the space – acts like a set of filters that evaluate various aspects of concepts. Use feature ranking to reduce dimensionality of the first-order coset space, leave all original features. Repeat last two steps iteratively to create second- and higher-order enhanced spaces, first expanding, then shrinking the space. Result: a set of X vectors representing concepts in enhanced spaces, partially including effects of spreading activation.

26 Graphs of consistent concepts General idea: when the text is read and analyzed activation of semantic subnetwork is spread; new words automatically assume meanings that increases overall activation, or the consistency of interpretation. Many variants, all depend on quality of semantic network, some include explicit competition among network nodes. 1.Recognition of concepts associated with a given concept: 1.1look at collocations, and close co-occurrences, sort using average distance and # occurrences; 1.2accept if this is a ULMS concept; manually verify if not; 1.3determine fine semantic types, what states/adjectives can be applied. 2.Create semantic network: 2.1link all concepts, determine initial connection weights (non-symmetric); 2.2add states/possible adjectives to each node (yes/no/confirmed …).

27 GCC analysis After recognition of concepts and creation of semantic network: 3.Analyze text, create active subnetwork (episodic working memory) to make inferences, disambiguate, and interpret the text. 3.1 find main unambiguous concepts, activate and spread their activations within semantic network; all linked concepts become partially active, depending on connection weights. 3.2Polysemous words, acronyms/abbreviations in expanded form, add to the overall activation; active subnetwork activates appropriate meanings stronger than other meaning, inhibition between competing interpretations decreases alternative meanings. 3.3Use grammatical parsing and hierarchical semantic types constraints (Optimality Theory) to infer the state of the concepts. 3.4Leave only nodes with activity above some threshold (activity decay). 4. Associate combinations of particular activations with billing codes etc.

28 Rozumienie tekstów Grafy spójnych koncepcji, aktywna część pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji, pozwalają na ujednoznacznienie sensu pojęć. Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji …

29 MDS mapping of 4534 documents divided in 10 classes, using cosine distances. 1.Initial representation, 807 features. 2.Enhanced by 26 selected semantic types, two steps, 2237 concepts with CC >0.02 for at least one class. Two steps create feedback loops A B between concepts. Structure appears... is it interesting to experts? Are these specific subtypes (clinotypes)? Clusterization on enhanced data

30 Discover topics, subclusters, more focused than general categories. Map text on the 2007 MeSH (Medical Subject Headings) ontology, more precise than ULMS. Filter rare concepts (appearing in 99% docs); remove documents with too few concepts ( smaller but better defined clusters. Leave only 26 semantic types. Wards clustering used, with silhouette measure of clustering quality. Only 3 classes: two classes that mix most strongly (Pneumonia and Otitis media), add the smallest class JRA. Initial filtering: 570 concepts with 1% 1% concepts. These 224 concepts have about ULMS relations, only 500 belong to the 26 semantic types. Enhancement: very restrictive, only ~25 most correlated added. Searching for topics

31 ResultsResults Start, iterations 2, 3 and 4 shown, 5 clinotypes may be distinguished.

32 PubMed queries Searching for: "Alzheimer disease"[MeSH Terms] AND "apolipoproteins e"[MeSH Terms] AND "humans"[MeSH Terms] Returns 2899 citations with 1924 MeSH terms. Out of 16 MeSH hierarchical trees only 4 trees have been selected: Anatomy; Diseases; Chemicals & Drugs; Analytical, Diagnostic and Therapeutic Techniques & Equipment. The number of concepts is Loop over: Cluster analysis; Feature space enhancement through ULMS relations between MeSH concepts; Inhibition, leading to filtering of concepts. Create graphical representation.

33 Jak zostać ekspertem? Wiedza podręcznikowa: szczegółowy opis wszystkich możliwości. Efekt: aktywacja wynikająca z obserwacji rozchodzi się na wszystkie możliwe strony, trudno o prawidłową diagnozę. Brakuje korelacji pomiędzy indywidualnymi obserwacjami tworzących spójny obraz. Przykład: 3 choroby, reprezentacja opisu przypadków. 1)System nauczony pojęć podręcznikowych. 2)System douczony na realnych przypadkach. 3)Ekspert. Wniosek: materiał nie powinien być prezentowany w abstrakcyjny sposób, lepiej wprowadzać go z odpowiednią częstością na konkretnych przykładach. Słyszę i zapominam. Widzę i pamiętam. Robię i rozumiem. Konfucjusz, -500 r.

34 Problemy wymagające wglądu Mamy 31 domin i szchownicę z której usunięto przeciwległe rogi; czy można ją pokryć dominami? Analityczne rozwiązanie: spróbuj różnych pokryć. Nie da się... za dużo kombinacji! Analityczne podejście nie ma szans by wywołać odpowiednie aktywacje w mózgu, łącząc nowe idee, trzeba się od niego oderwać, unikając licznych skojarzeń, które prowadzą na manowce. Wgląd <= prawa półkula reprezentuje meta-poziom bez fonologicznych (symbolicznych) składowych... czyli co? d o m i n o phonological reps chess board blackwhite domino

35 Wglądy i mózgi Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, New approaches to demystifying insight. Trends in Cognitive Science Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma.(RH-aSTG) Interpretacja autorów: making connections across distantly related information during comprehension... that allow them to see connections that previously eluded them. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji.abstrakcyjne kategorie

36 InterpretacjaInterpretacja Co się tu dzieje? LH-STG reprezentuje pojęcia, S=Start, K=koniec Rozumienie, rozwiązanie = krok po kroku przejście z S do K jeśli nie udaje się go znaleźć to pojawia się impas; RH-STG widzi aktywność LH na meta-poziomie, klasteryzacja pojęć w abstrakcyjne kategorie (cosets, constrained sets) na wiele sposobów; połączenia pomiędzy S i K na meta-poziomie możliwe są łatwiej w RH, dając wrażenie nadchodzacego rozwiązania, wzbudzając emocje. Pakiety wyładowań gamma pobudzają reprezentacje LH związane z S i K oraz konfiguracje pośrednie; dają wewnętrzny priming. To pozwala na identyfikację pośredniech kroków od S do K. Odkrycie rozwiązania Aha! jest nagradzane dopaminą, jest to konieczne by zwiększyć plastyczność mózgu i zapamiętać rozwiązanie. Można to wykorzystać praktycznie: synsety + typy sem + inne oceny.

37 Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … Słowo 1Torowanie 0,2 sSłowo 2

38 Skojarzenia i kreatywność Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. Torowanie neutralne działa dziwnie: dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe.

39 Skojarzenia łatwe Torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych. Dlaczego? Słowo A Słowo torujące N Słowo B Niska kreatywność <= słabe skojarzenia pomiędzy korowymi kolumnami <= niewiele połączeń, słabe połączenia. Dodanie szumu (nonsensownych słów N) trochę wzmacnia istniejącą aktywność A i B, co umożliwia wzajemne pobudzenia A B. Wysoka kreatywność <= silne skojarzenia <= gęste połączenia. Aktywność rozchodzi się szybko wywołując wzajemne pobudzenia. Dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi to do zamieszania, gdyż pobudza wiele stanów. Rozpoznanie skojarzenia wymaga pojawienia się przepływu aktywności A B ale za dużo energii = aktywność rozpływa się na wiele sposobów i trudno rozpoznać skojarzenie.

40 Skojarzenia trudne Dlaczego dla trudnych skojarzeń dodawanie szumu działa inaczej? Trudne skojarzenia: brak bezpośrednich połączeń pomiędzy A B. U osób słabo kreatywnych dodanie słów N nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe, bo mają więcej połączeń. Rodzaj rezonansu stochastycznego – dodawanie szumu zwiększa S/N. Dla słów torujących ortograficznie podobnych: przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Dla odległych skojarzeń to nie pomoże bo nie pobudzi pośrednich obwodów, które muszą być aktywne by powstał rezonans. Słowa nonsensowne mogą wzmagać efekt torowania dodając energię.

41 Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna.

42 Słowa: algorytm Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD). Uproszczone modele sieci skojarzeniowych, modele statystyczne. Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów. Algorytm szukania nowych słów: Przeczytać początkową pulę słów opisujących danych obiekt. Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie. Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów. Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z rozkładami prawdopodobieństwa dla n-gramów. Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz.

43 Słowa: eksperymenty List od przyjaciela: I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. FAST!!! I need it sooooooooooooooooooooooon. creativital, creatival (creativity, portal), używane creatival.com creativery (creativity, discovery), creativery.com (strategy+creativity) discoverity = {disc, disco, discover, verity} (discovery, creativity, verity) digventure ={dig, digital, venture, adventure}, nowe! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmy journativity (journey, creativity) learnativity (taken, see portravel (portal, travel); sportal (space, sport, portal), używane timagination (time, imagination); timativity (time, creativity) tivery (time, discovery); trime (travel, time)

44 More experiments Probabilistic model, rather complex, including various linguistic peculiarities; includes priming. Search for good name for electronic book reader (Kindle?): Priming set (After some stemming): Acquir, collect, gather, air, light, lighter, lightest, paper, pocket, portable, anyplace, anytime, anywhere, cable, detach, global, globe, go, went, gone, going, goes, goer, journey, move, moving, network, remote, road\$, roads\$, travel, wire, world, book, data, informati, knowledge, librar, memor, news, word, words, comfort, easi, easy, gentl, human, natural, personal, computer, electronic, discover, educat, learn, read, reads, reading, explor. Exclusion list (for inhibition): aird, airin, airs, bookie, collectic, collectiv, globali, globed, papere, papering, pocketf, travelog.

45 More words Created word Word count and # domains in Google librazone inforizine librable bookists inforld newsests 3 -- memorld 78 1 goinews libravel rearnews 8 -- booktion newravel 7 -- lighbooks popular infooks, inforion, datnews, infonews, journics

46 Phonological filter Train the autoassociative network on words from some dictionary. Create strings of words with phonological probability>threshold. Many nice Polish words … good for science-fiction poem ardyczulać ardychstronność ardywialiwić ardykloność ardywializować ardywianacje argadolić argadziancje arganiastość arganastyczna arganianalność arganiczna argasknie argasknika argaszyczny argaszynek argażni argulachny argatywista argumialent argumiadać argumialenie argumialiwić argumializować argumialność argumowny argumofon argumował argumowalność

47 Awatar, HIT: interfejs graficzny Magazynowanie Zastosowania, np gra w 20 pytań. Zapy- tanie Pamięć semantyczna Parser Oznaczanie części mowy i ekstrakcja frac Słowniki, ontologie, informacja tekstowa ręczne poporawki weryfikacja

48 Przyszłość? 2000 Sony patentuje technologie przekazu informacji prosto do mózgu Firma Len-gwij przedstawia program do tłumaczenia maszynowego na platformie Google Android pozwalając na uniwersalną komunikację Nauka czytania i pisania to strata czasu – stwierdza Singapurski minister edukacji – dzieci tylko tracą wzrok na odcyfrowywanie małych znaczków na ekranach, zostawmy to maszynom Pojawiają się wszczepy do ucha środkowego zwane "Bable Fish", rozpoznające język i dokonujące automatycznych tłumaczeń; znika potrzeba nauki języków obcych System wszczepów zamieniono na telepatimy, wykorzystując bezpośrednie pobudzenia mózgu, co umożliwia komunikację werbalną i niewerbalną. Ludzie zaczynają rozumieć się bez słów! Nie wszystkim wychodzi to na dobre Rozwija się noosfera komunikacyjna łącząca ludzi i artilekty Artilekty przestają się interesować sferą ludzi uznając, że istotny ograniczone do trójwymiarowej wyobraźni nie zasługują na miano homo sapiens...

49 Few conclusions Neurocognitive informatics: inspirations beyond perceptron. Neurocognitive NLP leads to interesting inspirations (Sydney Lamb, Rice Univ, quite general book). Creation of novel interesting words is possible at the human competence level, opening a new vista in creativity research and suggesting new experiments. Various approximations to knowledge representation in brain networks should be studied: from the use of a priori knowledge based on reference vectors, through ontology-based enhancements, to graphs of consistent concepts in spreading activation networks. Specific (drastically simplified) representation of semantic knowledge is sufficient in word games and query precisiation applications. More work on semantic memory for common sense and specialized applications is needed.

50 Thank you for lending your ears... Google: W. Duch => Papers/presentations/projects


Pobierz ppt "Język: jak robią to mózgi ? Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja."

Podobne prezentacje


Reklamy Google