Język: jak robią to mózgi ?

Prezentacja na temat: "Język: jak robią to mózgi ?"— Zapis prezentacji:

1 Język: jak robią to mózgi ?
Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Google: W. Duch III Krakowska Konferencja Kognitywistyczna: Język odnaleziony. Kraków (c) Tralvex Yeap. All Rights Reserved

2 Plan Lingwistyka i informatyka neurokognitywna.
Słowa w mózgu i ich komputerowe modele. Wgląd i rola prawej półkuli. Skojarzenia i kreatywność. Neurokognitywny model wyższych czynności psychicznych. Przykłady zastosowań: tworzenie nowych słów, zagadki i gry słowne. Kreatywność słowotwórcza. Zastosowania medyczne. Przyszłość. (c) Tralvex Yeap. All Rights Reserved

3 Wielkie wyzwanie AI: język
Test Turinga – pierwotny test zbyt trudny. Warianty: pytania: tak/nie; osobisty test Turinga (Carpenter & Freeman), program udaje osobę, którą dobrze znamy. Nagroda Loebnera: w stylu testu Turinga, od prawie 20 lat zawody botów i ludzi rozmawiających z sędziami, większość oparta na szablonach i dopasowaniu wzorców = oszustwo daje dość dużo. Systemy Q/A, oceniane na Text Retrieval Conference (TREC). Gry słowne, np. gra w 20 pytań, wymagająca znajomości pojęć i ich własności, ale nie złożonych relacji pomiędzy nimi. Postępy w uczeniu się naturalnego języka zależą od automatycznego tworzenia, rozwijania i używania obszernych baz wiedzy. Inteligentne systemy wspomagające nauczanie, kombinacja rozumowania i kompetencji językowych, trudne do oceny? (c) Tralvex Yeap. All Rights Reserved

4 Projekty NLP Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad autorów, którzy wpisali ponad faktów; wyniki posłużyły do utworzenia ConceptNet, bardzo dużej sieci semantycznej. Commonsense MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania. Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ... (c) Tralvex Yeap. All Rights Reserved

5 Lingwistyka Neurokognitywna
Jerome A. Feldman, From Molecule to Metaphor: A Neural Theory of Language. MIT Press 2006 Thought is structured neural activity. Language is inextricable from thought and experience. Większość lingwistów specjalizuje się w fonetyce, fonologii, morfologii, syntaktyce, leksykografii, ontologiach, semantyce, pragmatyce ... ale język jest wielo-modalny, zintegrowany z percepcją i myśleniem. Tylko neuronowe teorie języka (NTL) mogą prawidłowo opisać wszystkie jego aspekty, łącznie z dynamiką. Nawet proste mózg-podobne przetwarzanie informacji daje psychologicznie interesujące rezultaty => złożoność mózgu nie jest głównym problemem! Trzeba robić modele odpowiednich struktur. Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, kontroli zachowania, świadomości, języka => praktyczne algorytmy, lepsze zrozumienie procesów. (c) Tralvex Yeap. All Rights Reserved

6 Język i ucieleśnienie Ucieleśnienie jest modne ale nie takie nowe, eg:
R. Brooks, Elephants Don’t Play Chess (1990), R. Brooks, L.A. Stein, Building Brains for Bodies (1993), Cog project manifesto ( ). Varela, Thompson, Rosch, The embodied mind 1991 W lingwistyce: Lakoff & Johnson, Philosophy In The Flesh (1999). Lakoff & Nunez, Where Mathematics Comes From? How the Embodied Mind Brings Mathematics into Being (2000). Postępy lingwistyki komputerowej są powolne, wielu ekspertów utraciło wiarę w metody formalne, pojawiły się metody statystyczne korzystające z ogromnych korpusów, oraz idee ucieleśnienia i enaktywizmu. Kilka większych projektów realizowanych jest w ramach FP6. Protojęzyki w komunikacji robotów (Kismet, Aibo) – konf. w Toruniu! Matematyka kognitywna (Lakoff) tłumaczy metafory leżace u podstaw rozumienia abstrakcyjnych koncepcji.

7 Jakie ucieleśnienie? Jak mogą wyglądać "ucieleśnione" reprezentacje?
Brak reprezentacji, jedynie reakcje sensomotoryczne? Wszystkie pojęcia są ucielesnione, czy tylko pojęcia pierwotne? Aaron Sloman (2007): wszystkie proste pojęcia wywodzą się z cielesnych doświadczeń, inne są wymyślane, złożone, abstrakcyjne. David Hume podał przykład pojęcia złożonego: “złota góra”. Zamiast ugruntowania symboli Sloman proponuje jedynie ich zaczepienie.

8 Pojęcia jako “obiekty umysłu”
W 1994 przedstawiłem podobny model: pierwotne obiekty umysłu powstają z danych zmysłowych (wzrok, słuch, dotyk, wrażenia kinestetyczne i inne), a obiekty wtórne tworzą się jako abstrakcyjne kategorie, oparte na pierwotnych. Peter Gärdenfors opracował podobny model geometryczny (Conceptual Spaces). Przestrzeń pojęć definiuje wymiary, w których można zdefiniować stan umysłu związany z doświadczeniem wewnętrznym, wrażeniami specyficznych jakości, intencjami. Kluczowa metafora: świadomy umysł jest cieniem neurodynamiki, więc wszystkie zdarzenia trzeba z niej wyprowadzić.

9 Metafora systemu dynamicznego
Umysł/mózg jak system dynamiczny: Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 Jak połączyć neuro i psyche ? R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki. (c) Tralvex Yeap. All Rights Reserved

10 Model czytania Symulacje można robić za pomocą gotowych programów pozwalających na robienie eksperymentów. Model czytania uwzględnia ortografię, fonologię i semantykę, warstwę której pobudzenia identyfikują jednoznacznie sens. Uczenie zarówno korelacyjne jak i konkurencyjne. Uczenie: przypadkowy wybór jednej z 3 warstw (ortografia, fonologia, semantyka) jako wejścia, a pozostałych dwóch jako wyjścia, czyli mapowanie jednego aspektu na dwa inne. (c) Tralvex Yeap. All Rights Reserved

11 Trajektorie Sieci zbiegają do interpretacji różnymi drogami, możemy badać dynamikę tego procesu, np: reakcje warstwy semantycznej dla poszczególnych słów: rent; tart, wave cost (skojarzenie semantyczne), tent (fonologiczne). (c) Tralvex Yeap. All Rights Reserved

12 Trajektorie - energie P.McLeod, T. Shallice, D.C. Plaut, Attractor dynamics in word recognition: converging evidence from errors by normal subjects, dyslexic patients and a connectionist model. Cognition 74 (2000) Maskowanie krótko widzianych słów przez kolejne; pokazuje dynamikę atraktorową procesów czytania, błędy semantyczne i fonologiczne. (c) Tralvex Yeap. All Rights Reserved

13 Parę pytań i odpowiedzi
Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja, pomyłki w czytaniu)? Mamy rozproszone reprezentacja leksykalne, interakcje między rozpoz- nawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. Skąd bierze się znaczenie słów? Dzięki ko-okurencji z innymi słowami oraz oddziaływaniom z reprezentacjami danych z różnych zmysłów. W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. Czemu dzieci mówią „I goed” zamiast „I went”? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. Jak od słów przejść do zdań? Pozwala na to „gestalt zdań”, ograniczone trajektorie wynikające z prezentacji słów, które można zrozumieć jako przybliżone reguły gramatyczne. Jak to jednak zrobić na dużą skalę w systemach NLP? (c) Tralvex Yeap. All Rights Reserved

14 Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji). (c) Tralvex Yeap. All Rights Reserved

15 Symbole w mózgu Jak pojęcia słyszane, pomyślane, widziane aktywują mózgi? Eksperymenty z użyciem fMRI pozwalają na rozpoznanie aktywnych obszarów, zwykle w lewym płacie skroniowym (Cohen i inn. 2004). Różne aspekty: ortografia, fonologia, artykulacja, semantyka. Lateral inferotemporal multimodal area (LIMA) reagują zarówno na wzrokową jak i słuchową stymulację, wykazują fonemiczne i leksykalne korelacje krosmodalne. Visual word form area (VWFA), leży w pobliżu w bruździe potyliczno-skroniowej. AWFA dla słuchu, w lewym przednim górnym zakręcie skroniowym? Położenie tych regionów w różnych obszarach mózgu jest zróznicowane. Lewa półkula: precyzyjna reprezentacja koncepcji (odnośniki i składowe fonetyczne); prawa półkula? Reaguje na zróżnicowane pobudzenia. (c) Tralvex Yeap. All Rights Reserved

16 Neuroobrazowanie słów?
Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012) przewiduje aktywność fMRI dla ponad 100 rzeczowników. Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRI dla czasowników . (c) Tralvex Yeap. All Rights Reserved

17 Rozpoznawanie obiektów
Teroia S. Edelmana (1997) ; co trzeba wyjaśnić ? Podobieństwo obiektów. Wystarcz ado tego nisko-wymiarowa przestrzeń (<300) "pól recepcyjnych". Rozkłady prawdopodobieństwa aktywacji populacji kolumn korowych działają jak słabe klasyfikatory działające jako całość (komitet).

18 BICA jako aproksymacja
Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych. Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić? Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście (w,Cont)? Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech. (c) Tralvex Yeap. All Rights Reserved

19 Mental models Kenneth Craik, 1943 book “The Nature of Explanation”, G-H Luquet attributed mental models to children in 1927. P. Johnson-Laird, 1983 book and papers. Imagination: mental rotation, time ~ angle, about 60o/sec. Internal models of relations between objects, hypothesized to play a major role in cognition and decision-making. AI: direct representations are very useful, direct in some aspects only! Reasoning: imaging relations, “seeing” mental picture, semantic? Systematic fallacies: a sort of cognitive illusions. If the test is to continue then the turbine must be rotating fast enough to generate emergency electricity. The turbine is not rotating fast enough to generate this electricity. What, if anything, follows? Chernobyl disaster … If A=>B; then ~B => ~A, but only about 2/3 students answer correctly..

20 Trudne modele Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. A=>B i B=>C to łatwo kojarzymy, że A=>C, ale weźmy taki schemat: Wszyscy akademicy to uczeni. Żaden mędrzec nie jest akademikiem. Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie. (c) Tralvex Yeap. All Rights Reserved

21 Mental models summary The mental model theory is an alternative to the view that deduction depends on formal rules of inference. MM represent explicitly what is true, but not what is false; this may lead naive reasoner into systematic error. Large number of complex models => poor performance. Tendency to focus on a few possible models => erroneous conclusions and irrational decisions. Cognitive illusions are just like visual illusions. M. Piattelli-Palmarini, Inevitable Illusions: How Mistakes of Reason Rule Our Minds (1996) R. Pohl, Cognitive Illusions: A Handbook on Fallacies and Biases in Thinking, Judgement and Memory (2005) Amazing, but mental models theory ignores everything we know about learning in any form! How and why do we reason the way we do? I’m innocent! My brain made me do it!

22 Kiedy powstają świadome wrażenia?
Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), , 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro-obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.

23 Neurocognitive reps. How is a word (concept) w represented in the brain? Word w = (wf,ws) has phonological (+visual) component wf, word form; extended semantic representation ws, word meaning; and is always defined in the context Cont (enactive). (w,Cont,t) prob. distribution of brain activations, changing in time. Hearing or thinking a word w , or seeing an object labeled as w adds to the overall brain activation, unfortunately in a non-linear way. How? Maximizing overall self-consistency, mutual activations, meanings that don’t fit to current context are automatically inhibited. Result: almost continuous variation of this meaning. This process is rather difficult to approximate using typical knowledge representation techniques, such as connectionist models, semantic networks, frames or probabilistic networks. (c) Tralvex Yeap. All Rights Reserved

24 Approximate reps. States (w,Cont)  lexicographical meanings:
clusterize (w,Cont) for all contexts; define prototypes (wk,Cont) for different meanings wk. A1: use spreading activation in semantic networks to define . A2: take a snapshot of activation  in discrete space (vector approach). Meaning of the word is a result of priming, spreading activation to speech, motor and associative brain areas, creating affordances. (w,Cont) ~ quasi-stationary wave, with phonological/visual core activations wf and variable extended representation ws selected by Cont. (w,Cont) state into components, because the semantic representation E. Schrödinger (1935): best possible knowledge of a whole does not include the best possible knowledge of its parts! Not only in quantum case. Left semantic network LH contains wf coupled with the RH. What is the role of right semantic network RH? (c) Tralvex Yeap. All Rights Reserved

25 Semantic => vector reps
Some associations are subjective, some are universal. How to find the activation pathways in the brain? Try this algorithm: Perform text pre-processing steps: stemming, stop-list, spell-checking ... Map text to some ontology to discover concepts (ex. UMLS ontology). Use relations (Wordnet, ULMS), selecting those types only that help to distinguish between concepts. Create first-order cosets (terms + all new terms from included relations), expanding the space – acts like a set of filters that evaluate various aspects of concepts. Use feature ranking to reduce dimensionality of the first-order coset space, leave all original features. Repeat last two steps iteratively to create second- and higher-order enhanced spaces, first expanding, then shrinking the space. Result: a set of X vectors representing concepts in enhanced spaces, partially including effects of spreading activation. (c) Tralvex Yeap. All Rights Reserved

26 Graphs of consistent concepts
General idea: when the text is read and analyzed activation of semantic subnetwork is spread; new words automatically assume meanings that increases overall activation, or the consistency of interpretation. Many variants, all depend on quality of semantic network, some include explicit competition among network nodes. Recognition of concepts associated with a given concept: 1.1 look at collocations, and close co-occurrences, sort using average distance and # occurrences; 1.2 accept if this is a ULMS concept; manually verify if not; 1.3 determine fine semantic types, what states/adjectives can be applied. Create semantic network: 2.1 link all concepts, determine initial connection weights (non-symmetric); 2.2 add states/possible adjectives to each node (yes/no/confirmed …). (c) Tralvex Yeap. All Rights Reserved

27 GCC analysis After recognition of concepts and creation of semantic network: Analyze text, create active subnetwork (episodic working memory) to make inferences, disambiguate, and interpret the text. 3.1 find main unambiguous concepts, activate and spread their activations within semantic network; all linked concepts become partially active, depending on connection weights. 3.2 Polysemous words, acronyms/abbreviations in expanded form, add to the overall activation; active subnetwork activates appropriate meanings stronger than other meaning, inhibition between competing interpretations decreases alternative meanings. 3.3 Use grammatical parsing and hierarchical semantic types constraints (Optimality Theory) to infer the state of the concepts. 3.4 Leave only nodes with activity above some threshold (activity decay). 4. Associate combinations of particular activations with billing codes etc. (c) Tralvex Yeap. All Rights Reserved

28 Rozumienie tekstów Grafy spójnych koncepcji, aktywna część pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji, pozwalają na ujednoznacznienie sensu pojęć. Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji … (c) Tralvex Yeap. All Rights Reserved

29 Clusterization on enhanced data
MDS mapping of 4534 documents divided in 10 classes, using cosine distances. Initial representation, 807 features. Enhanced by 26 selected semantic types, two steps, 2237 concepts with CC >0.02 for at least one class. Two steps create feedback loops A  B between concepts. Structure appears ... is it interesting to experts? Are these specific subtypes (clinotypes)? (c) Tralvex Yeap. All Rights Reserved

30 Searching for topics Discover topics, subclusters, more focused than general categories. Map text on the 2007 MeSH (Medical Subject Headings) ontology, more precise than ULMS. Filter rare concepts (appearing in <1% docs) and very common concepts (>99% docs); remove documents with too few concepts (<1% of all) => smaller but better defined clusters. Leave only 26 semantic types. Ward’s clustering used, with silhouette measure of clustering quality. Only 3 classes: two classes that mix most strongly (Pneumonia and Otitis media), add the smallest class JRA. Initial filtering: 570 concepts with 1%<tf<99%,1002 documents. Semantic (26 types): 224 concepts, 908 docs with >1% concepts. These 224 concepts have about ULMS relations, only 500 belong to the 26 semantic types. Enhancement: very restrictive, only ~25 most correlated added. (c) Tralvex Yeap. All Rights Reserved

31 Results Start, iterations 2, 3 and 4 shown, 5 clinotypes may be distinguished. (c) Tralvex Yeap. All Rights Reserved

32 PubMed queries Searching for:
"Alzheimer disease"[MeSH Terms] AND "apolipoproteins e"[MeSH Terms] AND "humans"[MeSH Terms] Returns 2899 citations with 1924 MeSH terms. Out of 16 MeSH hierarchical trees only 4 trees have been selected: Anatomy; Diseases; Chemicals & Drugs; Analytical, Diagnostic and Therapeutic Techniques & Equipment. The number of concepts is 1190. Loop over: Cluster analysis; Feature space enhancement through ULMS relations between MeSH concepts; Inhibition, leading to filtering of concepts. Create graphical representation. (c) Tralvex Yeap. All Rights Reserved

33 Jak zostać ekspertem? 不聞不若聞之 聞之不若見之 見之不若知之 知之不若行之 學至於行之而止矣之
Wiedza podręcznikowa: szczegółowy opis wszystkich możliwości. Efekt: aktywacja wynikająca z obserwacji rozchodzi się na wszystkie możliwe strony, trudno o prawidłową diagnozę. Brakuje korelacji pomiędzy indywidualnymi obserwacjami tworzących spójny obraz. Przykład: 3 choroby, reprezentacja opisu przypadków. System nauczony pojęć podręcznikowych. System douczony na realnych przypadkach. Ekspert. Wniosek: materiał nie powinien być prezentowany w abstrakcyjny sposób, lepiej wprowadzać go z odpowiednią częstością na konkretnych przykładach. Słyszę i zapominam. Widzę i pamiętam. Robię i rozumiem. Konfucjusz, -500 r. 不聞不若聞之 聞之不若見之 見之不若知之 知之不若行之 學至於行之而止矣之 (c) Tralvex Yeap. All Rights Reserved

34 Problemy wymagające wglądu
Mamy 31 domin i szchownicę z której usunięto przeciwległe rogi; czy można ją pokryć dominami? Analityczne rozwiązanie: spróbuj różnych pokryć. Nie da się ... za dużo kombinacji! Analityczne podejście nie ma szans by wywołać odpowiednie aktywacje w mózgu, łącząc nowe idee, trzeba się od niego oderwać, unikając licznych skojarzeń, które prowadzą na manowce. Wgląd <= prawa półkula reprezentuje meta-poziom bez fonologicznych (symbolicznych) składowych ... czyli co? d o m i n phonological reps chess board black white domino (c) Tralvex Yeap. All Rights Reserved

35 Wglądy i mózgi Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „New approaches to demystifying insight”. Trends in Cognitive Science 2005. Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma. Interpretacja autorów: „making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them”. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji. (c) Tralvex Yeap. All Rights Reserved

36 Interpretacja Co się tu dzieje?
LH-STG reprezentuje pojęcia, S=Start, K=koniec Rozumienie, rozwiązanie = krok po kroku przejście z S do K jeśli nie udaje się go znaleźć to pojawia się impas; RH-STG ‘widzi’ aktywność LH na meta-poziomie, klasteryzacja pojęć w abstrakcyjne kategorie (cosets, constrained sets) na wiele sposobów; połączenia pomiędzy S i K na meta-poziomie możliwe są łatwiej w RH, dając wrażenie nadchodzacego rozwiązania, wzbudzając emocje. Pakiety wyładowań gamma pobudzają reprezentacje LH związane z S i K oraz konfiguracje pośrednie; dają wewnętrzny priming. To pozwala na identyfikację pośredniech kroków od S do K. Odkrycie rozwiązania Aha! jest nagradzane dopaminą, jest to konieczne by zwiększyć plastyczność mózgu i zapamiętać rozwiązanie. Można to wykorzystać praktycznie: synsety + typy sem + inne oceny. (c) Tralvex Yeap. All Rights Reserved

37 Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal 2002. Słowo 1 Torowanie 0,2 s Słowo 2 Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … (c) Tralvex Yeap. All Rights Reserved

38 Skojarzenia i kreatywność
Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. Torowanie neutralne działa dziwnie: dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe. (c) Tralvex Yeap. All Rights Reserved

39 Skojarzenia łatwe Torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych. Dlaczego? Słowo A Słowo torujące N Słowo B Niska kreatywność <= słabe skojarzenia pomiędzy korowymi kolumnami <= niewiele połączeń, słabe połączenia. Dodanie szumu (nonsensownych słów N) trochę wzmacnia istniejącą aktywność A i B, co umożliwia wzajemne pobudzenia AB. Wysoka kreatywność <= silne skojarzenia <= gęste połączenia. Aktywność rozchodzi się szybko wywołując wzajemne pobudzenia. Dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi to do zamieszania, gdyż pobudza wiele stanów. Rozpoznanie skojarzenia wymaga pojawienia się przepływu aktywności AB ale za dużo energii = aktywność rozpływa się na wiele sposobów i trudno rozpoznać skojarzenie. (c) Tralvex Yeap. All Rights Reserved

40 Skojarzenia trudne Dlaczego dla trudnych skojarzeń dodawanie szumu działa inaczej? Trudne skojarzenia: brak bezpośrednich połączeń pomiędzy AB. U osób słabo kreatywnych dodanie słów N nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe, bo mają więcej połączeń. Rodzaj rezonansu stochastycznego – dodawanie szumu zwiększa S/N. Dla słów torujących ortograficznie podobnych: przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Dla odległych skojarzeń to nie pomoże bo nie pobudzi pośrednich obwodów, które muszą być aktywne by powstał rezonans. Słowa nonsensowne mogą wzmagać efekt torowania dodając energię. (c) Tralvex Yeap. All Rights Reserved

41 Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja)
Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. (c) Tralvex Yeap. All Rights Reserved

42 Słowa: algorytm Jak to modelować? Sieci skojarzeniowe, model adaptacyjnego rezonansu (~ ARTWORD). Uproszczone modele sieci skojarzeniowych, modele statystyczne. Utworzyć model sieci prawdopodobieństw łączących fonemy i sylaby utworzyć funkcję oceny gęstości fonologicznej i semantycznej wyrazów. Algorytm szukania nowych słów: Przeczytać początkową pulę słów opisujących danych obiekt. Rozszerzyć ją o słowa skojarzone fonologicznie i semantycznie. Rozbić słowa na fragmenty składające się z fonemów, sylab, morfemów. Wyobraźnia: tworzyć kombinacje fragmentów zgodnie z rozkładami prawdopodobieństwa dla n-gramów. Filtrowanie: utworzyć ranking na podstawie gęstości semantycznej wokół morfemów tworzących nowy wyraz. (c) Tralvex Yeap. All Rights Reserved

43 Słowa: eksperymenty List od przyjaciela:
I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. FAST!!! I need it sooooooooooooooooooooooon. creativital, creatival (creativity, portal), używane creatival.com creativery (creativity, discovery), creativery.com (strategy+creativity) discoverity = {disc, disco, discover, verity} (discovery, creativity, verity) digventure ={dig, digital, venture, adventure} , nowe! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), nazwa firmy journativity (journey, creativity) learnativity (taken, see portravel (portal, travel); sportal (space, sport, portal), używane timagination (time, imagination); timativity (time, creativity) tivery (time, discovery); trime (travel, time) (c) Tralvex Yeap. All Rights Reserved

44 More experiments Probabilistic model, rather complex, including various linguistic peculiarities; includes priming. Search for good name for electronic book reader (Kindle?): Priming set (After some stemming): Acquir, collect, gather , air, light, lighter, lightest, paper, pocket, portable, anyplace, anytime, anywhere, cable, detach, global, globe, go, went, gone, going, goes, goer, journey, move, moving, network, remote, road\$, roads\$, travel, wire, world, book, data, informati, knowledge, librar, memor, news, word, words, comfort, easi, easy, gentl, human, natural, personal, computer, electronic, discover, educat, learn, read, reads, reading, explor. Exclusion list (for inhibition): aird, airin, airs, bookie, collectic, collectiv, globali, globed, papere, papering, pocketf, travelog.

45 More words Created word Word count and # domains in Google
librazone inforizine librable bookists inforld newsests memorld goinews libravel rearnews booktion newravel lighbooks + popular infooks , inforion, datnews, infonews, journics

46 Phonological filter Train the autoassociative network on words from some dictionary. Create strings of words with “phonological probability”>threshold. Many nice Polish words … good for science-fiction poem ardyczulać ardychstronność ardywialiwić ardykloność ardywializować ardywianacje argadolić argadziancje arganiastość arganastyczna arganianalność arganiczna argasknie argasknika argaszyczny argaszynek argażni argulachny argatywista argumialent argumiadać argumialenie argumialiwić argumializować argumialność argumowny argumofon argumował argumowalność

47 Oznaczanie części mowy
Zapy- tanie Pamięć semantyczna Zastosowania, np gra w 20 pytań. Awatar, HIT: interfejs graficzny Magazynowanie Oznaczanie części mowy i ekstrakcja frac weryfikacja Słowniki, ontologie, informacja tekstowa Parser ręczne poporawki (c) Tralvex Yeap. All Rights Reserved

48 Przyszłość? 2000 Sony patentuje technologie przekazu informacji prosto do mózgu. 2015 Firma Len-gwij przedstawia program do tłumaczenia maszynowego na platformie Google Android pozwalając na uniwersalną komunikację. 2025 Nauka czytania i pisania to strata czasu – stwierdza Singapurski minister edukacji – dzieci tylko tracą wzrok na odcyfrowywanie małych znaczków na ekranach, zostawmy to maszynom. 2035 Pojawiają się wszczepy do ucha środkowego zwane "Bable Fish", rozpoznające język i dokonujące automatycznych tłumaczeń; znika potrzeba nauki języków obcych. 2045 System wszczepów zamieniono na telepatimy, wykorzystując bezpośrednie pobudzenia mózgu, co umożliwia komunikację werbalną i niewerbalną. Ludzie zaczynają rozumieć się bez słów! Nie wszystkim wychodzi to na dobre ... 2060 Rozwija się noosfera komunikacyjna łącząca ludzi i artilekty. 2100 Artilekty przestają się interesować sferą ludzi uznając, że istotny ograniczone do trójwymiarowej wyobraźni nie zasługują na miano homo sapiens ... (c) Tralvex Yeap. All Rights Reserved

49 Few conclusions Neurocognitive informatics: inspirations beyond perceptron. Neurocognitive NLP leads to interesting inspirations (Sydney Lamb, Rice Univ, quite general book). Creation of novel interesting words is possible at the human competence level, opening a new vista in creativity research and suggesting new experiments. Various approximations to knowledge representation in brain networks should be studied: from the use of a priori knowledge based on reference vectors, through ontology-based enhancements, to graphs of consistent concepts in spreading activation networks. Specific (drastically simplified) representation of semantic knowledge is sufficient in word games and query precisiation applications. More work on semantic memory for common sense and specialized applications is needed. (c) Tralvex Yeap. All Rights Reserved

50 Thank you for lending your ears ...
Google: W. Duch => Papers/presentations/projects