Twórczość, Mózgi i Komputery Włodzisław Duch & Co Katedra informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń Dept. of Comp. Sci, School of Computer Engineering, Nanyang Technological University Google: Duch (c) 1999. Tralvex Yeap. All Rights Reserved

Plan Najbardziej tajemnicze … Badania kreatywności: psychologia i neuronauki. Intuicja i wgląd. Neurokognitywny model wyższych czynności psychicznych - szkic. Słowa w mózgu i komputerowe modele. Przykłady zastosowań: tworzenie nowych słów, zagadki i gry słowne. Inne procesy: intuicja, automatyzacja czynności. Program badań nad kreatywnością. (c) 1999. Tralvex Yeap. All Rights Reserved

Najbardziej tajemnicze … Jakie cechy naszego umysłu są najbardziej tajemnicze? Świadomość? Wyobraźnia? Intuicja? Emocje, uczucia? Wyższe czynności psychiczne? Masao Ito (dyrektor RIKEN, neurofizjolog): kreatywność, tworzenie. Lady Lovelace (Turing 1950) napisała o projekcie maszyny analitycznej Babbage'a „Nie ma ona pretensji by cokolwiek zapoczątkować samemu a robi tylko to, co się jej każe”. MIT Encyclopedia of Cognitive Sciences, 1100 stron. 6 artykułów na temat logiki, ponad 100 odwołań do logiki w indeksie. Kreatywność: 1 strona (+1 strona o „osobie twórczej”). Intuicja: 0, nie wymieniona w indeksie. W życiu codziennym częściej wykorzystujemy kreatywność niż logikę. (c) 1999. Tralvex Yeap. All Rights Reserved

O czym mówimy? Jak zdefiniować kreatywność? Bink & Marsh (2001): Liczba fachowych definicji pojęcia „kreatywność” równa jest liczbie podejść do studiowania tego zjawiska. M. Boden (1991): kreatywność to „a matter of using one’s computational resources to explore, and sometimes to break out of, familiar conceptual spaces.” Według niej można wyróżnić: H-creativity, twórcze idee nieznane dotąd w historii ludzkości; P-creativity, twórcze idee nowe dla agenta, który je wygenerował. E-creativity, twórczość opartą na eksploracji przestrzeni koncepcyjnych, inkrementalną, kombinatoryczną. T-creativity, transformacje podstaw koncepcyjnych, zmiany paradygmatu. Sternberg (Handbook of Human Creativity, 1998): „działania kreatywne wynikają ze zdolności znajdywania rozwiązań nowatorskich i stosownych do sytuacji”, a więc nie tylko nowych teorii i wynalazków, lecz również codziennych decyzji, rozumienia języka, interakcji między ludźmi. (c) 1999. Tralvex Yeap. All Rights Reserved

Badania kreatywności Rozważania nad zdolnościami twórczymi nadal są domeną filozofów i psychologów, np. pisał na ten temat Eysenck, Weisberg, czy Sternberg. M.A. Boden, The Creative Mind: Myths and Mechanisms (Abacus 1991). Theories of Creativity (Sage, 1990), red. M.A. Runco & S. Albert Handbook of Human Creativity (CUP, 1998), red. R.J. Sternberg Encyclopedia of creativity (Elsevier, 2005), red. M. Runco & S. Pritzke, 167 artykułów, ale nie zawiera testowalnych modeli komputerowych. Pisma: Creativity Research Journal, od 1988 r, LEA. Journal of Creative Behavior, od 1967 r, Creative Education Foundation. Powiązania: inteligencja, pomiary IQ, niezwykłe uzdolnienia, geniusz, psychopatalogie (cyklofrenia jest 10x częstsza u twórczych pisarzy niż średnia), intuicja, procesy wglądu (insight, Eureka lub Aha!), i inne. (c) 1999. Tralvex Yeap. All Rights Reserved

Psychologia kreatywności G. Wallas, The art of thought (1926): model rozwiązywania problemów w ramach psychologii postaci (Gestalt). 4 stadia: przygotowanie, inkubacja, iluminacja i weryfikacja. Model stosowany jest nadal do opisu kreatywnego rozwiązywania problemów przez jednostki i małe grupy ludzi. Rozszerzenia: dokładniejszy opis poszczególnych etapów, np. przygotowanie wymaga zauważenia problemu i sformułowania pytań, iluminację może poprzedzać okres frustracji, możliwe jest cofanie się, itd. Szczegółowy opis tego rodzaju uważany jest za centralne zadanie psychologii twórczości, ale dla zrozumienia jej mechanizmów nie wystarczy. Poincare (1948) uważał intuicję i kreatywność matematyczną za zdolność do rozróżnienia pomiędzy obiecującymi i mało przydatnymi ideami i ich kombinacjami, sugerując, że jest to wynikiem heurystycznych metod poszukiwania rozwiązań przy udziale wyobraźni przestrzennej, abstrakcji i przybliżonego rozumowania, co istotnie widać w fMRI (Dehaene, 1999). (c) 1999. Tralvex Yeap. All Rights Reserved

Intuicja Intuicja jest rzadko badana ale powszechnie wierzymy w jej istnienie. Najczęstsza definicja intuicji to „wiedza bez możliwości wyjaśnienia skąd to wiemy”. Definicja Sinclair & Ashkanasy (2005): intuicja to „non-sequential information-processing mode, which comprises both cognitive and affective elements and results in direct knowing without any use of conscious reasoning”. Testy psychologiczne intuicji wprowadził Wescott (1961), obecnie używane są testy Rational-Experiential Inventory (REI), Myers-Briggs Type Inventory (MBTI) oraz Accumulated Clues Task (ACT), ale ich wyniki są słabo skorelowane, mierząc inne aspekty intuicji. Stwierdzono korelację pomiędzy skalą intuicji REI a skalami kreatywności. Intuicja jest wynikiem złożonych ocen na podstawie podobieństwa, które trudno jest wyrazić w symboliczny (logiczny) sposób, oraz utajonego uczenia (implicit learning), zachodzącego w nieświadomy sposób. (c) 1999. Tralvex Yeap. All Rights Reserved

Wglądy i mózgi Można badać aktywność mózgu w czasie rozwiązywania problemów, które wymagają wglądu lub które rozwiązywane są schematycznie. E.M. Bowden, M. Jung-Beeman, J. Fleck, J. Kounios, „New approaches to demystifying insight”. Trends in Cognitive Science 2005. Po rozwiązaniu problemu badani za pomocą EEG i fMRI sami określali, czy w czasie rozwiązywania pojawił się wgląd, czy nie. Około 300 ms przed pojawieniem się wglądu w zakręcie skroniowym górnym prawej półkuli (RH-aSTG) obserwowano salwę aktywności gamma. Interpretacja autorów: „making connections across distantly related information during comprehension ... that allow them to see connections that previously eluded them”. Moja: lewa półkula reprezentująca w STG konkretne obiekty nie może znaleźć pomiędzy nimi związku =>impas; prawa STG widzi jej aktywność na meta-poziomie, ogólne abstrakcyjne kategorie, które może powiązać; salwa gamma zwiększa jednoczesną aktywność reprezentacji w lewej półkuli, emocje Eureka konieczne są do utrwalenia bezpośrednich koneksji. (c) 1999. Tralvex Yeap. All Rights Reserved

Reklama Czy kreatywność oparta jest na nieskrępowanej wyobraźni, braku reguł? Nie! Metody „anarchistyczne” – swobodne skojarzenia, burza mózgów, przypadkowa stymulacja, myślenie lateralne – wypadają w testach na kreatywność gorzej niż metody oparte na szablonach i abastrakcyjnych regułach. Eksperymenty z wymyślaniem reklam opisano w: Goldenberg, Mazursky i Solomon, Science 285, 1999. J. Goldenberg & D. Mazursky, Creativity in Product Innovation, CUP 2002 270 charakterystycznych cech (T) zebrano z reklam w pismach + 900 symboli (S) silnie kojarzących się z tymi cechami. Wybrano 3-4 najczęściej wymieniane symbole dla każdej cechy. Schemat Zamiany – powtarzaj: Zdefiniuj cechę T dla produktu P. Znajdź symbole S przywołujące na myśl cechy T. Utwórz zbiór obiektów skorelowanych silnie z P. Podstaw za aspekt A jednego z obiektów odpowiedni aspekt S. (c) 1999. Tralvex Yeap. All Rights Reserved

Reklama -wyniki Reklamy utworzone dzięki algorytmom opartym na schematach zostały ocenione na równi z najlepszymi działami ekspertów i znacznie wyżej od amatorów polegających na nieskrępowanej mocy twórczej. Algorytmy stosowane są przez duże firmy przemysłowe w projektowaniu. Przykłady tak wygenerowanych reklam: Przyjazne komputery Apple: terminale komputerowe oferujące kwiaty. World Cup Tennis Tournament w Jerozolimie: Meczet Skały z teksturą piłki tenisowej. Zegar z samolotem zamiast kukułki reklamujący linie lotnicze działające które zawsze dolatują na czas ... Dwa Jeepy porozumiewające się językiem migowym, reklamujące ciche silniki w samochodach terenowych. Pocisk zamieniający się w szybki samochód. (c) 1999. Tralvex Yeap. All Rights Reserved

Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal 2002. Słowo 1 Torowanie 0,2 s Słowo 2 Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … (c) 1999. Tralvex Yeap. All Rights Reserved

Skojarzenia i kreatywność Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. Torowanie neutralne działa dziwnie: dla prostych skojarzeń i nonsensownych słów torujących osoby kreatywne kojarzą gorzej niż niekreatywne; w pozostałych przypadkach jest odwrotnie dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe. (c) 1999. Tralvex Yeap. All Rights Reserved

Podejście neurokognitywne Computational cognitive neuroscience: szczegółowe modele funkcji poznawczych i neuronów, pierwsza doroczna konferencja 11/2005. Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości. Wiele spekulacji, ponieważ nie znamy szczegółów procesów zachodzących w mózgu, ale modele jakościowe wyjaśniające przyczyny syndromów neuropsychologicznych oraz chorób psychicznych rozwijają się szybko od ~ 10 lat tj. od 1995 roku. Nawet proste mózg-podobne przetwarzanie informacji daje podobne rezultaty => złożoność mózgu nie jest głównym problemem! Brain As Complex System (BRACS, EU Project) centralne założenie: najważniejsza jest ogólna neuroanatomiczna struktura kory i obszarów podkorowych mózgu, należy ją w modelach zachować. “Roadmap to human level intelligence” – workshops ICANN’05, WCCI’06 (c) 1999. Tralvex Yeap. All Rights Reserved

Najprostsza architektura mózgopodobna Stany mózgu są czasoprzestrzennymi rozkładami pobudzeń tkanki neuronów. Procesy poznawcze operują na znacznie przetworzonych sygnałach dochodzących od zmysłów. Czerwień, słodycz, ból ... to fizyczne (relacyjne) stany mózgu. Widzę, słyszę i czuję tylko stany mózgu! Np. złudzenia optyczne. Kora: zbiór mikroobwodów, rezonatorów tworzących stany kolektywne, pojedyncze neurony mają niewielkie znaczenie. Aktywna część kory: pamięć robocza, całkiem odmienna od pamięci w komputerach. Rejestry komputera to nie są stany dynamiczne, które automatycznie prowadzą do skojarzeń. (c) 1999. Tralvex Yeap. All Rights Reserved

Metafora systemu dynamicznego Umysł/mózg jak system dynamiczny: Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 Jak połączyć neuro i psyche ? R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki. (c) 1999. Tralvex Yeap. All Rights Reserved

Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji). (c) 1999. Tralvex Yeap. All Rights Reserved

Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. (c) 1999. Tralvex Yeap. All Rights Reserved

Skojarzenia - powtórka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami; dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów. Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe: mamy tu rezonans stochastyczny! Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Nie pomaga to jednak dla odległych skojarzeń, nie pobudzając pośrednich obwodów, które muszą być aktywne by powstał rezonans, za to słowa nonsensowne wzmagają efekt torowania. (c) 1999. Tralvex Yeap. All Rights Reserved

Words: algorithm Neural resonant models (~ ARTWORD), or associative nets. Simplest things first => statistical model. Preliminary: create probability models for linking phonemes and syllables; create semantic and phonological distance measures for words. Statistical algorithm to find novel words: Read initial pool of keywords. Find phonological and semantic associations to increase the pool. Break all words into chains of phonemes, and chains of morphemes. Find all combinations of fragments forming longer chunks ranked according to their phonological probability (using bi- or tri-grams). For final ranking use estimation of semantic density around morphemes in the newly created words. (c) 1999. Tralvex Yeap. All Rights Reserved

Words: experiments A real letter from a friend: I am looking for a word that would capture the following qualities: portal to new worlds of imagination and creativity, a place where visitors embark on a journey discovering their inner selves, awakening the Peter Pan within. A place where we can travel through time and space (from the origin to the future and back), so, its about time, about space, infinite possibilities. FAST!!! I need it sooooooooooooooooooooooon. creativital, creatival (creativity, portal), used in creatival.com creativery (creativity, discovery), creativery.com (strategy+creativity) discoverity = {disc, disco, discover, verity} (discovery, creativity, verity) digventure ={dig, digital, venture, adventure} new! imativity (imagination, creativity); infinitime (infinitive, time) infinition (infinitive, imagination), already a company name journativity (journey, creativity) learnativity (taken, see http://www.learnativity.com) portravel (portal, travel); sportal (space, sport, portal), taken timagination (time, imagination); timativity (time, creativity) tivery (time, discovery); trime (travel, time) (c) 1999. Tralvex Yeap. All Rights Reserved

Word games Word games that were popular before computer games took over. Word games are essential to the development of analytical thinking skills. Until recently computer technology was not sufficient to play such games. The 20 question game may be the next great challenge for AI, because it is more realistic than the unrestricted Turing test; a World Championship with human and software players in Singapore? Finding most informative questions requires knowledge and creativity. Performance of various models of semantic memory and episodic memory may be tested in this game in a realistic, difficult application. Asking questions to understand precisely what the user has in mind is critical for search engines and many other applications. Creating large-scale semantic memory is a great challenge: ontologies, dictionaries (Wordnet), encyclopedias, MindNet (Microsoft), collaborative projects like Concept Net (MIT) … (c) 1999. Tralvex Yeap. All Rights Reserved

Oznaczanie części mowy i ekstrakcja fraz Zapy- tanie Pamięć semantyczna Zastosowania, np gra w 20 pytań. Awatar, HIT: interfejs graficzny http://diodor.eti.pg.gda.pl Magazynowanie Oznaczanie części mowy i ekstrakcja fraz weryfikacja Słowniki, ontologie, informacja tekstowa Parser ręczne poporawki (c) 1999. Tralvex Yeap. All Rights Reserved

Puzzle generator Semantic memory may be used to invent automatically a large number of word puzzles that the avatar presents. This application selects a random concept from all concepts in the memory and searches for a minimal set of features necessary to uniquely define it; if many subsets are sufficient for unique definition one of them is selected randomly. It is an Amphibian, it is orange and has black spots. How do you call this animal? A Salamander. It has charm, it has spin, and it has charge. What is it? If you do not know, ask Google! Quark page comes at the top … (c) 1999. Tralvex Yeap. All Rights Reserved

Rozumienie tekstów Neurokognitywne podejście do rozumienia języka: słowa, koncepcje, pobudzają skojarzone z nimi koncepcje; ważne jest prawdopodobieństwo rozkładu, koncepcje odnoszące się do tego samego tematu lepiej do siebie pasują, tworząc graf spójnych koncepcji  aktywnej części pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji. Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji … (c) 1999. Tralvex Yeap. All Rights Reserved

Przyszłość? Potrzebujemy szczegółowego modelu opartego na rezonansach (np. ART.) Te same zasady obowiązują w projektowaniu i innych domenach: wyobraźnia ograniczona jest przez wiedzę, rezultaty … filtrowane przez…? Porównania tworzenia słów dla zabawek, programów, serwerów WWW itd. ze słowami tworzonymi przez ludzi. Porównania wyników gry w 20 pytań – na ile dobrze radzą sobie z tym ludzie a na ile programy? Jest tylko jeden komercyjny program 20Q. Mistrzostwa świata w grach słownych? Co naprawdę dzieje się w mózgu? Badania przy użyciu EPR i fMRI aktywności mózgu w czasie tworzenia nowych słów i słuchania nowych słów – droga do badań kreatywności? Zastosowania neurokongitywnego NLP: gry słowne w telefonach, grach itp. tworzenie nazw, które można zastrzec; nadzieja na osiągnięcie kompetencji człowieka w rozumieniu tekstów? (c) 1999. Tralvex Yeap. All Rights Reserved