Informatyka kognitywna Co to jest? Informatyka to ... „systematyczne badanie procesów algorytmicznych, które charakteryzują i przetwarzają informację ... ". ACM 1989. Niektóre takie procesy sztuczne systemy robią lepiej niż ludzie, ale nadal w wielu obszarach naturalne systemy są znacznie lepsze. I to nas strasznie wkurza ... International Journal of Cognitive Informatics and Natural Intelligence, kwartalnik, od 2007 roku, ale nie ma wyraźnego profilu, od AI, uczenia maszynowego, do kwantowych obliczeń, bioinformatyki, świadomości. Informatyka neurokognitywna: badanie procesów przetwarzania informacji przez mózgi, uproszczone modele czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości => praktyczne algorytmy + lepsze rozumienie tych procesów. Czeka nas bardzo głęboka rewolucja w rozumieniu natury ludzkiej. (c) 1999. Tralvex Yeap. All Rights Reserved

Neuro-info Co tu nowego? Są już takie dziedziny! AI? Zupełnie nie interesuje się mózgiem, zajrzyjcie do podręcznika. Sieci neuronowe? Inspiracje na poziomie pojedynczych neuronów. Neuroinformatyka? Wspomaganie badań nad mózgiem. Computational cognitive neuroscience? Biofizyczne modele neuronów, powiązania z biofizyką molekularną, neurodynamika, modele powstawania sygnałów EEG, MEG, fMRI ... Szczegółowe modele neuronów i prostych czynności poznawczych, pierwsza doroczna konferencja 11/2005. Inteligencja obliczeniowa? Niższe czynności poznawcze+optymalizacja. HCI, współpraca człowiek-maszyna? Głównie ograniczenia poznawcze. Obliczenia afektywne? Częściowo, emocje pomagają w myśleniu. Neuroinformatyka kognitywna tylko częściowo się z nimi pokrywa. (c) 1999. Tralvex Yeap. All Rights Reserved

O co chodzi? Informatyka neurokognitywna powinna pomóc w zrozumieniu wyższych czynności poznawczych i czerpać z tego inspiracje. Różne rodzaje pamięci: rozpoznawcza, epizodyczna, semantyczna, robocza, krótkotrwała, proceduralna, emocjonalna, utajona ... Reprezentacja różnych form wiedzy. Język, rozumienie pojęć, związek z percepcją. Procesy myślenia, rozwiązywania problemów, działania sekwencyjne. Kontrola uwagi, selekcja informacji, sterowanie przez dane (dataflow). Kontrola i planowanie zachowania, wyobraźnia, świadomość. Czy to się da zrobić? Przecież nie znamy szczegółów procesów zachodzących w mózgu? Nadal wiele spekulacji, ale sporo wiemy, są modele jakościowe wyjaśniające przyczyny syndromów neuropsychologicznych oraz chorób psychicznych, rozwijające się szybko od ~ 1995 roku. (c) 1999. Tralvex Yeap. All Rights Reserved

Symulacje Neurony, sieci, symulatory: szczegóły - wykład z neuropsychologii komputerowej, Google: W. Duch => Notatki do Wykładów. (c) 1999. Tralvex Yeap. All Rights Reserved

Pamięć skojarzeniowa Zdolność do rozpoznawania uszkodzonych wzorców – adresowalność kontekstowa. Uszkodzenie części macierzy połączeń nie prowadzi do zapomnienia konkretnych wzorców - brak lokalizacji. Czas (szybkość kojarzenia) nie zależy od liczby zapamiętanych wzorców, ale może się wydłużyć dla nieużywanych wzorców. Interferencja (mylenie się) dla podobnych wzorców jest częstsza niż dla wzorców odmiennych. Przepełnienie pamięci (macierzy wag) prowadzi do chaotycznego zachowania. Wniosek: Nawet proste mózgo-podobne rozproszone przetwarzanie informacji wykazuje interesujące podobieństwa do psychologicznych obserwacji. Złożoność mózgu nie jest głównym problemem! Im dokładniejsze modele tym więcej funkcji. (c) 1999. Tralvex Yeap. All Rights Reserved

INKa pomoże zrozumieć ... Problem ciała-umysłu => transformacja neurodynamiki w percepcję wewnętrzną (przestrzenie psychologiczne), Brain-Computer Interfaces. Przepływ informacji w mózgu: rola poszczególnych struktur: do czego służą, czyli co robią z informacją? Psychiatria generatywna: jakie jest efekt zaburzeń? Intuicja, wgląd, myślenie. Torowanie, psychologia eksperymentalna i kreatywność. Nabywanie umiejętności i świadomość. Dynamika uczenia się – jak nowicjusz staje się ekspertem? Talent, amuzja, wyobraźnia dźwiękowa. Rozwój umysłu niemowląt i dzieci. Obliczenia afektywne. Liczne zastosowania: od inspiracji dla uczenia maszynowego, analizy sygnałów, problemów językowych, do robotyki kognitywnej. Internet, łączność, rozrywka, biznes ... to mało interesująca część informatyki, zmiany będą przyspieszać. (c) 1999. Tralvex Yeap. All Rights Reserved

Intencje w mózgu Hayens i inn, Current Biology 2007: dostaniesz za chwilę dwie liczby, możesz je dodać lub od siebie odjąć ... a aktywność przyśrodkowej kory czołowej pokaże, jakie są Twoje intencje ... Wiesz co trzeba zrobić zanim wiesz co robisz ... wzrokowa droga grzbietowa jest szybsza! Obserwując korę przedczołową poznam Twoje plany 10 s. przed Tobą! Brain-Computer Interfaces: jakie są relacje pomiędzy stanami mózg a stanami umysłu? Projekt TOBI: Tools for BCI, EU FP7, 2009-2012

Neuroobrazowanie słów? Predicting Human Brain Activity Associated with the Meanings of Nouns," T. M. Mitchell et al, Science, 320, 1191, May 30, 2008 Czy możemy zobaczyć reprezentacje pojęć w mózgu? Po raz pierwszy udało się zobaczyć w miarę stabilne obrazy fMRI ludzi, którzy widzą, słyszą lub myślą o jakimś pojęciu. Czytanie słów, jak i oglądanie obrazków, które przywodzą na myśl dany obiekt, wywołuje podobne aktywacje - mózgowy kod sensu pojęć. Indywidualne różnice są spore ale aktywacje pomiędzy różnymi ludźmi są na tyle podobne, że klasyfikator może się tego nauczyć. Model nauczony na ~10 fMRI skanach + dużym korpusie słów (1012) przewiduje aktywność fMRI dla ponad 100 rzeczowników. Aktywacje mózgu dla różnych słów mogą służyć za rozkłady bazowe pozwalające za pomocą korelacji pomiędzy słowami przewidzieć aktywacje dla nowych pojęć; pobudzenia mózgu = naturalna baza reprezentacji. Przykłady fMRI dla czasowników . (c) 1999. Tralvex Yeap. All Rights Reserved

Modele funkcji mózgu Uwzględnia się wiele obszarów, np. dla wzroku LGN, V1, V2, V4/IT, V5/MT Można zbadać możliwe zaburzenia funkcji => psychiatria generatywna. Modele intuicji, wyobraźni, sensu słów, powstawania wrażeń, świadomości … Analiza sygnałów EEG, wykorzystanie do sterowania (BCI). (c) 1999. Tralvex Yeap. All Rights Reserved

Model biofizyczny Synapses Soma EPSP, IPSP Spike (c) 1999. Tralvex Yeap. All Rights Reserved

Problemy z umysłem Problemy klasyczne i współczesne: Problem wolnej woli i odpowiedzialności – „wolne”, bo nie da się przewidzieć ze względu na złożoność neurodynamiki? Błąd utożsamiania się z ego, a nie całym mózgiem ++ Problem jedności poczucia istnienia „ja”: tożsamy z problem integracji percepcji? Skoro różne aspekty postrzegania analizowane są przez różne obszary mózgu dlaczego świadomość w normalnym stanie wydaje się monolityczna? Czego nas uczą syndromy neuropsychologiczne i choroby psychiczne? Problem psychofizyczny – przebrzmiały? Umysł jest jedną z wielu rzeczy, którą robi mózg, ale potrzebujemy pomostu pomiędzy psychologią i neurobiologią; geometryczny model umysłu? Problem adekwatnego języka opisu umysłu, brak prostych modeli. Umysł to nie katapulta, centrala telefoniczna czy komputer.

Architektura mózgopodobna Stany mózgu są czasoprzestrzennymi rozkładami pobudzeń tkanki neuronów. Procesy poznawcze operują na znacznie przetworzonych sygnałach dochodzących od zmysłów. Czerwień, słodycz, ból ... to fizyczne (relacyjne) stany mózgu. Widzę, słyszę i czuję tylko stany mózgu! Np. złudzenia optyczne. Kora: zbiór mikroobwodów, rezonatorów tworzących stany kolektywne, pojedyncze neurony mają niewielkie znaczenie. Aktywna część kory: pamięć robocza, całkiem odmienna od pamięci w komputerach. Rejestry komputera to nie są stany dynamiczne, które automatycznie prowadzą do skojarzeń. (c) 1999. Tralvex Yeap. All Rights Reserved

BICA =Brain Inspired CA IBCA (Integrated Biologically-based Cognitive Architecture), (O'Reilly, Y. Munakata 2000): wyróżnia 3 typy pamięci. W korze ciemieniowej (PC), zazębiające się, rozproszone lokalne moduły, hierarchiczne, sensomotoryczne wielomodalne działania. W korze czołowej (FC) izolowana lokalna rekurencyjna reprezentacja odpowiedzialna za pamięć roboczą, wkład kombinatoryczny. W hipokampie (HC) rzadka, koniunktywna organizacja globalna, scalająca wszystkie pobudzenia w PC i FC (pamięć epizodyczna). Różne formy uczenia: korelacyjny model środowiska, redukcję błędów do uczenia umiejętności i dynamikę konkurencyjną (kWTA). Moduły PC & FC: powolne uczenie się regularności w obserwacjach. Moduł HC: szybkie uczenie, zapamiętywanie i rozróżnianie epizodów. Współpraca HC - FC/PC realizuje komplementarne strategie uczenia. Wyższe czynności poznawcze wynikają z aktualizacji reprezentacji modułu FC umożliwiającego samo-regulację. Jedynie podstawowe fakty psychologiczne; cele? emocje? skalowanie? (c) 1999. Tralvex Yeap. All Rights Reserved

BICA jako aproksymacja Znaczne postępy poczyniono wykorzystując inspiracje z badań nad mózgiem do analizy percepcji, mniejsze dla wyższych czynności poznawczych. Neurokognitywne podejście do lingwistyki stosowano do analizy zjawisk lingwistycznych, ale ma to niewielki wpływ na NLP. Potrzebne są nowe matematyczne techniki by opisać procesy obliczeniowe w terminach “wzorców stanów mózgu” i rozchodzenia się aktywacji między takimi wzorcami. Jak to zrobić? Prototypy dla stanów neuronowych? Możliwe, dobre rezultaty z analizy EEG => ruchy ręki lub ruchy oczu. Quasi-stacjonarne fale pobudzeń opisujące globalne stany mózgu w określonym kontekście (w,Cont)? Jak wyglądają ścieżki rozchodzenia się aktywacji w mózgu? Praktyczny algorytm rozszerza rep. pojęcia o te kategorie skojarzeń, które są pomocne w klasteryzacji i klasyfikacji (Duch i inn, Neural Networks 2008), usuwając słabe skojarzenia przez filtrowanie cech. (c) 1999. Tralvex Yeap. All Rights Reserved

Metafora systemu dynamicznego Umysł/mózg jak system dynamiczny: Thelen E. and Smith L.B. A Dynamic Systems Approach to the Development of Cognition and Action. MIT Press 1994. Smith L.B. and Thelen E, Eds. A Dynamic Systems Approach to the Development. MIT Press 1994. J. A. Scott Kelso, Dynamic Patterns. The Self-Organization of Brain and Behavior. MIT Press 1995 Jak połączyć neuro i psyche ? R. Shepard (BBS, 2001): uniwersalne prawa należy sformułować w odpowiednich abstrakcyjnych przestrzeniach psychologicznych; próba uproszczenia neurodynamiki => geometryczne modele umysłu. K. Lewin, koncepcyjna reprezentacja i pomiary siły psychologicznych (1938), stan kognitywny jako ruch w p-ni fenomenologicznej. George Kelly (1955), personal construct psychology (PCP), geometria p-ni psychologicznych jako alternatywa dla logiki. (c) 1999. Tralvex Yeap. All Rights Reserved

Umysł jest cieniem neurodynamiki. Ciało-umysł Poznanie wszystkich szczegółów na poziomie molekularnym lub pojedynczych neuronów nie wystarczy! Potrzebujemy prostego modelu obrazującego relacje pomiędzy mózgiem i umysłem. Tysiące konkretnych zjawisk ma wyjaśnienia i konkretne modele, w tym również struktura i przyczyna powstawania wrażeń. Model geometryczny opiera się na prostej metaforze: Umysł jest cieniem neurodynamiki. Modele geometryczne prowadzą do fizyki „przestrzeni mentalnych”. Ciekawe problemy matematyczne dotyczące opisu takich przestrzeni. Czy są to modele wystarczająco proste by dało się je zrozumieć? (c) 1999. Tralvex Yeap. All Rights Reserved

Model umysłu Model hierarchiczny, geometryczny, w p-niach psychologicznych, których wymiary dają się powiązać z doświadczanymi stanami wewnętrznymi jak i aktywacją różnych obszarów mózgu. wykrywanie cech - mapy topograficzne, kora sensoryczna rozpoznawanie obiektów - pamięć długotrwała pamięć robocza - bieżąca kontrola, przeżywana teraźniejszość. (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie się kategorii Kategoryzacja w psychologii – duża dziedzina, wiele teorii. Klasyczne eksperymenty: Shepard et. al (1961), Nosofsky et al. (1994) Problemy kategoryzacji o wzrastającym stopniu złożoności, mamy 3 binarne własności: kolor (czarny/biały), rozmiar (mały/duży), kształt (, ), oraz zbiór przykładów podzielonych na dwie kategorie C1, C2. Typ I : jedna własność określa kategorię, np. kolor. Typ II: dwie własności, z logiką XOR, np. Kat A: (czarny,duży) lub (biały,mały), kształt dowolny. Typ III-V: jedna własność + coraz więcej wyjątków. Typ VI: brak logicznej reguły, trzeba pamiętać przykłady. Trudności i szybkość uczenia się w eksperymentach: Typ I < II < III ~ IV ~ V < VI (c) 1999. Tralvex Yeap. All Rights Reserved

Dynamika kanoniczna Co dzieje się w mózgu w czasie uczenia się definicji kategorii na przykładach? Złożona neurodynamika <=> najprostsza dynamika (kanoniczna). Dla wszystkich reguł logicznych można napisać odpowiednia równania. Dla problemów typu II, czyli XOR: Przestrzeń cech, A=x, B=y C=A.xor.B (c) 1999. Tralvex Yeap. All Rights Reserved

Dziwne decyzje Lista symptomów i chorób: C (częsta), R (Rzadka), Symptomy: PC (zawsze dla C), PR (zawsze dla R), I (nieistotne, przypadkowe). PC, I => C, np. Gorączka, Katar => Grypa PR, I => PR, np. Ból gardła, Katar => Angina Niech C występuje 3 razy częściej niż R. Pokazujemy kombinację symptomów i pytamy o diagnozę: PC => C; I => C, PC, I => C PC+I+PR => C (60%) Jest to zgodne z oczekiwaniami opartymi na częstościach, ale: PC+PR => R (60%) ! Zaskakujące przewidywania, wbrew większości (Medin, Edelson 1988). (c) 1999. Tralvex Yeap. All Rights Reserved

Atraktory, na pomoc! Co się dzieje? Decyzje możemy racjonalizować, ale stoi za nimi dynamika działania mózgu – konieczna do zrozumienia ludzkich decyzji. Trzeba zbadać baseny atraktorów neurodynamiki. Rozkład prawdopodobieństwa w przestrzeni {C, R, I, PC, PR}. Stan umysłu: punkt w przestrzeni, baseny atrakcji – dołki, w które ten punkt wpada, z przypadkowego startu wpada zwykle w PC, bo jest to rozległy basen atrakcji, R jest głębszym i węższym, bo inaczej by się nie odróżnił od C. Interpretacja psychologiczna (Kruschke 1996): PR ma znaczenie ponieważ jest to symptom wyróżniający, chociaż PC jest częstszy. Niestety psycholodzy na wszystko znajdą pozorne wyjaśnienia ... (c) 1999. Tralvex Yeap. All Rights Reserved

Uczenie Neurodynamika Psychologia I+PC=>C, pojawia się często więc ma silniejsze połączenia synaptyczne, powstają większe i głębsze baseny atraktorów. Symptomy I, PC są typowe dla C ponieważ są częściej obserwowane. I+PR=>R, ponieważ formuje się atraktor dla I+PC prowadzący do C, nauczenie skojarzenia I+PR=>R wymaga powstania głębszego i bardziej zlokalizowanego atraktora. Dla rzadkiej choroby R symptom I występujący też z C jest mylący, uwaga skupia się na symptomie PR skojarzonym z R.

Punkty widzenia Neurodynamika Psychologia I=>C, bo dłuższe uczenie skojarzenia I+PC=>C tworzy większy wspólny basen atrakcji niż I+PR=>R. I => C, w zgodzie z większą częstością, bo częstsza stymulacja I+PC=>C jest częściej przypominana. I+PC+PR prowadzi często do C bo I+PC umieszcza system w środku dużego basenu skojarzonego z C i pomimo silnego gradientu wymiarze PR trajektorie zwykle kończą w C. I+PC+PR => zwykle do C ponieważ obecne są wszystkie symptomy a C jest częstsze (argument oparty na częstości). PR+PC prowadzi częściej do R ponieważ w kierunku R jest silny gradient i z punktu (PR,PC) dla małego I łatwiej skończyć w R. PC+PR => R ponieważ R jest symptomem dyskryminującym, chociaż PC jest częstsze (ale PC też takim jest?).

Modele mentalne Neurodynamika jest odpowiedzialna za rozumowanie; tylko proste skojarzeniowe formy rozumowania są łatwe. A=>B i B=>C to kojarzymy, że A=>C, ale weźmy schemat: Wszyscy akademicy to uczeni. Żaden mędrzec nie jest akademikiem. Co możemy powiedzieć o relacjach pomiędzy uczonymi i mędrcami? Po tygodniach namysłu studenci nadal nie potrafią odpowiedzieć. Na egzaminie pomimo wcześniejszych wyjaśnień ponad połowa podaje błędną odpowiedź. Wniosek: myślenie biegnie utartymi drogami, trudno jest myśleć nieschematycznie. (c) 1999. Tralvex Yeap. All Rights Reserved

Wyobraźnia wzrokowa Jak i gdzie tworzą się obrazy wzrokowe? Borst, G., Kosslyn, S. M, Visual mental imagery and visual perception: structural equivalence revealed by scanning processes. Memory & Cognition, 36, 849-862, 2008. Konkluzja: reprezentacja wzrokowa i wyobrażona jest bardzo podobna. Cui, X et al. (2007) Vividness of mental imagery: Individual variability can be measured objectively. Vision Research, 47, 474-478. Testy Vividness of Visual Imagination (VVIQ) dobrze się korelują z aktywnością kory wzrokowej względem całkowitej aktywności mózgu w fMRI (r=-0.73), i wynikach testów psychofizycznych. Warto zwracać uwagę na indywidualne różnice. Słaba wyobraźnia: dlaczego? Zbyt słabe pobudzenia zwrotne? Niezdolność rysowania z pamięci, opisu szczegółów, różnic, twarzy itp.

Kiedy powstają świadome wrażenia? Konieczna aktywność kory zmysłowej, np. V4=kolor, MT/V5=ruch. Strumienie wstępujące i zstępujące łączą się, tworząc stany rezonansowe. Co dzieje się gdy przepływ infromacji w jedną ze stron jest słaby? C. Gilbert, M. Sigman, Brain States: Top-Down Influences in Sensory Processing. Neuron 54(5), 677-696, 2007 Przetwarzanie informacji ze zmysłów w korze i wzgórzu podlega silnym wpływom "odgórnym", w których złożone hipotezy zmieniają procesy na niskim poziomie. Kora funkcjonuje jako system adaptacyjny, zmieniając aktywność pod wpływem uwagi, oczekiwań, zadań związanych z percepcją. Stany mózgu tworzą się przez interakcję pomiędzy wieloma obszarami, w tym modulację lokalnych mikro-obwodów przez sprzężenia zwrotne. Zakłócenia tego przepływu informacji mogą prowadzić do zaburzeń behawioralnych. Dehaene i inn, Conscious, preconscious, and subliminal processing. TCS 2006 Siła wpływu informacji wstępującej i uwaga (informacja zstępująca), dają 4 sytuacje, w których bodźce i uwaga są konieczne do świadomej percepcji.

Uwaga wzrokowa Normalna percepcja wymaga uwagi, informacji zstępującej, oczekiwań. Co się dzieje jeśli kora zmysłowa jest słabo pobudzana przez PC/FC? To nie jest zwykła agnozja, raczej agnozja wyobraźni, nieopisany stan! Czym się takie słabe sprzężenie będzie charakteryzować? Problemy z uwagą? Jeśli połączenia są bardzo słabe rozpoznawanie obiektów przy słabym świetle może być znacznie utrudnione. Zwykle tylko słaba wyobraźnia wzrokowa, pamięć widzianych szczegółów, trudności z rysowaniem z pamięci, przypominaniem i opisywaniem rzeczy, notowaniem zmian, słabe wyniki w układankach i grach pamięciowych, trudności w postrzeganiu ukrytych obrazków 3D, być może skłonności introwertyczne. Typ bardziej koncepcyjny niż percepcyjny … Pamięć rozpoznawcza normalna. Na poziomie PC/FC mniej interferencji z obszarów zmysłowych, może być lepsza niż przeciętna wyobraźnia, kreatywność i rozumowanie.

Wyobraźnia muzyczna i talent Aktywacje fMRI rosną w czasie testu wyobraźni dźwiękowej wykonanego w ciszy, w przedniej części górnego zakrętu skroniowego kory słuchowej. Zatorre & Halpern, Mental Concerts: Musical Imagery and Auditory Cortex, Neuron 47, 9-12, 2004. Wyobrażenia dźwięków są ważnym aspektem rozwoju muzycznego. "Celem występu muzycznego jest reprodukcja wewnętrznego obrazu dźwiękowego" (D.R. Allen, praca doktorska z muzykologii, 2007). Testy słuchu muzycznego nie wystarczają, można mieć dobry słuch i wzrok, przyjemność z oglądania/słuchania muzyki, lecz mimo tego trudności w nauce. Talent wymaga dobrego działania i współdziałania wszystkich struktur mózgu, fMRI jest za drogie, potrzebujemy prostych testów!

Testy przesiewowe Problem: znaczny procent dzieci cierpi na zaburzenia rozwojowe np. na dysleksję >10% populacji, utratę słuchu stwierdza się średnio dopiero >2 lat, ponad 200 mln dzieci na świecie nie jest zdolna do nauki! Czas wykrycia problemu decyduje o możliwościach rehabilitacji. Konieczne są tanie testy przesiewowe na dużą skalę. Planujemy testy oparte na reakcjach fizjologicznych, pozwalające na wczesną identyfikację problemów rozwojowych: zaburzeń słuchu, zwłaszcza fonematycznego; zaburzeń uwagi, pamięci roboczej, koordynacji. Technologia: komputer, PDA lub telefon + tanie urządzenia pomiarowe lub serwer usługowy. Testy czasów reakcji, synchronizacji procesów mózgowych, są w fazie opracowań. (c) 1999. Tralvex Yeap. All Rights Reserved

Automatyzacja działań Uczenie się: początkowo świadome działania angażują cały mózg, w końcu działania automatyczne, podświadome, zlokalizowane. Formowanie się nowych kwazistabilnych stanów mózgu w czasie uczenia się => modele neuronowe. Uczenie się wymaga wzmacniania zachowań pożądanych, obserwacji i oceny złożonych stanów mózgu. Powiązanie obecnego działania z zapamiętanymi skutkami podobnych działań wymaga ocen i porównań, a następnie reakcji emocjonalnych, które wyzwolą neurotransmitery (dopaminę) jako sygnał wzmacniający, zwiększający szybkość uczenia modułów neuronowych. Pamięć robocza w tak złożonym procesie jest niezbędna. Błędy należy zapamiętać, zwłaszcza gorzki smak porażki. Nie ma żadnego transferu od świadomego do nieświadomego! Jest tylko (świadomy) proces oceny potrzebny do wzmocnienia.

Pamięć i kreatywność Mózgi osób kreatywnych reagują na więcej sygnałów dochodzących ze środowiska, nie blokują mocno sygnałów, które wcześniej były nieistotne, nie ulegając łatwo habituacji (Carson, 2003). Może się to wiązać z bogatszą reprezentacją koncepcji i sytuacji w umysłach osób kreatywnych. Podobne zachowania obserwowano u mnichów Zen. PRIMA, technika skojarzeń par słów pozwala badać, czy w mózgu danej osoby jest ścieżka, łącząca dane koncepcje. A. Gruszka, E. Nęcka, Creativity Research Journal 2002. Słowo 1 Torowanie 0,2 s Słowo 2 Słowa mogą być łatwe lub trudne do skojarzenia; słowa torujące mogą być pomocne lub neutralne; pomocne to skojarzenie semantyczne lub fonologiczne (hogse do horse); neutralne mogą być bezsensowne lub nie związane z prezentowaną parą. Rezultaty dla grupy ludzi silnie/słabo kreatywnych są zadziwiające … (c) 1999. Tralvex Yeap. All Rights Reserved

Skojarzenia i kreatywność Hipoteza: kreatywność zależy od pamięci skojarzeniowej, zdolności do łączenia odległych koncepcji ze sobą. Rezultat: kreatywność jest skorelowana ze zdolnością do skojarzeń i podatnością na torowanie; trudniejsze skojarzenia mają dłuższe latencje. Torowanie neutralne działa dziwnie: dla prostych skojarzeń nonsensowne słowa torujące przeszkadzają osobom kreatywnym, pomagają reszcie; w pozostałych przypadkach pomagają! dla odległych skojarzeń torowanie zawsze zwiększa siłę skojarzeń, u osób kreatywnych dając najsilniejszy efekt. Podobnie zagadkowe są wyniki dla czasów reakcji. Konkluzje autorów: Gęstsze połączenia => lepsze skojarzenia => większa kreatywność. Wyniki dla neutralnych słów torujących są niezrozumiałe. (c) 1999. Tralvex Yeap. All Rights Reserved

Skojarzenia - powtórka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami; dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów. Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla osób kreatywnych wywołanie rezonansu miedzy odległymi mikroobwodami jest możliwe: mamy tu rezonans stochastyczny! Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. Nie pomaga to jednak dla odległych skojarzeń, nie pobudzając pośrednich obwodów, które muszą być aktywne by powstał rezonans, za to słowa nonsensowne wzmagają efekt torowania. (c) 1999. Tralvex Yeap. All Rights Reserved

Projekty lingwistyczne Open Mind Common Sense Project (MIT): projekt kolaboracyjny WWW , ponad 15 000 autorów, którzy wpisali ponad 710 000 faktów; wyniki posłużyły do utworzenia ConceptNet, bardzo dużej sieci semantycznej. Commonsense Computing @ MediaLab, MIT, miał stworzyć skalowalny system oparty na zdroworozsądkowej wiedzy, zbieranej z tekstów, zautomatyzowanych obserwacji i w projektach kolaboracyjnych. LifeNet zbiera informację o wydarzeniach w życiu, opiera się na wersji Multi-Lingual ConceptNet używając sieci semantycznej, która ma 300 000 węzłów; informacja o zdarzeniach ma być zbierana z sensorów. Honda Open Mind Indor Common Sense zbiera nadal info zadając pytania. Inne projekty: HowNet (Chinese Academy of Science), FrameNet (Berkeley), różne duże ontologie, MindNet (Microsoft), początkowo do tłumaczenia. Próbują zgromadzić fakty o świecie, ale mózgi robią to inaczej ... (c) 1999. Tralvex Yeap. All Rights Reserved

Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy (allofony) są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. (c) 1999. Tralvex Yeap. All Rights Reserved

Twórz, maszyno, twórz Zrozumienie sposobu analizy i tworzenia słów w mózgach pozwala na sformułowanie algorytmów, które w podobny sposób będą tworzyć nowe słowa, np. na podstawie opisów produktów lub usług. Przykład pośredniego etapu radosnego słowotwórstwa sieci neuronowej: ardyczulać ardychstronnie, ardywialić ardyklonnie, ardywializować ardywianacje, argadolić argadziancje, arganiastość arganastyczna, arganianalność arganiczna, argasknie argasknika, argulachny argatywista, argumialent argumiadać argumialenie argumialiwić argumowny argumofon argumował argumowalność Czy "argumiadać" to nie piękne słowo? Kojarzy się z kimś, kto argumentuje tak intensywnie, że ujada. Proces tworzenia słów da się analizować teoretycznie i eksperymentalnie. (c) 1999. Tralvex Yeap. All Rights Reserved

Kilka zwariowanych projektów Programy Sztuka Mózgi Ludzie Programy: podstawy inteligencji obliczeniowej, systemy uczące się, integracja metod uczenia, selekcji informacji i meta-uczenia, czyli tego jak się nauczyć uczyć (neuro)komputery. Sztuka: obrazy i dźwięki tworzone przez komputer lub interaktywnie. Mózgi: symulacja, pień mózgu i procesy oddychania, przytomności, informatyka neurokognitywna, rozumienie, intuicja, wyobraźnia i kreatywność programów. Ludzie: obserwacja niemowląt, kierowanie ich rozwojem, testy zdolności poznawczych dzieci, badanie talentu. (c) 1999. Tralvex Yeap. All Rights Reserved

Rozumienie tekstów Neurokognitywne podejście do rozumienia języka (projekt IP FP7): słowa, koncepcje, pobudzają skojarzone z nimi koncepcje; ważne jest prawdopodobieństwo rozkładu, koncepcje odnoszące się do tego samego tematu lepiej do siebie pasują, tworząc graf spójnych koncepcji  aktywnej części pamięci semantycznej z hamowaniem i rozchodzeniem się aktywacji. Dla tekstów medycznych mamy >2 mln koncepcji, 15 mln relacji … (c) 1999. Tralvex Yeap. All Rights Reserved

Oznaczanie części mowy+ ekstrakcja fraz Pytania Pamięć semantyczna Zastosowania, szukanie, gry słowne, 20 pytań. HIT – naturalny interfejs interfejs graficzny http://diodor.eti.pg.gda.pl Organizuj Oznaczanie części mowy+ ekstrakcja fraz Słowniki w sieci, ontologie, aktywne szukanie, dialog z użytkownikiem, gry słowne. weryfikuj Parser poprawiaj (c) 1999. Tralvex Yeap. All Rights Reserved

Nadchodzą interesujące czasy Nadchodzą interesujące czasy! Dziękuję za zsynchronizowanie swoich neuronów Google: W Duch => Prace, referaty, wykłady (c) 1999. Tralvex Yeap. All Rights Reserved