Inteligentne Systemy Autonomiczne EE141 Inteligentne Systemy Autonomiczne Kognitywistyka W oparciu o wykład Prof. Randall O'Reilly University of Colorado, Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika oraz http://wikipedia.org/ http://grey.colorado.edu/CompCogNeuro/index.php/CECN_CU_Boulder_OReilly http://grey.colorado.edu/CompCogNeuro/index.php/Main_Page Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Omówiliśmy Pojęcie inteligencji obudowanej (EI) Uwarunkowania EI EE141 Omówiliśmy Pojęcie inteligencji obudowanej (EI) Uwarunkowania EI Zasady projektowania mechanizmów EI W pozostałej części wykładu omówimy Podstawy kognitywistyki i jej psychologiczne uwarunkowania Modele i mechanizmy inteligencji obliczeniowej Modele pamięci i uczenia Organizacje i budowę mózgu

EE141 Wymagania Laboratorium do wykładu w oparciu o ćwiczenia programu Emergent do 10% oceny Oceniany przez asystenta Projekt koncowy wykladu w oparciu o “Goal Creation Experiment” Obecność na wykładzie Egzamin końcowy składa się z Części opisowej na ostatnich zajęciach dotyczącej przerobionego na wykładzie materiału Części opisowej dotyczącej ćwiczeń laboratoryjnaych z przygotowana lista pytań na które studenci odpowiadają w samodzielnie sporządzonym raporcie złożonym na ostatnich zajęciach Strona wykładu http://www.ent.ohiou.edu/~starzyk/network/Class/ee690/ISA II/index.htm

Podstawy rozwoju inteligentnych systemów EE141 Podstawy rozwoju inteligentnych systemów Z ksiązki Rolf Pfeifer “Understanding of Intelligence” Współdziałanie ze złożonym otoczeniem Tania budowa Balans ekologiczny Zasada nadmiarowości Równoległe, luźno połączone procesy Asynchronizm Współdziałanie czujników i przekaźników Zasada wartości Agent Rysunek Ciarán O’Leary- Dublin Institute of Technology

Zasady projektowania autonomicznych systemów inteligentnych EE141 Zasady projektowania autonomicznych systemów inteligentnych Z książki Rolf Pfeifer “Understanding of Intelligence” Zasady Projektowania Podejście syntetyczne Perspektywa czasowa Wyłanianie sie Różnorodność Nisza ekologiczna Projektowanie Agentów Projekt jest tani Ma balans ekologiczny Zasada nadmiarowości Równoległe, luźno powiązane procesy Współdziałanie sensoryczno-motoryczne Zasada wartości działania

Inteligencja Obudowana EE141 Inteligencja Obudowana Definicja Inteligencja Obudowana (EI) jest to mechanizm który uczy sie jak przetrwać w nieprzychylnym otoczeniu Mechanizm: biologiczny, mechaniczny albo wirtualny agent z wbudowanymi czujnikami i siłownikami EI oddziaływuje na otoczenie i odczuwa wyniki swojego działania Nieprzychylność otoczenia nie zanika i stymuluje EI do działania Nieprzychylność: agresja, ból, ograniczone środki, itp. EI uczy sie, musi wiec mieć asocjacyjną samoorganizującą sie pamięć Wiedza jest zdobywana przez EI (pochodna inteligencji)

EE141 Obudowa Umysłu Obudowa zawiera połączenia sensoryczne i motoryczne którymi rdzeń inteligencji kontroluje przy współdziałaniu z otoczeniem. Konieczna do rozwoju inteligencji Niekoniecznie stała lub w formie fizycznego ciała. Jej granice są zmienne i wpływają na samookreślenie mózgu. Environment Intelligence core Embodiment

2017/3/28 2017/3/28 Uczenie Motywowane Definition: Uczenie motywowane (Motivated learning ML) jest oparta o motywacje tworzeniem celow dzialnia i uczeniem sie w obudowanych agentach. Maszyna wytwarza abstrakcyjne cele w oparciu o sygnaly bolu Otrzymuje wewnetrza nagrode za spelnienie celow dzialania (pierwotnych i abstrakcyjnych) ML stosuje sie do EI dzialajavych w nieprzychylnym srodowisku Sygnaly bolu konkuruja z sygnalami percepcji i wewnetrznymi o uwage Wynikim tej konkurencji jest przelaczanie uwagi. Swiadome postrzeganie jest wspomagane przez zwycieski sygnal uwagi 8 8

Uczenie ze Wzmocnieniem Uczenie Motywowane 2017/3/28 2017/3/28 Uczenie ze Wzmocnieniem Uczenie Motywowane Jedna funkcja wartosci Dla wszystkich celow Nagrody sa mierzalne Przewidywalne Cel postawiony przez projektanta Maksymalizacja nagrody Potencjanie niestabilne Wysilek uczenia rosnie ze zlozonoscia problemu Zawsze aktywne Wiele funkcji wartosci Po jednej dla celu Nagrody sa wewnetrzne Nieprzewidywalne Maszyna okresla wlasne cele Rozwiazuje zadnie minimaksu Zawsze stabilne Uczy sie latwiej niz RL Dziala tylko gdy potrzeba http://www.bradfordvts.co.uk/images/goal.jpg 9 9

Tworzenie Celow Pierwotnych 2017/3/28 Tworzenie Celow Pierwotnych - + Bol Sucha ziemia Poziom pierwotny wylej wanna usiadz smieci napelnij szlauch konewka podlej Bol wtorny Wzmacnianie wlasciwej akcji

Tworzenie Celow Abstrakcyjnych EE141 Tworzenie Celow Abstrakcyjnych Celem jest zmniejszenie prymitywnego poziomu bólu Abstrakcyjne cele są wytwarzane w oparciu o niższe cele zaspakajają prymitywne cele Sciezka czuciowa Sciezka motoryczna (postrzeganie, czucie) (akcja, reakcja) lodowka Otworz Poziom II - + Jedzenie hamuje Bol abstrakcyjny wzbudzone centrum (i pamiec bolu) bolu abstrakcyjnego Jedzenie Jesc Poziom I - + Asocjacja Hamowanie Wzmocnienie Pobudzenie Oczekiwanie Wtorny bol Bol Poziom pierwotny zoladek

Abstrakcyjna Hierarchia Celow 2017/3/28 Abstrakcyjna Hierarchia Celow Sciezka czuciowa Sciezka motoryczna Hierarchia abstrakcyjnych celow tworzy sie w oparciu o cele pierwotne - + Sucha ziemia kurek konewka odkrec podlej zbiornik nalej Poziom III Poziom II Asocjacja Stymulacja Hamowanie Wzmocnienie Pobudzenie Potrzeba Oczekiwanie Poziom I Poziom pierwotny

Cele Pierwotne Water Reservoir Abstract Needs Wash in Water Drink Water Irrigate Dirty Thirsty Drought Primitive Needs

Cele Abstrakcyjne Well Public Money Draw own Water Spend Money to Buy Spend Money to Build Water Reservoir Abstract Needs Wash in Water Drink Water Irrigate Dirty Thirsty Drought Primitive Needs

Build Water Recreation Cele Abstrakcyjne Ground Water Well Building Wealthy Taxpayers Tourists' Attractions Dig a Well Rise Taxes Build Ecotourism Water Supply Well Public Money Build Water Recreation Draw own Water Spend Money to Buy Spend Money to Build Water Reservoir Abstract Needs Wash in Water Drink Water Irrigate Dirty Thirsty Drought Primitive Needs

Cele Abstrakcyjne Drought Reservoir Public Money Tourists' Attractions Irrigate Spend Money to Build Build Ecotourism Thirsty Water Drink Water Spend Money to Buy Primitive Needs Build Water Recreation Policy Develop Infrastructure Wealthy Taxpayers Rise Taxes Well Draw own Water Dirty Wash in Water Well Building Dig a Well Abstract Needs Employment Opportunities Ground Water Water Supply Receive Salary Resource Management and Planning Management Regulate Use Planning

Eksperyment Tworzenia Celow EE141 Eksperyment Tworzenia Celow

Eksperyment Tworzenia Celow EE141 Eksperyment Tworzenia Celow Połączenia pomiędzy neuronami sensorycznymi S, ruchowymi M, torującymi B, bolu P i celow działania G.

Eksperyment Tworzenia Celow EE141 Eksperyment Tworzenia Celow Dopasowanie wag torujących ośrodki bolu

Eksperyment Tworzenia Celow EE141 Eksperyment Tworzenia Celow Zadaniem jest napisanie programu realizującego ten eksperyment dla dowolnej ilości wejść i wyjść Zadane w eksperymencie parametry będą użyte do ilustracji konkretnego uczenia Program ma zademonstrować działanie maszyny w zmieniającym sie środowisku W procesie uczenia należy wykorzystać parametry środowiska podane w eksperymencie Maszyna będzie testowana przy nowych parametrach środowiska Pomiar skuteczności działania określony będzie poprzez integracje prymitywnego bolu

(Neuro)kongitywizacja EE141 (Neuro)kongitywizacja Powoli udaje się nam zrozumieć naturę ludzką. Wszystkie dziedziny ulegają „kognitywizacji”: Neurofilozofia, filozofia umysłu. Psychologia (neuro)kognitywna. Lingwistyka (neuro)kognitywna. Nowe dziedziny: Kognitywna matematyka. Kognitywna fizyka. Kognitywna historia, antropologia, socjologia. Kognitywna ekonomia i neuromarketing. Neuroestetyka. Neuroetyka. Neuroteologia. +Wiele innych dziedzin...bez zrozumienia siebie nie da się rozumieć!

EE141 Mózgi ... Najbardziej interesujące i najbardziej złożone obiekty w znanym wszechświecie Jak można zrozumieć działanie mózgu? Na jakim poziomie się do tego zabrać? Zewnętrzny opis niewiele da. Jak można zrozumieć działanie telewizora lub komputera? Eksperymenty nie wystarczą, konieczny jest schemat i zrozumienie zasad działania. Aby się upewnić, że rozumiemy jak działa, trzeba zrobić model.

Skąd coś wiemy? Niezwykle ważne pytanie: skąd coś wiemy? EE141 Gall zauważył, że kształt czaszki decyduje o zdolnościach. Tysiące przypadków potwierdziły jego obserwacje. => Kranioskopia: mierzenie kształtu czaszki i określanie zdolności. Oto mapa głównych ośrodków ... Czy naprawdę wiem, czy tylko mi się wydaje? Czy mogę poprzestać na niepewności, czy muszę się zdeklarować? Niepewność pozwala się uczyć, pewność znacznie uczenie utrudnia (widać to na modelach). Jeśli zdajemy sobie sprawę z tego, jak łatwo się samemu oszukiwać, możemy uniknąć fanatyzmu (naukowego i nie tylko). Skąd coś wiemy? Niezwykle ważne pytanie: skąd coś wiemy? Przykład: cudowna dieta dr K, chińska medycyna ludowa (bardzo popularna w Singapurze) i inne cuda medyczne. Skąd wiemy, że działa? Skąd wiemy, że nasze opinie odpowiadają rzeczywistości?

Jak zrozumieć mózg? Zrozumieć: zredukować do prostszych mechanizmów? EE141 Jak zrozumieć mózg? Zrozumieć: zredukować do prostszych mechanizmów? Jakich mechanizmów? Analogii z komputerem? RAM, CPU? Logika? To marne analogie. Psychologia: najpierw trzeba opisać zachowanie, poszukuje wyjaśnień najczęściej na poziomie opisowym, ale jak je zrozumieć? Redukcjonizm fizyczny: mechanizmy mózgu. Rekonstrukcjonizm: używając mechanizmy odtworzyć funkcje mózgu Na wiele pytań można odpowiedzieć tylko z perspektywy ekologicznej i ewolucyjnej: dlaczego świat jest taki, jaki jest? Bo taki się zrobił ... Dlaczego kora ma budowę kolumnową i warstwową? Stworzyć: co trzeba wiedzieć by stworzyć sztuczny mózg?

Od molekuł poprzez sieci neuronow... EE141 Od molekuł poprzez sieci neuronow... 10-10 m, poziom molekularny: kanały jonowe, synapsy, własności błon komórkowych, biofizyka, neurochemia, psychofarmakologia; 10-6 m, pojedyncze neurony: neurochemia, biofizyka, LTP, neurofizjologia, modele neuronów, detektory specyficznej aktywności, wylanianie sie. 10-4 m, małe sieci: synchronizacja aktywności neuronów, rekurencja, neurodynamika, układy wielostabilne, generatory wzorców, pamięc, zachowania chaotyczne, kodowanie neuronowe; neurofizjologia ... 10-3 m, funkcjonalne grupy neuronów: kolumny korowe (104-105), synchronizacja grup, kodowanie populacyjne, mikroobwody, Local Field Potentials, neurodynamika wielkiej skali, pamiec sekwencyjna, neuroanatomia i neurofizjologia.

EE141 … do zachowania 10-2 m, sieci mezoskopowe: mapy czuciowo-ruchowe, samoorganizacja, teorie pola średniego, pamiec asocjacyjna, teorie ośrodków ciągłych, EEG, MEG, metody obrazowania PET/fMRI ... 10-1 m, pola transkorowe, obszary funkcjonalne mózgu: uproszczone modele kory, struktury podkorowe, działania sensomotoryczne, integracja funkcji, wyższe czynności psychiczne, pamięć robocza, świadomość; (neuro)psychologia, psychiatria komputerowa ... Zjawiska poznawcze Zasady oddziaływań Mechanizmy neurobiologiczne

EE141 Poziomy opisu Podsumowanie (Churchland, Sejnowski 1988)

Poziom systemowy Słowniczek nazw Polsko - Łacińskich części mózgu EE141 Poziom systemowy Słowniczek nazw Polsko - Łacińskich części mózgu http://www.kognitywistyka.net/mozg/slowniczek.html oraz innych informacji o budowie i funkcjonowaniu mózgu

… do umysłu Teraz zdarza się cud ... 1 m, CUN, cały mózg i organizm: EE141 … do umysłu Teraz zdarza się cud ... 1 m, CUN, cały mózg i organizm: powstaje świat wewnętrzny, zachowania intencjonalne, działania celowe, myślenie, język, wszystko co bada psychologia behawioralna. Przybliżenia modeli neuronowych: Finite State Automata, reguły zachowania, modele oparte na wiedzy mechanizmów poznawczych w sztucznej inteligencji. Gdzie podziała się psyche, perspektywa wewnętrzna? Lost in translation: sieci => automaty skończone => zachowanie

Źródła wiedzy o mózgu Anatomia mózgu: EE141 Źródła wiedzy o mózgu Anatomia mózgu: metody klasyczne, neuroanatomia porównawcza; tomografia komputerowa (CT scan), USG mózgu; Rezonans Magnetyczny (MRI). Metody badania funkcji mózgu: Obserwacje rezultatów uszkodzeń (wypadki, udary, guzy mózgu, operacje mózgu). Obserwacje neuropsychologiczne, choroby psychiczne. Systematyczne uszkodzenia mózgów zwierząt. Bezpośrednie stymulacje mózgu (TMS, elektrody) i zmysłów, obserwacje reakcji fizjologicznych (introspekcja, GSR, EMG, oczy). Bezpośrednie obserwacje elektrycznej aktywności kory mózgu: ECoG, optyczne, pomiary wieloelektrodowe. Obserwacje aktywności dużych grup neuronów EEG, MEG. Nieinwazyjne metody pośrednie: fMRI, PET, SPECT.

Podejście neurokognitywne EE141 Podejście neurokognitywne Computational cognitive neuroscience: szczegółowe modele funkcji poznawczych i neuronów. Informatyka neurokognitywna: uproszczone modele wyższych czynności poznawczych, myślenia, rozwiązywania problemów, uwagi, języka, kontroli zachowania i świadomości. Wiele spekulacji, ale modele jakościowe wyjaśniające rezultaty eksperymentów psychofizycznych oraz przyczyny chorób psychicznych rozwijają się szybko. Nawet proste mózgo-podobne przetwarzanie informacji daje rezultaty podobne do prawdziwych! Przestroga przed nadmiernym optymizmem opartym na modelach behawioralnych.

Model transformacji ~ p(MI|X) Myocardial Infarction (atak serca) EE141 Model transformacji Przetwarzanie informacji, pomijane sprzężenia zwrotne: redukcja ilości informacji (kategoryzacja), działania senso-motoryczne. Myocardial Infarction (atak serca) ~ p(MI|X) Sex Age Smoking ECG: ST Pain Intensity Duration Elevation 0.7 5 1 -1 3 65 Inputs: Output weights Input weights

Model samoorganizacji EE141 Model samoorganizacji Topograficzne reprezentacje w licznych obszarach mózgu: bodźców czuciowych, w korze ruchowej i móżdżku, wielomodalne mapy orientacji w wzgórkach czworaczych górnych, mapy w układzie wzrokowym i mapy kory słuchowej. Model (Kohonen 1981): konkurencja między grupami neuronów i lokalna kooperacja. Neurony reagują na sygnały dostrajając swoje parametry tak, by bodźce do siebie podobne pobudzaly sąsiednie neurony.

Model dynamiczny Silne sprzężenia zwrotne, neurodynamika. EE141 Model dynamiczny Silne sprzężenia zwrotne, neurodynamika. Model Hopfielda: pamięć skojarzeniowa, uczenie w oparciu o regułę Hebba, dynamika synchroniczna, neurony dwustanowe. Wektor potencjałów wejściowych V(0)=Vini , czyli wejście = wyjście. Dynamika (iteracje) Þ sieć Hopfielda osiąga stany stacjonarne, czyli odpowiedzi sieci (wektory aktywacji elementów) na zadane pytanie Vini (autoasocjacja). Jeśli połączenia są symetryczne to taka sieć dąży do stanu stacjonarnego (atraktor punktowy). t = dyskretny czas.

Model biofizyczny – spiking neurons EE141 Model biofizyczny – spiking neurons EPSP, IPSP Spike Soma Synapses “Spiking Neuron Models”, W. Gerstner and W. Kistler Cambridge University Press, 2002 http://icwww.epfl.ch/~gerstner//SPNM/SPNM.html

Podstawy molekularne -70mV Na+ K+ Ca2+ Jony/białka EE141 Podstawy molekularne Potencjały akcyjne sa wynikiem prądów które przepływają przez kanały jonowe w błonie komórkowej Hodgkin i Huxley zmierzyli te prądy i opisali ich dynamikę równaniami różniczkowymi Potencjał akcyjny Ca2+ Na+ K+ -70mV Jony/białka The title contains the three main keywords of this talk which are . .. …Indeed, in this work made in collaboration with WG, we try to model these two neural systems in order to achieve spatial behavior. In other words, we take inspiration from biology, and in particular we try to understand the mechanisms which underlie the navigation capabilities of rats, to model them, and then to validate the model on a mobile robot. That is, this is what we’d like to have. But, this is what we do actually have.

Model Hodgkin-Huxley C gl gK gNa I sod potas wyciek EE141 Model Hodgkin-Huxley 100 mV wewnatrz C gl gK gNa I Ka Na Na zewnatrz Kanaly jonowe Pompa jonowa pobudzenie sod potas wyciek Prawdopodobienstwo ze kanal jest otwarty jest opisane przez dodatkowe zmienne m, n, i h.

Model odpowiedzi impulsowej EE141 Model odpowiedzi impulsowej j Aktywizacja i Pobudzenie: EPSP Pobudzenie: EPSP Aktywizacja: AP Poprzedni impuls i Wszystkie impulsy i neurony liniowy Firing: progowy

Model integracji i akywizacji EE141 Model integracji i akywizacji j Aktywizacja i reset I Pobudzenie : EPSP liniowy Fire+reset progowy

Zjawiska psychologiczne EE141 Zjawiska psychologiczne Percepcja wzrokowa: oglądając naturalne obrazy należy zrozumieć sposoby kodowania obiektów i scen. Uwaga przestrzenna: uwzględnienie interakcji pomiędzy strumieniami informacji wzrokowej pozwoli symulować skupianie uwagi. Pamięć: modelowanie struktur hipokampa pozwala na zrozumienie różnych aspektów pamięci epizodycznej, a mechanizmy uczenia pokazują jak dochodzi do powstawania pamięci semantycznej. Pamięć robocza: wyjaśnienie zdolności do jednoczesnego utrzymywania w umyśle kilku liczb w czasie obliczen wymaga specyficznych mechanizmów w modelu neuronowym.

Zjawiska psychologiczne EE141 Zjawiska psychologiczne Czytanie słów: sieć będzie się uczyć czytania i wymowy słów a następnie uogólniać swoją wiedze na wymowę nowych słów oraz odtwarzać pewne formy dysleksji. Reprezentacje semantyczne: analizując tekst na podstawie kontekstu występowania poszczególnych słów sieć nauczy się semantyki wielu pojęć. Podejmowanie decyzji i wykonywanie zadań: model kory przedczołowej potrafi utrzymywać uwagę na wykonywanych zadaniach pomimo czynników przeszkadzających. Rozwój reprezentacji kory ruchowej i somatosensorycznej: przez uczenie i kontrolowaną samoorganizację;

Zalety modelowych symulacji EE141 Zalety modelowych symulacji Modele pomagają zrozumieć zjawiska: umożliwiają nowe inspiracje, wgląd w problem pozwalają na symulację efektów uszkodzeń i zaburzeń (leków, zatruć). pomagają zrozumieć zachowanie, modele można formułować na różnych poziomach złożoności, modele zjawisk zachodzących w ciągły sposób (np ruchu czy percepcji), modele umożliwiają szczegółową kontrolę warunków eksperymentu i dokładną analizę wyników Modele wymagają dokładnej specyfikacji, unaocznienia założeń pozwalają na nowe przewidywania dokonują dekonstrukcji koncepcji psychologicznych (pamięć robocza?) pozwalają zrozumieć złożoność problemu pozwalają na uproszczenia umożliwiając analize złożonego systemu dostarczają jednolitego, spójnego schematu postępowania

EE141 Wady symulacji Modele są zwykle za proste, powinny obejmować wiele poziomów. Modele mogą być zbyt złożone, czasami teoria pozwala na prostsze wyjaśnienia (czemu na równiku nie ma huraganów?). Nie zawsze wiadomo co należy uwzględnić w modelowaniu. Modele nawet jeśli działają to jeszcze nie znaczy, że rozumiemy mechanizmy Wiele alternatywnych choć całkiem różnych modeli może wyjaśnić to samo zjawisko. Ważne są ogólne zasady, parametry są ograniczone przez neurobiologię na różnym poziomie, im więcej zjawisk model tłumaczy tym jest bardziej prawdopodobny i uniwersalny. Uwzględnianie oddziaływań i wyłanianie (konstrukcja) są bardzo ważne. Wiedza zdobywana dzięki modelom powinna ulegać kumulacji

Motywacja Kognitywistyczna EE141 Motywacja Kognitywistyczna Pomimo ze proces myślowy wydaje się szeregowym przetwarzaniem informacji dokładniejsze modele przewidują równolegle przetwarzanie Stopniowe przejście pomiędzy świadomymi i podświadomymi procesami Równolegle przetwarzanie sygnałów sensoryczno motorycznych przez dziesiątki milionów neuronów Wyspecjalizowane obszary pamięci odpowiedzialne za rożne reprezentacje np kształt, kolor, miejsce, czas Stopniowość reprezentacji symbolicznych bardziej rozmyta niż logika binarna Mechanizmy uczenia jako podstawa kognitywistyki Kiedy się uczysz zmieniasz sposób przetwarzania informacji w mózgu Rezonans pomiędzy reprezentacja “od dołu” i rozumieniem “od góry” Przewidywanie i kompetycja pojęć