EE141 Założenia Systemowe Inteligentne Systemy Autonomiczne Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

EE141  Musimy wiedzieć jak  Musimy rozwinąć metody jej implementacji  Musimy mieć środki do jej budowy i ciągłej operacji Jak stworzyć wysoka inteligencje?

EE141 Wymogi Obudowanej Inteligencji  Zależna od stanu układu  Uczy się wzorców przestrzenno-czasowych  Zlokalizowana w czasie i przestrzeni  Uczenie się  Nie ustające  Wykrywające nowość  Ma system wartości  Wykrywanie bólu  Kontrola bólu  Tworzenie celu działania  Współzawodniczące cele  Wyłania się  Sztuczna ewolucja  Samo-organizacja struktur

EE141 EI powstaje dzięki uczeniu sie wpływu jego oddziaływań na otoczenie Centralny system nerwowy Narządy zmysłowe Narządy motoryczne  Dr Kazimierz Duzinkiewicz, Zespół Inteligentnych Systemów Wspomagania Decyzji i Sterowania

EE141 INPUTOUTPUT Simulation or Real-World System Task Environment EI Architecture Long-term Memory Short-term Memory Reason Act Perceive RETRIEVALLEARNING Współdziałanie ze Środowiskiem From Randolph M. Jones, P :

EE141 Kandel Fig Kodowanie Wejść Sensorycznych Jak przetwarzać i reprezentować informacje zmysłowe? Richard Axel, 1995 Foot Hip Trunk Arm Hand Face Tongue Larynx Kandel Fig Wzrok, słuch, smak, węch, dotyk-> ruch

EE141 Wyzwania Inteligencji Obudowanej  Rozwój połączeń zmysłowych  Aktywne widzenie  Przetwarzanie mowy  Dotyk, powonienie, smak, temperatura, ciśnienie  Dodatkowe instrumenty postrzegania –Wykrywanie podczerwieni, radar, detektor światła i odległości, ultradźwięki, globalny system lokalizacji (GPS), itp. –Czy duża liczba sensorów może być mniej użyteczną?  Rozwój sensorów bólu  Energia, temperatura, ciśnienie, poziom przyspieszenia  Sygnał od nauczyciela  Rozwój połączeń motorycznych  Ruch ramion, nóg, palców, oczu

EE141 Wyzwania Inteligencji Obudowanej  Znalezienie rozwiązania algorytmicznego  Asocjacji, pamięci, uczenia sekwencyjnego, budowania niezmienników, reprezentacji, oczekiwania, uczenia systemu wartości, określania celów, planowania  Rozwój obwodów sieci neuronowych  Określenie organizacji sztucznych mini kolumn  Samo-organizacja hierarchii mini kolumn receptorów i efektorów  Samo-organizacja układów określania celów

EE141  V. Mountcastle argumentował ze wszystkie obszary kory mózgowej wykonują ten sam algorytm obliczeniowy V. Mountcastle  Grupy neuronów (mini kolumny) połączone są w sposób pseudo- przypadkowy  Taka sama struktura organizacyjna  Mini kolumny zgrupowane są w kolumny VB Mountcastle (2003). Introduction [to a special issue of Cerebral Cortex on columns]. Cerebral Cortex, 13, 2-4. Jednorodne Struktury Kory Mózgowej Stain of cortex in planum temporale

EE141 “ The basic unit of cortical operation is the minicolumn … It contains of the order of neurons except in the primate striate cortex, where the number is more than doubled. The minicolumn measures of the order of  m in transverse diameter, separated from adjacent minicolumns by vertical, cell- sparse zones … The minicolumn is produced by the iterative division of a small number of progenitor cells in the neuroepithelium. ” (Mountcastle, p. 2). Mini Kolumny Kory Mózgowej Copyright © , all rights reserved, Visualbiotech

EE141 Grupy mini kolumn organizują sie w fizjologicznie obserwowalne kolumny funkcyjne. Najbardziej znanym przykładem są kolumny orientacji w V1. Kolumny są zdecydowanie większe od mini kolumn, maja średnice około mm i neuronów Wniosek Mountcastle’a : “Cortical columns are formed by the binding together of many minicolumns by common input and short range horizontal connections. … The number of minicolumns per column varies … between 50 and 80. Long range intracortical projections link columns with similar functional properties.” (p. 3) Grupowanie Mini Kolumn

EE141 Zasady Samoorganizacji Mini Kolumn  Przedstaw wejścia z receptorów poprzez stopniowe coraz bardziej abstrakcyjne cechy w hierarchii sensorycznej  Użyj “zasadę niezmienności” obserwowanych obiektów do wykrycia i nauczenia się cech niezmiennych  Naucz się pamiętać sekwencje czasowe  Użyj połączeń przypadkowych do wstępnego wyboru cech receptorów  Użyj sprzężenia zwrotnego do tworzenia sygnałów oczekiwań i wykrywania nowości  Użyj nadmiarowych struktur rzadko połączonych mikroprocesorów

EE141  Neurony receptorów są odpowiedzialne za reprezentacje środowiska  otrzymują wejścia z czujników lub receptorów na niższym poziomie hierarchii  reprezentują środowisko  otrzymują sprzężenie zwrotne z efektorów i receptorów na wyższym poziomie  pomagają aktywizować neurony efektorów i neurony wymuszeń  Neurony efektorów sa odpowiedzialne za działania i umiejętności  są aktywizowane przez neurony wymuszeń i efektorów  aktywizują siłowniki lub wytwarzają wejście dla efektorów niższego poziomu  wytwarzają sygnały planowania dla receptorów  Neurony wymuszeń są odpowiedzialne za budowę systemu wartości, określanie celów, uczenie, i eksploracje  otrzymują wejścia z niższego poziomu neuronów wymuszeń  otrzymują wejścia z czujników lub receptorów  wytwarzają sygnały wejścia dla efektorów  inicjują uczenie i wymuszają eksploracje Organizacja Mini Kolumn

EE141 Hierarchiczna Organizacja Połączeń Receptor ó w i Efektorów  Receptory i efektory maja hierarchiczne drogi połączeń  Rozgałęzienia od bardziej ogólnych do bardziej specyficznych  Łatwo rozgałęziają sie do wyższego poziomu  Stopniowa utrata elastyczności połączeń w kierunku wejścia Wejścia Wewnętrzna reprezentacja

EE141 Environment ………… …... …… Sensory neurons in a minicolumn Increasing connection’s plasticity 10 6 neurons neurons 10 neurons Sensory pathway 10 neurons 10 4 neurons Activation pathway Organizacja Połączeń Receptor ó w i Efektorów

EE141 Ogólna Charakterystyka : Hierarchiczna struktura Przetwarzanie w mini kolumnach Przestrzenne i czasowe asocjacje przez połączenia i neurony wtórne Połączenia sprzężenia zwrotnego Selektywna adaptacja Funkcje: Niezmienniki reprezentacji Oczekiwanie Wyszukiwanie nowości Uczenie systemu wartości Hierarchiczna Organizacja Połączeń Receptor ó w i Efektorów

EE141  Drogi receptorów i efektorów łącza sie na rożnych poziomach hierarchii Koordynacja Sensorowo-Motoryczna Wyjścia Wewnętrzne reprezentacje Wejścia refleksy działania przemyślane

EE141  Drogi receptorów i efektorów łączą się na rożnych poziomach hierarchii Koordynacja Sensorowo-Motoryczna Motor control hierarchical data path Sensory feature extraction and learning hierarchy Reinforcement learning connections Planning feedback path Motor outputs Sensory inputs

EE141 R: reprezentacja O: oczekiwanie A: asocjacja N: nakaz P: planowanie Zwiększająca możliwość przystosowania Środowisko … … … … R O A Połączenia zmysłowe Połączenia motoryczne ’ Określanie celów i system wartości N Koordynacja Sensorowo-Motoryczna  Drogi receptorów i efektorów łącza się na różnych poziomach hierarchii

EE141 Jak Motywować Maszynę ? Podstawowe pytanie to jak motywować maszynę by robiła cokolwiek, a w szczególności by zwiększyła swój stopień złożoności? Jak nakłonić maszynę do eksploracji środowiska i uczenia sie efektywnej pracy w środowisku?

EE141  Czy maszyna może być inteligentna jeśli realizuje tylko zadane cele?  Jeśli nie to jak dynamicznie określać jej cele?  Potrzebna jest hierarchia wartości działań  Nie wszystkie wartości mogą być wbudowane  Potrzebna jest motywacja działań, pobudzająca uczenie i eksploracje Jak Motywować Maszynę ?

EE141 Jak Motywować Maszynę ?  Pfeifer sugeruje ze motywacja agenta powinna wyniknac z procesu jego rozwoju.  Nazwał to zasada “motywowanej złożoności”.  Ale jak to pogodzić. Agent musi mieć motywacje by sie rozwijać podczas gdy motywacja ma byc wynikiem rozwoju.  Steels zasugerował wyposażenie agenta w samo- motywacje.  Zasugerował ze ludzie odczuwają wewnętrzna nagrodę za wykonanie czynności nieco bardziej złożonych niż to co byli do tej pory w stanie zrobić (Csikszentmihalyi).  Ale jaki mechanizm może to spowodować?  Oudeyer zaproponował wewnętrzny system nagrody.  Motywacja wynika z pożądania minimalizacji bledu przewidywania  Jest to podobne do “Sztucznej ciekawości” zaproponowanej przez Schmidhuber’a.

EE141 Jak Motywować Maszynę ?  Chociaż sztuczna ciekawość pomaga poznawać otoczenie, jednak prowadzi do bezcelowego uczenia.  Można ja porównać z etapem eksploracji w uczeniu ze wzmacnianiem.  Wewnętrzna nagroda motywuje maszynę do eksploracji.  Eksploracja jest potrzebna do tego by poznać środowisko.  Ale czy ten mechanizm jest jedyna motywacja rozwoju inteligencji?  Czy sztuczna ciekawość może prowadzić do celowego uczenia sie?  Czy potrafimy znaleźć bardziej skuteczny mechanizm uczenia?  Proponuje tu użycie prostego mechanizmu który prowadzi do bardziej skutecznego i celowego uczenia maszyny.

EE141 Jak Motywować Maszynę ?  Postuluje ze to nieprzychylność środowiska jest motywacja rozwoju.  To uczucie bólu jest tym co nas porusza.  To nasza inteligencja która dąży do minimalizacji tego bólu motywuje nas by działać, uczyć sie i rozwijać.  Potrzebujemy zarówno nieprzychylności środowiska jak i mechanizmu który uczy sie jak zredukować pochodzący ze środowiska ból.  Tak wiec ból jest przydatny.  Bez bólu nie byłoby inteligencji.  Bez bólu nie byloby motywacji do rozwoju.  Dlatego proponuje oparty o ból mechanizm motywujacy maszynę by działała, uczyła sie i rozwijała.

EE141 Ośrodek Bólu i Określania Celów  Prosty Mechanizm  Prowadzi do stawiania złożonych cel ó w  Tworzy hierarchie wartości  Wyczuwa zmiany poziomu bólu: Zwiększenie bólu Zmniejszenie bólu  Pobudza uczenie  Wymusza eksploracje + - Środowisko Sensor Motor Poziom bólu Wtórny poziom bólu Zwiększenie bólu Zmniejszenie bólu (-) (+) Pobudzanie uczenia (-) (+) Wymuszanie eksploracji

EE141 Określanie Abstrakcyjnych Celów  Celem jest zmniejszenie prymitywnego poziomu bólu  Abstrakcyjne cele są wytwarzane w oparciu o niższe cele zaspakajają prymitywne cele Expectation Association Inhibition Reinforcement Connection Planning -+ PainDual pain Food refrigerator -+ Stomach Abstract pain (Delayed memory of pain) “food”becomes a sensory input to abstract pain center Sensory pathway (perception, sense) Motor pathway (action, reaction) Primitive Level Level I Level II Eat Open

EE141 Abstrakcyjne Cele  Na ile cel abstrakcyjny może być celem użytecznym?  Maszyna musi “zrozumieć” cel abstrakcyjny zanim go zaakceptuje Potrzebna odpowiednia reprezentacja problemu Umiejętność jego wykonania Zgodność z systemem wartości maszyny Priorytet do terminowego wykonania zadania

EE141 Łączenie Trzech Dróg Oddziaływań  Sygnały celu, oraz neurony zmysłowe i motoryczne współdziałają na rożnych poziomach hierarchii  Celem oddziaływań jest minimalizacja bólu  Sygnał bólu ustala rangę celów Drzewo bólu I Drzewo bólu II Motoryczne połączenie Zmysłowe połączenie Działanie bólu na ruch Działanie zmysłów na ruch Działanie zmysłów na ośrodek bólu