EE141 Technologia Inteligentne Systemy Autonomiczne Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Wykorzystano wykłady Ray Kurzwail, The Singularity Summit at Stanford oraz Dr Kazimierza Duzinkiewicza, Politechnika Gdańska

EE141 Musimy wiedzieć jak Musimy rozwinąć metody jej implementacji Musimy mieć środki do jej budowy i ciągłej operacji Jak stworzyć wysoka inteligencje?

EE141 From Ray Kurzwail, The Singularity Summit at Stanford, May 13, 2006 Resources – Evolution of Electronics

EE141 By Gordon E. Moore

EE141

From Ray Kurzwail, The Singularity Summit at Stanford, May 13, 2006 Clock Speed (doubles every 2.7 years)

EE141 Podwajanie (albo skrócenie o połowę) czasu Dynamiczna pamięć RAM Połowienie Wielkości Skali 5.4 lat Dynamiczna pamięć RAM (bity/dolar) 1.5 roku Średnia cena tranzystora 1.6 roku Cena mikroprocesora na cykl produkcyjny tranzystora 1.1 roku Suma sprzedanych bitów 1.1roku Sprawność Procesora w MIPS 1.8 roku Ilość tranzystorów w mikroprocesorach Intel 2.0 lata Szybkość zegara Mikroprocesora 2.7 lat From Ray Kurzwail, The Singularity Summit at Stanford, May 13, 2006

EE141 From Ray Kurzwail, The Singularity Summit at Stanford, May 13, 2006

EE141 From Hans Moravec, Robot, 1999

EE141 Software czy hardware? Przetwarzanie szeregowe Wrażliwe na błędy Wymaga oprogramowania Niski koszt Dobrze rozwinięte metody programowania Przetwarzanie równolegle Odporne na błędy Wymaga zaprojektowania Wysoki koszt Prototypy hardwarowe trudne do wykonania SoftwareHardware

EE141 Zalety biologicznych systemów nerwowych: Odporność na uszkodzenia elementów Zdolność uczenia Zdolność przetwarzania informacji zaszumionej lub niespójnej Nieduże wymiary, zwartość, małe zużycie energii W przeciwieństwie do przetwarzania wprowadzonego przez von Neumanna, opartego na sekwencyjnym wykonywaniu instrukcji, który jest do dzisiaj podstawą działania prawie wszystkich komputerów Przetwarzanie neuronowe jest równolegle Z wykładu Dr Kazimierza Duzinkiewicza, Politechnika Gdańska

EE141 Porównanie przetwarzania komputerowego i neuronowego Cecha Neuronowe Przetwarzanie Komputerowe Przygotowanie przetwarzania Postać danych wejściowych Sposób wprowadzania wiedzy Wybór architektury sieci i reprezentatywnych wzorców Opracowanie algorytmu Przez uczenie Cyfrowa Cyfrowa lub analogowa Przez programowanie Struktura przetwarzania Przetwarzanie szeregowe Przetwarzanie równoległe Cechy obliczeń Arytmetyka wysokiej dokładności Przekształcenia nieliniowe o niewielkiej dokładności Przechowywanie algorytmu przetwarzania Zblokowane pamięci ROM i RAM Architektura sieci i wagi połączeń Przechowywanie danych Zblokowane pamięci RAM Sygnały w sieci Z wykładu Dr Kazimierza Duzinkiewicza, Politechnika Gdańska

EE141 Element przetwa- rzający Rozmiar elementu Pobór mocyPrędkość przetwa- rzania Sposób przetwa- rzania Tolerancja uszkodzeń UczenieInteli- gencja synaps m10W100HzRówno- legły tak zwykle 10 9 Tranzys torów m300W10 9 HzSzere- gowy niew małym stopniu nie Sztuczne Sieci Neuronowe (ANN) próbują przybliżyć systemy komputerowe do zdolności przetwarzania informacji w mózgu Porównanie przetwarzania komputerowego i neuronowego Z wykładu Dr Kazimierza Duzinkiewicza, Politechnika Gdańska

EE141 Przyszłe możliwości oprogramowania/sprzętu Złożoność mózgu ludzkiego

EE141 Dlaczego jest to ważne? Source: SEMATECH

EE141 Procent powierzchni chipów który musi być użyty przez pamięć żeby zachować wydolność produkcji w SOC Rozpiętość produkcyjna Rozpiętość produkcyjna Wyroby o niskiej złożoności? Źródło = Japoński przemysł LSI

EE141 Samo-organizujace Uczące sie Sieci Obwody scalone łączą tranzystory w systemy -Łatwo złożyć układ z milionów tranzystorów -Pierwszych 50 lat rewolucji mikroelektronicznej Samo-organizujace sieci łącza procesory w systemy -Łatwo złożyć układ z milionów procesorów -Następnych 50 lat rewolucji mikroelektronicznej Samo-organizacja Rzadkie i lokalne połączenia Dynamicznie przełączane Sterowane danymi uczenie w czasie rzeczywistym

EE141 SOLAR pseudoprzypadkowo łączy grupy neuronów (minikolumny) Każda minikolumna ma ta sama strukturę Każda kolumna wykonuje ten sam algorytm obliczeniowy zgodnie z hipoteza Mountcastle V. Mountcastle argumentuje ze wszystkie rejony kory m ó zgowej wykonują ten sam algorytm obliczeniowy V. Mountcastle VB Mountcastle (2003). Introduction [to a special issue of Cerebral Cortex on columns]. Cerebral Cortex, 13, 2-4. Założenia Self Organizing Learning Arrays SOLAR

EE141 Opis struktur SOLAR SOLAR jest regularna struktura identycznych komórek obliczeniowych połączonych programowalnymi kanałami przesyłowymi. Każda komórka może się samoorganizować przez adaptacje swojej funkcji w odpowiedzi na informację zawartą w danych wejściowych. Komórki wybierają swoje wejścia z przylegających kanałów przesyłowych i wysyłają swoje wyjścia do kanałów przesyłowych. Komórki obliczeniowe mogą być zgrupowane w minikolumny.

EE141 Architektura SOLAR SOLAR jest regularna struktura identycznych komórek obliczeniowych połączonych programowalnymi kanałami przesyłowymi.

EE141 Organizacja Połączeń w SOLAR Komórki wybierają swoje wejścia z przylegających kanałów przesyłowych i wysyłają swoje wyjścia do kanałów przesyłowych.

EE141 Hybrydowe połączenia Potokowe Połączenia szeregowo – równolegle w układzie procesorów z kanałem połączeń Cztery stany 1. Bezczynny 2. Czytanie 3. Działanie 4. Pisanie

EE141 Płytka drukowana SOLAR XILINX VIRTEX XCV 1000 Implementacja układowa systemu SOLAR zawiera 4 kostki XILINX XCV 1000.

EE141 System SOLAR Płytki drukowane systemu SOLAR Mogą być łączone w struktury 3-wymiarowe.

EE141 Struktura Sieci Wielowarstwowa dwu lub trzy wymiarowa Sieć dwuwymiarowa: –Wejście wektorowe –Kolumny kolejnymi warstwami Sieć trójwymiarowa –Lepiej nadaje sie do przetwarzania obrazów połączenia typu Small world Większość krótkich połączeń –Tak jak w sieciach biologicznych Niewielka ilość długich połączeń

EE141 Połączenia w SOLAR Początkowa i końcowa struktura połączeń w przypadku problemu przyznawania kart kredytowych

EE141 Wyniki Klasyfikacji przy użyciu SOLAR

EE141 Nadzieje Pokładane w Obudowanej Inteligencji Rozwój inteligencji maszyn będzie miał ogromny wpływ na życie i organizacje społeczeństw Dla Społeczeństwa Postęp technologii –Roboty –Maszyny uczące –Inteligentne urządzenia Nadchodzi era inteligencji –Rewolucja przemysłowa –Rewolucja technologiczna –Rewolucja informatyczna ISAC, a Two-Armed Humanoid Robot Vanderbilt University

EE141 Nadzieje Pokładane w Obudowanej Inteligencji Dla Społeczeństwa Społeczeństwo umysłów –Ponad ludzka inteligencja –Rozwój nauki –Rozwiązanie bolączek społecznych –Wzrost zrozumienia i tolerancji –Poprawa jakości i warunków życia

EE141 Nadzieje Pokładane w Obudowanej Inteligencji Dla Przemysłu Rozwój technologiczny Duzy wzrost przemysłu elektronicznego Nowe rynki zbytu Rozwój ekonomiczny

EE Biologicznie Inspirowane Systemy (Wpływ na transport kosmiczny, naukę o Kosmosie i o Ziemi ) Mission Complexity Biologiczna imitacja Embrionika Extremophiles Komputery DNA Sztuczny mozg Samo Budujące sie Systemy Sztuczne nanofiltry o dużej rozdzielczości detektory zycia na Marsie Siec sensorów Biologiczne nanofiltry o niskiej rozdzielczości Skora i Kości Samoreperuj ą ce sie układy i systemy ochrony termicznej Inspirowane biologicznie pojazdy kosmiczne Transport Kosmiczny

EE141 Wygląda jak Science fiction Jeżeli próbujesz patrzeć daleko w przyszłość i to co widzisz wygląda jak science fiction, to możesz się mylić. Ale gdy to nie wygląda jak science fiction, to na pewno sie mylisz. Z prezentacji przez Feresight Institute

EE141 Obudowana Sztuczna Inteligencja Referencje: [1] E. R. Kandel et al. Principles of Neural Science, McGraw-Hill/Appleton & Lange; 4 edition, [2] F. Inda, R. Pfeifer, L. Steels, Y. Kuniyoshi, Embodied Artificial Intelligence, International seminar, Germany, July [3] R. Chrisley, Embodied artificial intelligence, Artificial Intelligence, vol. 149, pp , [4] R. Pfeifer and C. Scheier, Understanding Intelligence, MIT Press, Cambridge, MA, [5] R. A. Brooks, Intelligence without reason, In Proc. IJCAI-91. (1991) [6] R. A. Brooks, Flesh and Machines: How Robots Will Change Us, (Pantheon, 2002). [7] R. Kurzweil The Age of Spiritual Machines: When Computers Exceed Human Intelligence, (Penguin, 2000).

EE141 Pytania ?

EE141

Zastosowania Maszynowego Uczenia Analiza danych finansowych – przewidywanie głównej bankowej stopy oprocentowania Dane sa dostępne na: Dane wejściowe Miesięczna bankowa stopa oprocentowania Stopa dyskontowa Stopa oprocentowania funduszy federalnych Stopa oprocentowania 10-letni bonów Ministerstwa Finansów; Dane wyjściowe Przewidywana bankowa stopa oprocentowania w następnym miesiącu Okres uczenia sie Styczeń 1995 do grudnia 2000 Okres testowania: Luty 2001 do września 2002 rynek jest nieprzewidywalny Hipoteza Random Walk; Hipoteza wydajnego rynku

EE141 Przewidywane Wyniki Przewidywana przez system SOLAR bankowa stopa oprocentowania (luty wrzesień 2002)

EE141 Porównanie Wyników: błąd najmniejszej sumy kwadratów (MSE)

EE141 Akumulowany zarobek od Jan-90 Jul-90 Jan-91 Jul-91 Jan-92 Jul-92 Jan-93 Jul-93 Jan-94 Jul-94 Jan-95 Jul-95 Jan-96 Jul-96 Jan-97 Jul-97 Jan-98 Jul-98 Jan-99 Jul-99 Jan-00 Jul-00 Jan-01 Jul-01 Jan-02 Jul-02 Jan-03 Jul-03 Jan-04 Jul-04 Jan-05 Jul-05 Kwartał Zarobek w skali logarytmicznej S&P 500 Nasdaq Russell Midcap Selekcja Dow Jones

EE141 Cortical algorithms for perceptual grouping Pieter R. Roelfsema Dept. Vision & Cognition, Netherlands Institute for Neuroscience (KNAW) Department of Experimental Neurophysiology Centre for Neurogenomics and Cognitive Research, Vrije Universiteit, Amsterdam, NL

EE141

Two forms of grouping: 1.Base grouping – feedforward connections pre-attentive vision 2. Incremental grouping – feedback and lateral connections - attentive vision Ullman 1984

EE141 Felleman & van Essen, 1991

EE141 Felleman & van Essen, 1991 Feedforward

EE141 Felleman & van Essen, 1991 Recurrent