Kognitywne właściwości sieci neuronowych Artur Grabowski Kognitywistyka II Rok II Stopnia

Spis treści Początki sieci neuronowych Przykłady rodzajów sieci Zastosowanie oraz przyszłość sieci neuronowych

POCZĄTKI SIECI NEURONOWYCH

Matematyczny model neuronu Mc Cullocha-Pittsa (1943 r.) Każdemu z wejść przyporządkowana jest waga Obliczana jest suma ważona (zsumowane wejścia * wagi) Funkcja aktywacji działa na zasadzie „przełącznika” – tzn. jeżeli wynik z powyższego nie przekroczy pewnego progu to nie następuje wtedy aktywacja i odwrotnie

Model McCullocha- Pittsa stał się później inspiracją do dalszych badań Model McCullocha- Pittsa stał się później inspiracją do dalszych badań. W 1957 r. Frank Rosenblatt wraz z  Charlesem Wightmanem stworzyli prototyp sieci neuronalnej tzw. perceptron. Perceptron jest określany jako najprostsza sieć neuronowa bazująca na jednym lub wielu połączonych neuronów McCullocha-Pittsa. Perceptron jednowarstwowy Perceptron wielowarstwowy Pokaz przykładowy (predyspozycje wyboru partnera)

Perceptrony jednowarstwowe radzą sobie z problemami, które można odseparować linią/płaszczyzną/hiperpłaszczyzną. To znaczy, że radzą sobie one tylko z problemami separowalnymi.

Po publikacji w 1969 książki Minsky'ego i Paperta, w której udowodnili, że jednowarstwowe sieci mają skończone zastosowania, nastąpiło zatrzymanie badań na ok. 20 lat. Powrót zainteresowania w połowie lat osiemdziesiątych zapoczątkowały prace ukazujące, że wielowarstwowe, nieliniowe sieci neuronowe nie mają ograniczeń.

RÓŻNE RODZAJE SIECI

Sieci Kohonena Samoorganizujące się mapy Uczenie przebiega na zasadzie konkurencji neuronów (jest to rozszerzenie metody WTA- winner takes all )

Sieć Hopfielda Jest to sieć rekurencyjna – przekierowuje wyjścia na wejścia (wystarczy kilka takich połączeń) Charakteryzuje się: wysoką gęstością połączeń rekurencyjnych wyjście każdego neuronu jest kierowane na wejście wszystkich pozostałych; z zastrzeżeniem braku samosprzężenia

Liquid- state machines (LSM) Połączenia neuronów są losowe. Stosowanie funkcji nieliniowych – ich liczba pozwala na wykonywanie różnorodnych obliczeń, które można wykorzystać w różnych zadaniach np. rozpoznawanie mowy czy też komunikacji wzrokowej z komputerem

PRZYKŁADY ZASTOSOWAŃ SIECI NEURONOWYCH

NETtalk NETtalk (1987) – Sejnowski – przebadanie zastosowań sieci neuronowej do czytania tekstów pisanych, sieć w trakcie uczenia miała nabyć zdolności czytania. Pokazanie sieci w SNNS

Sterowanie jazdą samochodu Kamera rejestruje obraz tego, co znajduje się przed samochodem (30x32 piksele =960 neuronów). Na wejście podajemy też obraz z dalomierza, co koduje odległość (8x32 piksele = 256 neuronów) W warstwie ukrytej mamy 29 neuronów W warstwie wyjściowej 45 neuronów, które sterują ruchami kierownicy. Kiedy zapalony był środkowy, znaczyło, że jedziemy prosto. 22 neurony z lewej- w lewo, 22 neurony z prawej - w prawo (o odpowiedni kąt w zależności od zapalonego neuronu)

DEEP LEARNING –TENSOR FLOW

TensorFlow TensorFlow jest otwartą biblioteką do uczenia maszyn do wykonywania różnych zadań , opracowana przez firmę Google, aby zaspokoić ich potrzeby w zakresie systemów zdolnych do budowania i szkolenia sieci neuronowych w celu wykrywania i rzetwarzania wzorców i korelacji, oraz do uczenia się i rozumowania, które przypomina rozumowanie ludzkie. Obecnie wykorzystywane jest w wielu produktach Google Zaletą tej biblioteki jest to iż można ją użyć w wielu językach programowania np. Python, C++, JAVA https://youtu.be/4HCE1P-m1l8 https://deepdreamgenerator.com/generator

Dziękuję za uwagę.