formalnie: Pamięci asocjacyjne Dorota Cendrowska nieformalnie: (???) To miasto było na ‘K’... Na pewno na ‘K’! (???) Mam! To było Świnoujście...

Plan wykładu  architektury sieci:  jednokierunkowe  ze sprzężeniem zwrotnym  pamięć autoasocjacyjna:  sieć Hopfielda  pamięć asocjacyjna:  sieć Kosko (BAM)  uczenie „sieci-pamięci” asocjacyjnych  uruchamianie sieci:  synchroniczne  asynchroniczne

sieci jednokierunkowe  architektura:  jednowarstwowa  wielowarstwowa  uczenie:  wieloetapowe  uruchamianie:  jednoetapowe

sieci ze sprzężeniem zwrotnym  architektura:  jednowarstwowa, dwuwarstwowa  uczenie/uruchamianie:  ?

Sieć Hopfielda  sieć jednowarstwowa:  ze sprzężeniem zwrotnym  sygnał wejściowy:  dyskretny: –1, 1

Sieć Hopfielda  sieć jednowarstwowa:  ze sprzężeniem zwrotnym  sygnał wejściowy:  dyskretny: –1, 1  funkcja aktywacji:

 uczenie jednoetapowe: Sieć Hopfielda — uczenie

 uczenie jednoetapowe: lub (zapis macierzowy):

Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

Sieć Hopfielda — uczenie (przykład)  macierz wag:  symetryczna  zera na przekątnej  wagi neuronu (wiersz/kolumna)  (przykład) wagi drugiego neuronu:

Sieć Hopfielda — uczenie (przykład)  macierz wag:  symetryczna  zera na przekątnej  wagi neuronu (wiersz/kolumna)  (przykład) wagi drugiego neuronu:

Sieć Hopfielda — uruchamianie  uruchamianie wieloetapowe:  synchroniczne (?)  asynchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

Uruchamianie synchroniczne (NIE!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ? never ending story :(

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia ?

Co „pamięta” sieć Hopfielda?  przynajmniej część obrazów intencjonalnie „zapamiętanych”  + negatywy tych obrazów  „skojarzenie”: wzorzec najbliższy wg miary Hamminga !

Co i ile „pamięta” sieć Hopfielda?  przynajmniej część obrazów intencjonalnie „zapamiętanych”  + negatywy tych obrazów  „skojarzenie”: wzorzec najbliższy wg miary Hamminga  pojemność pamięci autoasocjacyjnej: P — liczba zapamiętanych obrazów z prawdopodobieństwem bliskim jedności

Hopfield — po co pamiętać?  zastosowanie pamięci autoasocjacyjnych:  filtrowanie (odszumianie)  uzupełnianie

sieć BAM (Kosko): asocjacje  architektura:  dwuwarstwowa  uczenie jednoetapowe  uruchamianie synchroniczne  dwa tryby:  wejście: a, wyjście: b  wejście: b, wyjście: a  pojemność pamięci:

sieć BAM (Kosko): asocjacje  uczenie jednoetapowe:

sieć BAM (Kosko): asocjacje  uczenie jednoetapowe:

BAM: uczenie (przykład)  uczenie jednoetapowe:

BAM: uczenie (przykład)  uczenie jednoetapowe:

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

Sieci neuronowe (podsumowanie)  architektura:  jednowarstowe/wielowarstwowe  z/bez sprzężenia zwrotnego  uczenie z/bez nauczyciela  zastosowania:  klasyfikacja  aproksymacja  filtrowanie (auto/heteroasocjacja)  grupowanie (detekcja regularności)

jak zwykle, zamiast zakończenia...  filozoficznie: fragment okładki i książki pt. „Paddington daje sobie radę” (autor: Michael Bond) — Wie pani — powiedział do pani Bird, gdy przyszła do jadalni, by sprawdzić, czy już zjadł grzankę z marmoladą — nigdy dotąd nie zrobiłem wszystkiego, bo gdybym zrobił, to nie czekałyby mnie już żadne niespodzianki.