Formalnie: Pamięci asocjacyjne Dorota Cendrowska nieformalnie: (???) To miasto było na ‘K’... Na pewno na ‘K’! (???) Mam! To było Świnoujście...

Prezentacja na temat: "Formalnie: Pamięci asocjacyjne Dorota Cendrowska nieformalnie: (???) To miasto było na ‘K’... Na pewno na ‘K’! (???) Mam! To było Świnoujście..."— Zapis prezentacji:

1 formalnie: Pamięci asocjacyjne Dorota Cendrowska nieformalnie: (???) To miasto było na ‘K’... Na pewno na ‘K’! (???) Mam! To było Świnoujście... dc@pjwstk.edu.pl

2 Plan wykładu  architektury sieci:  jednokierunkowe  ze sprzężeniem zwrotnym  pamięć autoasocjacyjna:  sieć Hopfielda  pamięć asocjacyjna:  sieć Kosko (BAM)  uczenie „sieci-pamięci” asocjacyjnych  uruchamianie sieci:  synchroniczne  asynchroniczne

3 sieci jednokierunkowe  architektura:  jednowarstwowa  wielowarstwowa  uczenie:  wieloetapowe  uruchamianie:  jednoetapowe

4 sieci ze sprzężeniem zwrotnym  architektura:  jednowarstwowa, dwuwarstwowa  uczenie/uruchamianie:  ?

5 Sieć Hopfielda  sieć jednowarstwowa:  ze sprzężeniem zwrotnym  sygnał wejściowy:  dyskretny: –1, 1

6 Sieć Hopfielda  sieć jednowarstwowa:  ze sprzężeniem zwrotnym  sygnał wejściowy:  dyskretny: –1, 1  funkcja aktywacji:

7  uczenie jednoetapowe: Sieć Hopfielda — uczenie

8  uczenie jednoetapowe: lub (zapis macierzowy):

9 Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

10 Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

11 Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

12 Sieć Hopfielda — uczenie (przykład)  obrazy do zapamiętania w sieci:

13 Sieć Hopfielda — uczenie (przykład)  macierz wag:  symetryczna  zera na przekątnej  wagi neuronu (wiersz/kolumna)  (przykład) wagi drugiego neuronu:

14 Sieć Hopfielda — uczenie (przykład)  macierz wag:  symetryczna  zera na przekątnej  wagi neuronu (wiersz/kolumna)  (przykład) wagi drugiego neuronu:

15 Sieć Hopfielda — uruchamianie  uruchamianie wieloetapowe:  synchroniczne (?)  asynchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia

16 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

17 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

18 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

19 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

20 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

21 Uruchamianie synchroniczne (?)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ?

22 Uruchamianie synchroniczne (NIE!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  z którym z zapamiętanych obrazów „kojarzy się” ? never ending story :(

23 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

24 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

25 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

26 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

27 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

28 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

29 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

30 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

31 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia

32 Uruchamianie asynchroniczne (TAK!)  kryterium stopu:  żaden z neuronów nie zmienia wartości swego wyjścia  asynchroniczne — jeden neuron uaktualnia wartość wyjścia ?

33 Co „pamięta” sieć Hopfielda?  przynajmniej część obrazów intencjonalnie „zapamiętanych”  + negatywy tych obrazów  „skojarzenie”: wzorzec najbliższy wg miary Hamminga !

34 Co i ile „pamięta” sieć Hopfielda?  przynajmniej część obrazów intencjonalnie „zapamiętanych”  + negatywy tych obrazów  „skojarzenie”: wzorzec najbliższy wg miary Hamminga  pojemność pamięci autoasocjacyjnej: P — liczba zapamiętanych obrazów z prawdopodobieństwem bliskim jedności

35 Hopfield — po co pamiętać?  zastosowanie pamięci autoasocjacyjnych:  filtrowanie (odszumianie)  uzupełnianie

36 sieć BAM (Kosko): asocjacje  architektura:  dwuwarstwowa  uczenie jednoetapowe  uruchamianie synchroniczne  dwa tryby:  wejście: a, wyjście: b  wejście: b, wyjście: a  pojemność pamięci:

37 sieć BAM (Kosko): asocjacje  uczenie jednoetapowe:

38 sieć BAM (Kosko): asocjacje  uczenie jednoetapowe:

39 BAM: uczenie (przykład)  uczenie jednoetapowe:

40 BAM: uczenie (przykład)  uczenie jednoetapowe:

41 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

42 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

43 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

44 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

45 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

46 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

47 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

48 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

49 BAM: uruchamianie (przykład)  uruchamianie synchroniczne  kryterium stopu:  żaden z neuronów jednej z dwóch warstw nie zmienia wartości swego wyjścia

50 Sieci neuronowe (podsumowanie)  architektura:  jednowarstowe/wielowarstwowe  z/bez sprzężenia zwrotnego  uczenie z/bez nauczyciela  zastosowania:  klasyfikacja  aproksymacja  filtrowanie (auto/heteroasocjacja)  grupowanie (detekcja regularności)

51 jak zwykle, zamiast zakończenia...  filozoficznie: fragment okładki i książki pt. „Paddington daje sobie radę” (autor: Michael Bond) — Wie pani — powiedział do pani Bird, gdy przyszła do jadalni, by sprawdzić, czy już zjadł grzankę z marmoladą — nigdy dotąd nie zrobiłem wszystkiego, bo gdybym zrobił, to nie czekałyby mnie już żadne niespodzianki.