Rozproszone reprezentacje Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie W oparciu o wykład Prof. Geoffrey Hinton University of Toronto Inteligentne Systemy Autonomiczne

Lokalne reprezentacje Najprostszą drogą reprezentacji rzeczy w sieciach neuronowych jest dedykowanie jednego neuronu dla każdej rzeczy. –Łatwe do zrozumienia. –Łatwe do ręcznego kodowania. Często wykorzystywane do reprezentacji danych wejściowych sieci. –Łatwe do nauki. To jest to co robią mieszane modele. Każdy klaster odpowiada jednemu neuronowi. –Łatwe do łączenia z innymi reprezentacjami. Ale lokalne modele są bardzo nieskuteczne gdy dane mają strukturę składnikową.

Przykłady struktur składnikowych. Duży, Żółty, Volkswagen –Czy mamy neuron dla takiej kombinacji ? Czy jest z góry ustalony neuron DŻV ? Czy jest on tworzony w trakcie uczenia? Jak jest on związany z neuronami Duży i Żółty i Volkswagen? Rozważ obserwowany obraz –Zawiera wiele różnych obiektów –Każdy objekt ma wiele własności np. kolor, wielkość, kształt, ruch –Obiekty mają przestrzenne relacje z innymi obiektami

Wykorzystanie równoczesności do łączenia rzeczy razem Reprezentują połączenia przez aktywowanie wszystkich elementów w tym samym czasie. –To nie wymaga połączeń między elementami –Ale co gdy rownoczesnie chcemy reprezentować żółty trójkąt i niebieskie koło? Może to tłumaczy seryjną naturę świadomości. –A może nie! kolorowe neurony kształtne neurony

Wykorzystanie przestrzeni do łączenia rzeczy razem. Typowe komputery potrafią łączyć rzeczy razem przez umieszczenie ich w sąsiednich komórkach pamięci. –Najlepiej prezentuje się to na wizji. Powierzchnie są generalnie nieprzezroczyste, więc widzimy tylko jedną rzecz w każdym miejscu pola wizyjnego. Jeśli używamy map topograficznych dla różnych cech, to możemy założyć, że cechy w tej samej lokalizacji należą do tej samej rzeczy.

Definicja rozproszonej reprezentacji. Każdy neuron musi reprezentować coś, więc musi to być lokalna reprezentacja. Reprezentacja rozproszona oznacza relacje wiele-do-wielu między dwoma typami reprezentacji (takimi jak koncepcje i neurony). –Każda koncepcja jest reprezentowana przez wiele neuronów. –Każdy neuron uczestniczy w reprezentacji wielu koncepcji.

Kodowanie przybliżone Wykorzystanie jednego neuronu dla kazdej rzeczy jest nieefektywne. –Wydajny kod miałby każdy neuron aktywny przez połowę czasu To mogłoby być mało wydajne dla innych celów (jak łączenie odpowiedzi z odwzorowaniami). Czy możemy uzyskać dokładne reprezentacje przez wykorzystanie wielu niedokladnych neuronów? –Jeśli tak to byłoby to bardzo odporne na awarie sprzętu komputerowego.

Kodowanie przybliżone Użyj trzech nakładających się tabel o dużych komórkach aby uzyskać tabele wielu drobnych komórek –Jeśli punkt jest w drobnej komórce, koduj go przez aktywacje 3 dużych komórek Jest to skuteczniejsze od używania neuronu dla każdej drobnej komórki. –Koszt - 3 tablele –Zysk - 3x3 w rozdzielczosci –Ogólnie 3-krotna oszczednosc

Jak skuteczne jest kodowanie przybliżone? Efektywność zależy od wymiarowości –W przestrzeni jedno-wymiarowej kodowanie przybliżone nie pomaga. –W 2D oszczędność w neuronach jest proporcjonalna do stosunku drobnego rozmiaru do zgrubnego rozmiaru. –W przestrzeni k – wymiarowej, powiększając rozmiar r krotnie możemy utrzymać tę samą dokładność jak z drobnymi polami i zaoszczędzić :

Limity kodowania przybliżonego Osiąga dokładność ale kosztem rozdzielczosci –Dokładność jest zdefiniowana jako wielkość przesunięcia punktu do momentu zmiany reprezentacji –Rozdzielczosc jest zdefiniowana jako ta odległość przy której punkty mogą być nadal rozróżnialne w reprezentacji. Reprezentacje mogą zachodzić na siebie i wciąż być dekodowane jeśli pozwolimy na aktywność powyżej 1 To sprawia trudności w kojarzeniu bardzo różnych odpowiedzi z podobnymi punktami, ponieważ ich reprezentacje nakładają się. –Jest to użyteczne do generalizacji. Efekty graniczne dominują gdy pola są bardzo duże.

Kodowanie przybliżone w systemie wizyjnym Idąc dalej od siatkówki oka obszary wejsciowe neuronów stają się coraz większe i wymagają bardziej skomplikowanych cech. –Większość neurologów interpretuje to jako dowód niezmienniczości neuronów –Jest to również potrzebne w przypadku gdy neurony chciałyby osiągnąć wysoką dokładność –Dla właściwości takich jak pozycja, orientacja i rozmiar Wysoka dokładność jest potrzebna, by zdecydować czy części obiektu są we właściwej przestrzennej relacji ze soba

Reprezentacja struktury relacyjnej George kocha Pokój –Jak twierdzenie może być przedstawione jako rozproszony model działania? –Jak neurony przedstawiające różne twierdzenia sa powiązane ze soba i ze skladowymi tych twierdzen? Potrzebujemy reprezentowac rolę dla każdego skladnika w twierdzeniu.

Droga do reprezentacji struktur George Tony Wojna Pokój Ryba Chipsy Robaki Miłość Wstręt Jedzenie Dawanie agent objekt beneficjant akcja

Problem rekurencji Jacques był rozgniewany tym iż Tony pomógł Georgowi –Jedno twierdzenie może być częścią innego twierdzenia. Jak możemy to pokazać w neuronach? Jedną z możliwości jest użycie skróconych opisów. Oprocz pełnej reprezentacji przez model rozlozony na dużą liczbę neuronów, jednostka może mieć znacznie bardziej zwarta reprezentacje, która moze być częścią większej jednostki. –Jest to trochę jak wskazniki (pointers). –Mamy pełną reprezentację wybranego przedmiotu i zredukowane reprezentacje jego części składowych. –Ta teoria wymaga mechanizmów kompresji pełnych reprezentacji do reprezentacji zredukowanych i rozszerzania skróconych opisów do opisow pełnych.