Inteligentne Systemy Autonomiczne Język W oparciu o wykład Prof. Randall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

Modelowanie mowy Modele uwzględniają: rozproszony leksykon, ortografia, fonologia, semantyka. Te same mechanizmy uczenia w mózgu, tylko inne wejścia/wyjscia. Poziomy przetwarzania: fonemy/sylaby, litery, słowa, pojęcia, frazy, zdania, sytuacje, historie. Rozproszone reprezentacje, wielkie możliwości kombinacji wielu rep. Reprezentacje semantyczne z ko-okurencji słów. Reprezentacje semantyczne na poziomie kształtu zdań. Fonologiczna gęstość otoczenia słowa = liczba słów brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia mózgu. Semantyczna gęstość otoczenia słowa = liczba słów o podobnym znaczeniu (rozszerzona podsieć aktywacji).

Modelowanie mowy Uczenie oparte o przetwarzanie sekwencji czasowych Sekwencje słów musza wytworzyć reprezentacje znaczeń Język jest wynikiem rozpakowania rozproszonych reprezentacji znaczeń w mózgu i ich komunikowania innym osobom poprzez kanały komunikacyjne w oczekiwaniu ze odpowiadające im reprezentacje zostaną wytworzone w mózgu odbiorcy Uczenie czytania dysleksje Rozpoznawanie znaków, mapowanie ortografii na fonologię (nietrywialne dla angielskiego) i intonacje (wazne w chinskim) Regularności i wyjątki tworzenie zbyt regularnych czasów przeszłych.

Podstawy biologiczne Sterowanie aparatem głosowym odpowiedzialne jest za prawidłową wymowę zgłosek. Za to sterowanie odpowiedzialny jest głównie ośrodek Broca w korze czołowej, a za analizę mowy górna kora skroniowa. Brocka: powierzchniowa repr., Wernicke: głęboka reprezentacja.

Organizacja zgłosek Fonemy: spółgłoski i samogłoski, alfabet IPA. 4 wymiary charakteryzujące samogłoski, pozycje języka. Kodowanie: 7 pozycji dla przód/tył, 6 dla góra/dół, 4 dla reszty (kształt warg i długość trwania). Neuron uczy się prawdopodob. warunkowego, korelacji pomiędzy pożądaną aktywnością a sygnałami wejściowymi; optymalna wartość 0.7 osiągana jest szybko tylko przy małej stałej uczenia 0.005 Spółgłoski: 3 wymiary. Kodowanie: 7 pozycji dla położenia (loc), 5 dla sposobu (Mnr), 2 dla Vce.

Pytania Spróbujemy za pomocą symulacji komputerowych znaleźć i zweryfikować za pomocą modeli odpowiedzi na kilka pytań: Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? W jaki sposób czytamy znane słówka: cat, yacht, a w jaki wymyślone, np. nust, decydując się na jakiś sposób wymowy? Czemu dzieci mówią „I goed” zamiast „I went”? Skąd bierze się znaczenie słów? Jak od słów przejść do zdań?

Rozproszony leksykon i dysleksje Poziom fonologiczny dysleksji: nieistniejące słowa nie wzbudzają głębszych obszarów (Wernicke). Poziom głęboki: błędy fonologiczne i semantyczne (kąt – kot, kot - pies), pomyłki w rozpoznawaniu znaków. Dysleksja powierzchniowa: nowe słowa nie stanowią problemu ale brak dostępu do poziomu semantycznego + trudności w czytaniu wyjątków + pomyłki w rozpoznawaniu. Model czytania i dysleksji ma dwie drogi od ortografii do fonologii: bezpośrednią (przez mapowanie) i okrężną, semantyczną. Rzadkie i trudne słowa wymawia się dzięki tej okrężnej drodze.

Słowa do czytania 40 słów, 20 konkretnych i 20 abstrakcyjnych; pobudzenia w modelu pokazują podobieństwa fonologiczno-semantyczne.

Model Projekt dyslex.proj.gz Sieć została wytrenowana bo wymaga 250 epok. Trenowanie: przypadkowy wybór jednej z 3 warst (ortografia, fonologia, semantyka) jako wejścia a pozostałych dwóch jako wyjścia, mapowanie jednego aspektu na dwa inne. kWTA = 25% dla warstw ukrytych View TestLog, StepTest TestLog pokazuje słowo, odległość, najbardziej podobne, błąd sm_nm

Symulacje dysleksji Dysleksje: w zależności od stopnia uszkodzenia i drogi uszkodzenia dostaniemy różne formy: fonologiczną, głęboką i powierzchniową. lesion_path = Semantics Wyłącza całą warstwę. Błędy: Trial2_TestLog need, loan, flow, past => coat Hire i coat są najczęściej mylone. Odległość fonologiczna od 0 do 1 miara cos(S1,S2) = S1*S2/|S1||S2|

Wpływ lezji na dysleksję Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne Błędy w wyniku uszkodzenia drogi semantycznej.

Lezje całkowite Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne Błędy w wyniku uszkodzenia drogi semantycznej i bezpośredniej.

Czytanie Modele czytania: mapowanie ortografii na fonologie. Dwa zagadnienia: czy jeden system może się nauczyć wymowy regularnych słów i jednocześnie radzić sobie z wyjątkami? symulacja wymowy nieistniejących słów wymaga odkrycia subtelnych regularności wymowy. Mint, hint, flint => i tak samo, ale w pint całkiem inaczej ... Regularności są często modyfikowane, zależne od kontekstu, mają skupienia (sąsiedztwa), a wyjątki są na krańcach takich modyfikacji. Regularności i wyjątki tworzą kontinuum.

Czytanie: Rozproszony model leksykalny Reprezentacje nie są zlokalizowane w jednym regionie. Oddziaływania prowadzą do ciekawego podziału pracy.

Czytanie jako rozpoznawanie obiektów Wymiana pomiędzy zależnymi i niezależnymi podobna w rozpoznawaniu obiektów Potrzeba niezmienników ale tez potrzeba łączenia cech

Model czytania Model ss.proj.gz r. 10.4.2 7 bloków 3*9 = 189 wejść, 5*84 = 420 w ortografii, oraz 600 ukrytych, 7 bloków po 2*10 = 140 fonologicznych elementów. Wejście: słowa do 7 liter, dopełniane, np. best = bbbestt

Regularności Testy regularności: Głuszko Pseudo-homofony phyce => Choyce Czasy relaksacji sieci jako funkcja częstości i typowości słów. Szybkość czytania ludzi wykazuje podobne zależności.

Czasy przeszłe Związek semantyki i fonologii Projekt pt.proj.gz Tendencje do regularyzacji zmieniają się w miarę dorastania i uczenia się nowych wyrazów. Początkowo trenowano najpierw na nieregularnych a potem regularnych, kontrowersyjne ale daje krzywą w kształcie U. Modele zmieniające stopniowo środowisko uczenia ale bez uczenia Hebbowskiego nie działaja

Model w Leabra Sieć: semantyczne wejście, warstwa ukryta + fonologiczna. Dane: 389 czasowników, w tym 90 nieregularnych w czasie przeszłym, 4 możliwe końcówki regularne: -ed, -en, -s, -ing, razem 1945 przykłady. Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci.

Model w Leabra Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci.

Sens słów Semantyka pojęć jest wynikiem aktywacji rozproszonych po wielu obszarach. Najprostszy model: Hebbowskie silne korelacje pomiędzy słowami, tak jak korelacje pomiędzy elementami obrazów czy fonemami tworzącymi sylaby. LSA- Latent Semantic Analysis, rodzaj PCA, które da się realizować uczeniem z regułą Hebba.

Słowa w mózgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w mózgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI. (c) 1999. Tralvex Yeap. All Rights Reserved 22

Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produktów; zrozumieć nowe słowa, których nie ma w słowniku. Model zainspirowany przez procesy zachodzące w mózgu w czasie wymyślania nowych słów. Dany jest zbiór słów kluczowych, które pobudzają korę słuchową. Fonemy są rezonansami, uporządkowane pobudzenie fonemów aktywuje zarówno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonansów powstaje równolegle, aktywując reprezentacje słów i nie-słów, zależnie od siły połączeń oscylatorów. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna. (c) 1999. Tralvex Yeap. All Rights Reserved 23

Skojarzenia - powtórka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych słów torujących pogarsza wyniki osób kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami; dodanie szumu (nonsensownych słów) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stanów. Dla trudnych skojarzeń dodawanie szumu u osób słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla słów torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję. (c) 1999. Tralvex Yeap. All Rights Reserved 24

Quiz Projekt sem.proj.gz, opis. 10.6.2 Sieć wytrenowana wcześniej odpowiada na pytania ...

Sens zdań Tradycyjne podejście: rozbiór gramatyczny zdań. Alternatywne podejście: rozproszone reprezentacje, gestalt zdania. Podobnie jak w rozpoznawaniu obiektów 3D, nie ma centralnej reprezentacji. Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc. Ludzie: busdriver, teacher, schoolgirl, pitcher. Działania: eat, drink, stir, spread, kiss, give, hit, throw, drive, rise. Obiekty: spot (the dog), steak, soup, ice cream, crackers, jelly, iced tea, kool aid, spoon, knife, nger, rose, bat (animal), bat (baseball), ball, ball (party), bus, pitcher, fur Miejsca: kitchen, living room, shed, park.

Sieć i projekt Projekt sg.proj.gz, opis 10.7.2 Wejście prezentuje słowa, zlokalizowane reprezentacje, w warstwie Encode tworzone są reprezentacje rozproszone, integrowane w czasie w warstwie Gestalt i Gestalt_Context, pytania wiążą się z rolami (agent, pacjent, instrument ...), sieć dekoduje reprezentacje dopełniając je (Filler) Np. bat (zwierze) i bat (pałka bejsbolowa) wymaga odróżnienia.

Testy Przypisanie ról, dwuznaczność słów, przykłady stosowania pojęć, uszczegółowienie roli, rozstrzygnięcie konfliktów. Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc.

Podobieństwo czasowników Czasowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych.

Podobieństwo rzeczowników Rzeczowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych.

Kształty zdań i Podobieństw przykładowych zdań: sc_ = schoolgirl bu_ = busdriver te_ = teacher pi_ = pitcher _at = ate _dr = drank _st = stirred _so = soup _st = steak _ic = ice tea _ko = Kool-Aid

Gry słowne Gry słowne były popularne na długo przed komputerami ... Były bardzo przydatne do rozwoju zdolności analitycznego myślenia. Do niedawna słownych gier komputerowych było bardzo mało. Gra w 20 pytań może być kolejnym wielkim wyzwaniem AI, jest bardziej realistyczna niż nieograniczony test Turinga. Szachy są za proste – komputery szybko liczą, więc wygrywają. Maszyna, zgadująca o czym myślę, musi być inteligentna ... Znajdywanie dobrych pytań wymaga wiedzy i kreatywności. Pozwala na testowanie modeli pamięci semantycznej i pamięci epizodycznej w realistycznych warunkach. Inne zastosowania: identyfikacja obiektów na podstawie ich opisu, uściślanie zapytań dla wyszukiwarek internetowych itp. Potrzebna jest pamięć semantyczna na dużą skalę, miliony pojęć: ontologie, słowniki (Wordnet), encyklopedie, MindNet (Microsoft), projekty kolaboracyjne, np. Concept Net (MIT) … co się da. Nadal nie wystarczy ... przykład gry w 20 pytań. (c) 1999. Tralvex Yeap. All Rights Reserved 32

Pytania/odpowiedzi dotyczące języka Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? Rozproszone reprezentacja leksykalne, interakcje między rozpoznawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. Czemu dzieci mówią „I goed” zamiast „I went”? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. Skąd bierze się znaczenie słów? Statystyki ko-okurencji, oddziaływań z reprezentacjami danych ze zmysłów. Jak od słów przejść do zdań? Pozawala na to „gestalt zdań” (jedna z teorii w psychologii).