Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

EE141 1 Język Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Randall.

Podobne prezentacje


Prezentacja na temat: "EE141 1 Język Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Randall."— Zapis prezentacji:

1 EE141 1 Język Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Randall O'ReillyRandall O'Reilly University of Colorado oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika

2 EE141 2 Modelowanie mowy Modele uwzględniają: rozproszony leksykon, ortografia, fonologia, semantyka. Te same mechanizmy uczenia w mózgu, tylko inne wejścia/wyjscia. Poziomy przetwarzania: fonemy/sylaby, litery, słowa, pojęcia, frazy, zdania, sytuacje, historie. Rozproszone reprezentacje, wielkie możliwości kombinacji wielu rep. Reprezentacje semantyczne z ko-okurencji słów. Reprezentacje semantyczne na poziomie kształtu zdań. Fonologiczna gęstość otoczenia słowa = liczba sł ó w brzmiących podobnie jak dane słowo, czyli dająca podobne pobudzenia m ó zgu. Semantyczna gęstość otoczenia słowa = liczba sł ó w o podobnym znaczeniu (rozszerzona podsieć aktywacji).

3 EE141 3 Uczenie oparte o przetwarzanie sekwencji czasowych Sekwencje słów musza wytworzyć reprezentacje znaczeń Język jest wynikiem rozpakowania rozproszonych reprezentacji znaczeń w mózgu i ich komunikowania innym osobom poprzez kanały komunikacyjne w oczekiwaniu ze odpowiadające im reprezentacje zostaną wytworzone w mózgu odbiorcy Uczenie czytania dysleksje Rozpoznawanie znaków, mapowanie ortografii na fonologię (nietrywialne dla angielskiego) i intonacje (wazne w chinskim) Regularności i wyjątki tworzenie zbyt regularnych czasów przeszłych. Modelowanie mowy

4 EE141 4 Podstawy biologiczne Sterowanie aparatem głosowym odpowiedzialne jest za prawidłową wymowę zgłosek. Za to sterowanie odpowiedzialny jest głównie ośrodek Broca w korze czołowej, a za analizę mowy górna kora skroniowa. Brocka: powierzchniowa repr., Wernicke: głęboka reprezentacja.

5 EE141 5 Organizacja zgłosek Neuron uczy się prawdopodob. warunkowego, korelacji pomiędzy pożądaną aktywnością a sygnałami wejściowymi; optymalna wartość 0.7 osiągana jest szybko tylko przy małej stałej uczenia Fonemy: spółgłoski i samogłoski, alfabet IPA. 4 wymiary charakteryzujące samogłoski, pozycje języka. Kodowanie: 7 pozycji dla przód/tył, 6 dla góra/dół, 4 dla reszty (kształt warg i długość trwania). Spółgłoski: 3 wymiary. Kodowanie: 7 pozycji dla położenia (loc), 5 dla sposobu (Mnr), 2 dla Vce.

6 EE141 6 Pytania Spróbujemy za pomocą symulacji komputerowych znaleźć i zweryfikować za pomocą modeli odpowiedzi na kilka pytań: Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? W jaki sposób czytamy znane słówka: cat, yacht, a w jaki wymyślone, np. nust, decydując się na jakiś sposób wymowy? Czemu dzieci mówią I goed zamiast I went? Skąd bierze się znaczenie słów? Jak od słów przejść do zdań?

7 EE141 7 Rozproszony leksykon i dysleksje Poziom fonologiczny dysleksji: nieistniejące słowa nie wzbudzają głębszych obszarów (Wernicke). Poziom głęboki: błędy fonologiczne i semantyczne (kąt – kot, kot - pies), pomyłki w rozpoznawaniu znaków. Dysleksja powierzchniowa: nowe słowa nie stanowią problemu ale brak dostępu do poziomu semantycznego + trudności w czytaniu wyjątków + pomyłki w rozpoznawaniu. Model czytania i dysleksji ma dwie drogi od ortografii do fonologii: bezpośrednią (przez mapowanie) i okrężną, semantyczną. Rzadkie i trudne słowa wymawia się dzięki tej okrężnej drodze.

8 EE141 8 Słowa do czytania 40 słów, 20 konkretnych i 20 abstrakcyjnych; pobudzenia w modelu pokazują podobieństwa fonologiczno-semantyczne.

9 EE141 9 Model TestLog pokazuje słowo, odległość, najbardziej podobne, błąd sm_nm Projekt dyslex.proj.gz Sieć została wytrenowana bo wymaga 250 epok. Trenowanie: przypadkowy wybór jednej z 3 warst (ortografia, fonologia, semantyka) jako wejścia a pozostałych dwóch jako wyjścia, mapowanie jednego aspektu na dwa inne. kWTA = 25% dla warstw ukrytych View TestLog, StepTest

10 EE Symulacje dysleksji Dysleksje: w zależności od stopnia uszkodzenia i drogi uszkodzenia dostaniemy różne formy: fonologiczną, głęboką i powierzchniową. lesion_path = Semantics Wyłącza całą warstwę. Błędy: Trial2_TestLog need, loan, flow, past => coat Hire i coat są najczęściej mylone. Odległość fonologiczna od 0 do 1 miara cos(S 1,S 2 ) = S 1 *S 2 /|S 1 ||S 2 |

11 EE Wpływ lezji na dysleksję Błędy w wyniku uszkodzenia drogi semantycznej. Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne

12 EE Lezje całkowite Błędy w wyniku uszkodzenia drogi semantycznej i bezpośredniej. Błędy neuronow ukrytych OS_Hid ortograficzno-sematyczne SP_Hid semantyczno-fonetyczne

13 EE Czytanie Modele czytania: mapowanie ortografii na fonologie. Dwa zagadnienia: czy jeden system może się nauczyć wymowy regularnych słów i jednocześnie radzić sobie z wyjątkami? symulacja wymowy nieistniejących słów wymaga odkrycia subtelnych regularności wymowy. Mint, hint, flint => i tak samo, ale w pint całkiem inaczej... Regularności są często modyfikowane, zależne od kontekstu, mają skupienia (sąsiedztwa), a wyjątki są na krańcach takich modyfikacji. Regularności i wyjątki tworzą kontinuum.

14 EE Czytanie: Rozproszony model leksykalny Reprezentacje nie są zlokalizowane w jednym regionie. Oddziaływania prowadzą do ciekawego podziału pracy.

15 EE Czytanie jako rozpoznawanie obiektów Wymiana pomiędzy zależnymi i niezależnymi podobna w rozpoznawaniu obiektów Potrzeba niezmienników ale tez potrzeba łączenia cech

16 EE Model czytania Model ss.proj.gz r bloków 3*9 = 189 wejść, 5*84 = 420 w ortografii, oraz 600 ukrytych, 7 bloków po 2*10 = 140 fonologicznych elementów. Wejście: słowa do 7 liter, dopełniane, np. best = bbbestt

17 EE Regularności Testy regularności: Głuszko Pseudo-homofony phyce => Choyce Czasy relaksacji sieci jako funkcja częstości i typowości słów. Szybkość czytania ludzi wykazuje podobne zależności.

18 EE Czasy przeszłe Związek semantyki i fonologii Projekt pt.proj.gz Tendencje do regularyzacji zmieniają się w miarę dorastania i uczenia się nowych wyrazów. Początkowo trenowano najpierw na nieregularnych a potem regularnych, kontrowersyjne ale daje krzywą w kształcie U. Modele zmieniające stopniowo środowisko uczenia ale bez uczenia Hebbowskiego nie działaja

19 EE Model w Leabra Sieć: semantyczne wejście, warstwa ukryta + fonologiczna. Dane: 389 czasowników, w tym 90 nieregularnych w czasie przeszłym, 4 możliwe końcówki regularne: -ed, -en, -s, -ing, razem 1945 przykłady. Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci.

20 EE Model w Leabra Kooperacja + konkurencja + uczenie Hebbowskie daje sieć, w której mapowanie czasowników reg. i niereg. osiąga dynamiczną równowagę. Torowanie po paru ekspozycjach zmienia zachowanie sieci.

21 EE Sens słów Semantyka pojęć jest wynikiem aktywacji rozproszonych po wielu obszarach. Najprostszy model: Hebbowskie silne korelacje pomiędzy słowami, tak jak korelacje pomiędzy elementami obrazów czy fonemami tworzącymi sylaby. LSA- Latent Semantic Analysis, rodzaj PCA, które da się realizować uczeniem z regułą Hebba.

22 EE Słowa w m ó zgu Eksperymenty psycholingwistyczne dotyczące mowy pokazują, że w m ó zgu mamy dyskretne reprezentacje fonologiczne, a nie akustyczne. Sygnał akustyczny => fonemy => słowa => koncepcje semantyczne. Aktywacje semantyczne następują 90 ms po fonologicznych (N200 ERPs). F. Pulvermuller (2003) The Neuroscience of Language. On Brain Circuits of Words and Serial Order. Cambridge University Press. Sieci działania – postrzegania, wnioski z badań ERP i fMRI.

23 EE Słowa: prosty model Cele: zrobić najprostszy model kreatywnego myślenia; tworzyć interesujące nowe nazwy, oddające cechy produkt ó w; zrozumieć nowe słowa, kt ó rych nie ma w słowniku. Model zainspirowany przez procesy zachodzące w m ó zgu w czasie wymyślania nowych sł ó w. Dany jest zbi ó r sł ó w kluczowych, kt ó re pobudzają korę słuchową. Fonemy są rezonansami, uporządkowane pobudzenie fonem ó w aktywuje zar ó wno znane słowa jak i nowe kombinacje; kontekst + hamowanie w procesie zwycięzca bierze wszystko zostawia jedno słowo. Kreatywność = wyobraźnia (fluktuacje) + filtrowanie (konkurencja) Wyobraźnia: wiele chwilowych rezonans ó w powstaje r ó wnolegle, aktywując reprezentacje sł ó w i nie-sł ó w, zależnie od siły połączeń oscylator ó w. Filtrowanie: skojarzenia, emocje, gęstość fonologiczna/semantyczna.

24 EE Skojarzenia - powt ó rka Dlaczego torowanie neutralne dla prostych skojarzeń i nonsensownych sł ó w torujących pogarsza wyniki os ó b kreatywnych? Słaba kreatywność = słabe skojarzenia (połączenia) miedzy oscylatorami; dodanie szumu (nonsensownych sł ó w) wzmacnia już zachodzące oscylacje umożliwiając wzajemne pobudzenia, dla silniej połączonej sieci neuronowej i prostych skojarzeń prowadzi do zamieszania, gdyż pobudza wiele stan ó w. Dla trudnych skojarzeń dodawanie szumu u os ó b słabo kreatywnych nie pomoże ze względu na brak połączeń, słowa torujące powodują jedynie chaos. Dla sł ó w torujących ortograficznie podobnych przy bliskich skojarzeniach pobudza to aktywność reprezentacji drugiego słowa, zawsze zwiększając szansę rezonansu i skracając latencję.

25 EE Quiz Projekt sem.proj.gz, opis Sieć wytrenowana wcześniej odpowiada na pytania...

26 EE Sens zdań Tradycyjne podejście: rozbiór gramatyczny zdań. Alternatywne podejście: rozproszone reprezentacje, gestalt zdania. Podobnie jak w rozpoznawaniu obiektów 3D, nie ma centralnej reprezentacji. Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc. Ludzie: busdriver, teacher, schoolgirl, pitcher. Działania: eat, drink, stir, spread, kiss, give, hit, throw, drive, rise. Obiekty: spot (the dog), steak, soup, ice cream, crackers, jelly, iced tea, kool aid, spoon, knife, nger, rose, bat (animal), bat (baseball), ball, ball (party), bus, pitcher, fur Miejsca: kitchen, living room, shed, park.

27 EE Sieć i projekt Projekt sg.proj.gz, opis Wejście prezentuje słowa, zlokalizowane reprezentacje, w warstwie Encode tworzone są reprezentacje rozproszone, integrowane w czasie w warstwie Gestalt i Gestalt_Context, pytania wiążą się z rolami (agent, pacjent, instrument...), sieć dekoduje reprezentacje dopełniając je (Filler) Np. bat (zwierze) i bat (pałka bejsbolowa) wymaga odróżnienia.

28 EE Testy Przypisanie ról, dwuznaczność słów, przykłady stosowania pojęć, uszczegółowienie roli, rozstrzygnięcie konfliktów. Mały światek: zdania zwierające nazwy ludzi, aktywnych i pasywnych działań, obiektów i miejsc.

29 EE Podobieństwo czasowników Czasowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych.

30 EE Podobieństwo rzeczowników Rzeczowniki jednoznaczne po wytrenowaniu sieci mają takie podobieństwa cosinusowe pobudzeń wewnętrznych.

31 EE Kształty zdań i Podobieństw przykładowych zdań: sc_ = schoolgirl bu_ = busdriver te_ = teacher pi_ = pitcher _at = ate _dr = drank _st = stirred _so = soup _st = steak _ic = ice tea _ko = Kool-Aid

32 EE Gry słowne Gry słowne były popularne na długo przed komputerami... Były bardzo przydatne do rozwoju zdolności analitycznego myślenia. Do niedawna słownych gier komputerowych było bardzo mało. Gra w 20 pytań może być kolejnym wielkim wyzwaniem AI, jest bardziej realistyczna niż nieograniczony test Turinga. Szachy są za proste – komputery szybko liczą, więc wygrywają. Maszyna, zgadująca o czym myślę, musi być inteligentna... Znajdywanie dobrych pytań wymaga wiedzy i kreatywności. Pozwala na testowanie modeli pamięci semantycznej i pamięci epizodycznej w realistycznych warunkach. Inne zastosowania: identyfikacja obiektów na podstawie ich opisu, uściślanie zapytań dla wyszukiwarek internetowych itp. Potrzebna jest pamięć semantyczna na dużą skalę, miliony pojęć: ontologie, słowniki (Wordnet), encyklopedie, MindNet (Microsoft), projekty kolaboracyjne, np. Concept Net (MIT) … co się da. Nadal nie wystarczy... przykład gry w 20 pytań.gry w 20 pytań

33 EE Pytania/odpowiedzi dotyczące języka Jakie procesy zaangażowane są w proces czytania i dlaczego czasami zawodzą (dysleksja)? Rozproszone reprezentacja leksykalne, interakcje między rozpoznawaniem znaków, poziomem pisowni (ortografia), fonologii i semantyki. W jaki sposób czytamy znane słówka: cat, yacht, a jak wymyślone, np. nust? Dzięki kontekstowo aktywowanym reprezentacjom dającym kontinuum pomiędzy regularnymi formami a wyjątkami. Czemu dzieci mówią I goed zamiast I went? Z powodu dynamicznej równowagi pomiędzy mapowaniem form regularnych i wyjątków. Skąd bierze się znaczenie słów? Statystyki ko-okurencji, oddziaływań z reprezentacjami danych ze zmysłów. Jak od słów przejść do zdań? Pozawala na to gestalt zdań (jedna z teorii w psychologii).


Pobierz ppt "EE141 1 Język Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Randall."

Podobne prezentacje


Reklamy Google