Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006

Prezentacja na temat: "Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006"— Zapis prezentacji:

1 Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006
W3: Składnia, Semantyka Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006

2 Plan W1: Lingwistyka W2: Gramatyki W3: Składnia, Semantyka
W4: Statystyka, Zastosowania 2 z 52

3 Ciąg przekształceń NLP
Rozpoznawanie (mowy, gestów itp.) Analiza tekstu Analiza morfologiczna Analiza składniowa Analiza (poziom odpowiedni wymogom) Analiza pragmatyczna Analiza semantyczna Reprezentacja formalna (poziom odpowiedni) Tekst w języku naturalnym Reakcja (wykonanie operacji, sformułowanie odpowiedzi, tłumaczenie itp.) Synteza (mowy, gestów itp.) 3 z 52

4 Wybrane aspekty informatyczne
Modele formalne Modele dedukcyjne Algorytmy genetyczne Algorytmy miękkich obliczeń Algorytmy statystyczne Złożone struktury danych i algorytmy ich przetwarzania Bazy danych i bazy wiedzy Ontologie 4 z 52

5 Gramatyki formalne a metody statystyczne
klasyczne opisy teoretyczne poszczególnych poziomów języka, przekształcanie na zapis formalny ( np. rozbiór syntaktyczny zgodny z jakąś teorią, formuła logiczna) zalety: metody pewne, ścisłe, wada: pokrywają niewielki podzbiór wypowiedzi w języku naturalnym metody statystyczne – wnioskowanie o zależnościach występujących w języku naturalnym na podstawie dużych zbiorów danych metody przybliżone, ale praktycznie użyteczne metody statystyczne wspomagane metodami teoretycznymi metody formalne wspomagane metodami statystycznymi 5 z 52

6 Formalny opis języka Alfabet - dowolny zbiór symboli (V).
Słowo - skończony (także pusty-) ciąg symboli należących do alfabetu Słownik – zbiór wszystkich słów nad alfabetem V, (V*). Język L to dowolny podzbiór zbioru słów V* nad alfabetem V Język to zbiór słów generowanych przez gramatykę Gramatyka <V,T,S,P > V- alfabet, T- podzbiór V, symbole terminalne, S - element V-T, P - zbiór produkcji, reguły przepisywania 6 z 52

7 Gramatyki formalne c.d. Wykorzystanie do opisu różnych poziomów JN
Fonologiczny Jak buduje się morfy z fonem Morfologiczny Jaka jest struktura wyrazów (w jaki sposób morfy składają się na leksemy) Syntaktyczny Jaka jest struktura zdania (jak wyrazy składają się na zdanie) Semantyczny Jak znaczenia słów składają się na znaczenie zdania Jak struktura semantyczna zdania określa treść 7 z 52

8 Gramatyki formalne c.d. Uogólniając: gramatyka jest algorytmem „określającym” język Trzy podejścia do modelowania Podejście zwykle używane: jak skonstruować zdanie zawierające pewną treść Model generuje nie zdania z zadanym sensem, a wszystkie możliwe „prawidłowe” zdania, pojęcie sensu tu nie istnieje, ale: Pozwala zrozumieć, jak sens przekształca się w tekst (tym samym tekst – w sens) 8 z 52

9 Składnia (syntaktyka) (1)
Analiza składniowa: określenie struktury zdania i jego części składowych Teoretyczne zasady składni języka – dla każdego języka z osobna Topologia zdania Problemy klasyfikacji wyrazów W gramatyce tradycyjnej W lingwistyce komputerowej Funkcje gramatyczne Tradycyjne Nietradycyjne 9 z 52

10 Składnia (syntaktyka) (2)
Wiedza o sposobie łączenia słów we frazy, a fraz w zdania Potrzeba informacji składniowych: analiza i korekta gramatyczna analiza pytań do baz danych wyszukiwanie informacji generowanie wypowiedzi w języku naturalnym tłumaczenie Opisy formalne języka polskiego: S. Szpakowicz, Formalny opis składniowy zdań polskich, Wyd. UW, 1986 M. Świdziński, Formalna gramatyka języka polskiego, Wyd. UW, 1992 10 z 52

11 Zdanie (wypowiedzenie)
Ponad 200 różnych definicji zdania Uproszczona: „Najmniejszy odcinek tekstu będący samodzielnym komunikatem” Psychologiczne: w rodzaju „skończona myśl” Logiczne: „sąd logiczny” Formalne: np. „Tekst zaczynający się dużą literą i kończący kropką lub innym określonym znakiem przestankowym” … „grzecznościowa”, żartobliwa definicja Klemensiewicza: „Tekst, po którym można przerwać rozmówcy bez obawy niegrzeczności” Istota komunikatu językowego: predykacja Komunikat służy do przekazywania informacji Trzonem informacji jest Osobowa forma czasownika w zdaniu Inny składnik w równoważniku zdania 11 z 52

12 Gramatyki składni, kryterium
Kryterium główne: adekwatność i algorytmizacja podejścia, co jest ważne dla implementacji W jakim celu jest opracowywana analiza (jaka faza analizy tekstu jest następna, np. semantyka, transfer itp.) Jak formalizm radzi sobie z opisem gramatycznych zjawisk Dopełnienia dalsze i bliższe Szyk zdania Anafory Elipsy itp. Ścisła zależność między strukturami składniowymi i strukturami morfologicznymi Szczególnie ważne – dla języków fleksyjnych 12 z 52

13 Gramatyki składni (1) Zalety i wady
Niech x – niepusty łańcuch (słowo) w słowniku V, i niech π jest zbiorem wszystkich symboli x. Binarna relacja  na π, dla której graf <π, > jest drzewem, będziemy nazywać relacją zależności składniowej dla x. Samo drzewo <π, > nazywa się drzewem zależności dla x. Niech π – niepusty łańcuch (słowo) w słowniku V. Zbiór C odcinków łańcucha π nazywa się systemem składników bezpośrednich (drzewem struktury frazowej), jeżeli: Do C należy odcinek składający się ze wszystkich elementów π, w tym do C należą wszystkie pojedyncze elementy π Dowolne dwa odcinki C lub nie mają wspólnych elementów, lub jeden z nich zawiera inny Zalety i wady Realnie używane gramatyki – uzupełnione, rozszerzone Uogólnienie – System Grup Składniowych, gramatyka SGGP (Syntactical Grammar Groups for Polish) 13 z 52

14 Gramatyki składni (2) Gramatyki logiczne Typy gramatyk logicznych
Początek- gramatyki metamorficzne Reguły przepisywania, w których symbole terminalne i nieterminalne mogą zawierać parametry Parametrami mogą być złożone wyrażenia (np. termy jakiegoś języka formalnego) Parametry mogą zawierać zmienne Typy gramatyk logicznych DCG (Definite Clause Grammars), problemy: Swobodny szyk wyrazów – problem Nieciągłość konstrukcji FROG (FRee Order Grammar) – gramatyki szyku swobodnego – nowe wyzwanie 14 z 52

15 Gramatyki składni (3) Gramatyki unifikacyjne (UG): zapis własności języka naturalnego w gramatykach unifikacyjnych Przykład formalizmu – HPSG Jeżeli  jest uogólnionym ciągiem symboli terminalnych i nieterminalnych gramatyki, a B0 -> B1 B2 ... Bk jest regułą, to zastosowanie reguły do  polega na: Dopasowaniu symbolu po lewej stronie reguły do jednego z elementów  mającego tę samą kategorię równość kategorii spójność opisów atrybutów Zastąpienie wybranego elementu  prawą stroną reguły unifikacja opisów atrybutów Literatura: Shieber, S. M. An Introduction to Unification-Based Approaches to Grammar, CSLI Stanford, 1986 Pollard, C., I. Sag, Head-Driven Phrase Structure Grammar, The University of Chicago Press, 1994. 15 z 52

16 Gramatyki składni (4) Gramatyki unifikacyjne mają większą moc niż gramatyki bezkontekstowe Gramatyki unifikacyjne są typu 0 - to znaczy moc ich równoważna jest mocy maszyny Turinga (generują języki rekurencyjnie przeliczalne) Oznacza to, że nie istnieje procedura, która dla dowolnej gramatyki unifikacyjnej G i ciągu w określi, czy ciąg ten należy do języka generowanego przez G Formalizmy unifikacyjne FUG Functional Unification Grammar LFG Lexical-Functional Grammar GPSG Generalized Phrase Structure Grammar CUG Categorial Unification Grammar HPSG Head-driven Phrase Structure Grammar ... 16 z 52

17 Frazy Frazy (phrases) to ciągi słów/fraz
proste / zdaniowe (zdania, składające się z fraz, także są frazami) podział w zależności od typu elementu głównego (podkreślony): rzeczownikowe : ciekawa książka o malarstwie przymiotnikowe: zupełnie nowa przysłówkowe: bardzo dobrze przyimkowe: w piątym rzędzie czasownikowe: złapać zająca liczebnikowe: drugi raz 17 z 52

18 Frazy rzeczownikowe, NP
dom najstarszy dom w okolicy dom, którego dach pomalowany był na niebiesko największa ulewa od czasu, kiedy jego dziadek, zmuszony przez rodzinę żony, przeprowadził się do tego miasteczka kobieta, dziecko i pies ani wznoszenie błagalnych okrzyków ani bicie głową w mur 18 z 52

19 Frazy przyimkowe, PP w domu
z szybkim napastnikiem należącym do drużyny przeciwnej do punktu, z którego już nie mógł się wycofać do smutku i żalu lub do czarnej rozpaczy w góry lub nad morze 19 z 52

20 Frazy liczebnikowe, NumP
trzynaście dwadzieścia tysięcy czterysta trzy i pół godziny pierwsi dwaj chłopcy albo pięciu albo tylko dwóch liczebniki porządkowe (pierwszy, trzysta trzeci ) są zwykle traktowane jako przymiotniki 20 z 52

21 Frazy przymiotnikowe, AdjP
biały najbardziej zmęczony z całej drużyny większy i bielszy niż przed rokiem zarówno pewny i głęboko przeświadczony o swej racji i w istocie najbardziej zacięty z nas wszystkich, jak też zaciekle walczący o swoje prawa 21 z 52

22 Frazy przysłówkowe, AdvP
szybko szybciej niż ktokolwiek mógł przypuszczać wczoraj lub jeszcze dawniej zarówno niewygodnie, jak też z całą pewnością ładniej, a także bardziej elegancko 22 z 52

23 Frazy czasownikowe, VP kupił obraz wierzę, że o tym nie zapomnisz
wczoraj bez żadnego namawiania przewiózł fotel samochodem z mieszkania ciotki do pracowni za 200 zł kupił używany samochód, naprawił go i sprzedał za dwukrotnie wyższą cenę 23 z 52

24 Grupy składniowe Co najmniej trzy, a może nawet cztery rozumienia pojęcia grupy składniowej Abstrakcyjny człon składniowy, część struktury zdania Niepredykatywne połączenie składników, ogranicza to pojęcie do konstrukcji co najmniej dwuelementowych Zarówno podrzędne, jak i współrzędne (brat kolegi, kolega i brat) Tylko podrzędne (piłka czerwona, piłka Jana, piłka do siatkówki) Zdanie jest szczególnym przypadkiem grupy (brak przeciwstawienia grupy – zdaniu) Gramatyka SGGP – kolejne rozumienie, uogólnienie Dopuszcza się konstrukcje jednoelementowe Podział na poziomy abstrakcji Rozumienie zgodne z poziomami abstrakcji 24 z 52

25 Podstawowe problemy składniowe
Uzgodnienia (~równość cech) Podmiot – orzeczenie: (rodzaj, liczba, osoba) Piotr idzie *idą ale: Piotr i Maria idą. Idzie / idą Piotr i Maria. Pięciu chłopców przyszło. Dwaj chłopcy przyszli. Rzeczownik – przymiotnik: (przypadek, rodzaj, liczba) białym krukiem (*kruka) itd. 25 z 52

26 Problemy składniowe, cd.
Negacja Jan chciał kupić książkę. Jan nie chciał kupić książki / *książkę. Jan nikogo nie oszukał. *Jan nikogo oszukał. Koordynacja (struktury współrzędne) frazy tego samego typu: koń i osioł; mały i zadziorny frazy różnego typu: ufnie i bez strachu Frazy „niepełne”: złapał i ze złością odrzucił piłkę 26 z 52

27 Kolejne problemy Szyk (ew. „przesunięcia”) Zależności odległe
Do niego Jan szedł po raz drugi. I looked up his grade. I looked his grade up. Zależności odległe Kogo chciałabyś, aby Piotr zaprosił? To ten, którego musiałbyś poprosić o zgodę Nieciągłość fraz Smutny czekał go koniec. Elipsy (brak wymaganych słów bądź fraz) dialogi: Kogo widzisz? - Piotra [widzę]. koordynacja różnego typu składników czy elipsa? Pittsburgh prowadzi 4:0 ale Detroit [prowadzi] tylko 3:1. pro-drop (pominięcie zaimkowego podmiotu) (to dość proste do analizy) [Ja] zdałam egzamin. 27 z 52

28 Komputerowa analiza języka (1)
Składnia, semantyka, pragmatyka W wielu badaniach – ograniczenie zainteresowania do przypadku analizy składniowej w rozumieniu wąskim Reguły tworzenia wyrażeń bardziej złożonych z prostszych Brak odwoływania się do znaczenia konstrukcji Pomijanie powiązania analizy formalno-składniowej z innymi poziomami analizy: semantyką i pragmatyką W niewielu badaniach celem jest rozumienie tekstu Wymagania: model rozumienia tekstu ma być weryfikowalny empirycznie 28 z 52

29 Komputerowa analiza języka (2)
Stosunek pomiędzy poziomami Formalno-składniowym Semantycznym Pragmatycznym Składnia formalna jest podporządkowana semantyce Założenia kompozycyjności Znaczenia komponentów wyznacza sposób rozumienia zbudowanej z nich całości Zadaniem analizy formalno-składniowej jest dostarczanie odpowiedniej segmentacji Owo „wyznaczanie” powinno być obliczalne i praktycznie realizowalne komputerowo 29 z 52

30 Komputerowa analiza języka (3)
Poprawność formalno-składniowa Nie oznacza poprawności znaczeniowej (algorytm wyznaczający znaczenie nie musi skończyć się sukcesem) Odwołuje się do pewnej jawnej normy Poprawność semantyczna Zdanie poprawne składniowo, ale nie zawsze Algorytm wyznaczający znaczenie pracuje w rzeczywistości (aktualnej lub potencjalnej, np. modelu w sensie matematycznym) Algorytm wyznaczający znaczenie kończy się sukcesem Reguły semantyczne (semantyczno-składniowe) 30 z 52

31 Komputerowa analiza języka (4)
Poprawność pragmatyczna Sytuacja (akcja mowy) Związek bodziec – reakcja Związek między zdaniami (wypowiedziami) a spodziewanymi skutkami wypowiedzeń Zasięg szerszy niż poprawność składniowa lub semantyczna Odnosi się do wszystkich wypowiedzeń, nie tylko do zdań 31 z 52

32 Semantyka (1) ustalenie co jest znaczeniem konkretnego wyrażenia w języku naturalnym nazwy obiektów, relacji między nimi, ... sieci semantyczne wskazujące na hierarchię i pokrewieństwo terminów ustalenie sposobu reprezentowania znaczenia określenie niezbędnego zakresu wiedzy pragmatycznej określenie zasad wnioskowania 32 z 52

33 Semantyka (2) Reprezentacja znaczenia
W jaki sposób można reprezentować semantykę języka naturalnego, czyli jakie mechanizmy formalne można w tym celu wykorzystać (zdefiniować)? W praktyce może to być „cokolwiek”, co odpowiada praktycznym potrzebom programu dokonującego interpretacji semantycznej Kiedy potrzebna jest semantyka: odpowiedzi na pytania ustalenie, czy dane zdanie jest prawdziwe wnioskowanie itd. 33 z 52

34 Semantyka (3) Niejednoznaczności Struktura składniowa (i znaczenie)
Pacjent opuścił salę operacyjną w dobrym stanie „nawiasowanie” negacji Nie zrobisz tego? Nie (nie zrobię albo właśnie, że zrobię) kwantyfikacja Każdy chce mieć piękny samochód. (każdy inny) Każdy chce wygrać szczęśliwy los. (ten jedyny) wiązane zaimków Jan kazał Piotrowi wyczyścić swoje buty. 34 z 52

35 Semantyka (4) Rachunek predykatów I rzędu
„Naturalną” metodą reprezentowania semantyki jest rachunek predykatów I rzędu Nie jest to idealny sposób zapisu, nie pozwala na wyrażenie wszystkich znaczeń, ale ma wiele właściwych cech: pozwala zapisać czy jakiś fakt jest prawdziwy czy fałszywy pozwala zapisywać pytania (użycie zmiennych) są metody wnioskowania Wybór rachunku pred. I rzędu nie jest całkowicie arbitralny czy sterowany konkretnymi aplikacjami. Można zauważyć pewne analogie między językiem naturalnym a językiem rachunku predykatów. Cechy rachunku pred. I rzędu: wprowadzenie zmiennych, użycie kwantyfikatorów, częściowo kompozycyjna semantyka 35 z 52

36 Semantyka (5) Predykatywno-argumentowy model zdania
Nawet dość pobieżna analiza wykazuje, że struktura predykatywno-argumentowa dobrze oddaje znaczenie wielu elementów języka naturalnego. W szczególności niektóre typy słów w łatwy sposób można przetłumaczyć na predykaty, podczas gdy inne pełnią funkcje ich argumentów: słowa kojarzone z predykatami: czasowniki (frazy czasownikowe), przyimki, przymiotniki, niektóre czasowniki słowa kojarzone z argumentami: rzeczowniki (frazy rzeczownikowe) 36 z 52

37 Semantyka (6) Tematyczno-rematyczny model zdania
Funkcjonalna perspektywa wypowiedzi inaczej: Aktualne rozczłonkowanie wypowiedzi Temat: punkt wyjścia jako informacja znana Remat: cel wypowiedzi, wprowadzenie nowej informacji 37 z 52

38 Przykład zapisu znaczenia
Jan dał Marii książkę. Tłumaczenie „bezpośrednie”: Dać(Jan, Maria, książka) „Lepsze” (dokładniejsze) tłumaczenie (należy stosować ten sposób) : czasownik decyduje o nazwie predykatu, liczbie i roli jego argumentów, ‘dać’ oznacza więc: w,x,y,z Giving(x)  Giver(w, x)  Givee(y, x)  Given(z, x) x,y Giving(x)  Giver(Jan, x)  Givee(Maria, x)  Given(y, x)  Isa(y, książka) Różnica między zapisem rzeczowników ‘Jan’ i ‘książka’ to różnica interpretacji rzeczowników własnych i pospolitych 38 z 52

39 Analiza semantyczna (1)
Analiza semantyczna to proces przekształcenia wyrażenia lingwistycznego w zapis jego znaczenia Są miliony sposobów dokonania takiego przekształcenia, od rozwiązań całkowicie ad hoc, opracowanych na potrzeby konkretnych aplikacji do wyrafinowanych metod teoretycznych o często wątpliwym znaczeniu praktycznym Większość metod analizy semantycznej opiera się na wynikach analizy syntaktycznej (albo jest dokonywana równolegle z nią) 39 z 52

40 Analiza semantyczna (2)
Funkcyjne rozszerzenia reguł gramatyki. Dwie strategie budowy interpretacji semantycznej: Tak jak w przypadku unifikacji - rozszerzenie algorytmu parsowania (np. Earley’a) tak, by dla całkowicie rozpoznanych składników (kropka na końcu reguły) tworzyła się interpretacja semantyczna, Przypisanie interpretacji po zbudowaniu całego drzewa rozbioru 40 z 52

41 DRT - Discourse Representation Theory
metoda reprezentacji znaczenia wypowiedzi polegająca na konstruowaniu specjalnej struktury, nazwanej DRS (Discourse Representation Structure); Kamp i Reyle (1991); Struktura ta składa się z dwóch części: zbioru obiektów (discourse referents), zwanych uniwersum, zbioru warunków opisujących zależności między obiektami. Przykładowo, zdanie Jones owns Ulysses (Jones posiada Ulissesa) można przedstawić w postaci następującej struktury DRS: x y Jones (x) Ulysses(y) [x owns y] 41 z 52

42 Relacja między DRT a logiką I rzędu
Można dokonać tłumaczenia DRS na formuły logiki Warunki prawdziwości określone dla DRT są podobne jak dla logiki I rzędu DRT dodaje strukturę wewnętrzną wykorzystuje tę strukturę do określania powiązań anafor inne rozwiązanie: Montague Grammar 42 z 52

43 Role i Reference Grammar
Gramatyki przypadków Fillmora (1968) Czynność Subiekt Obiekt Adresat Miejsce Czas itd. Role i Reference Grammar (RRG) – Van Valin (1993) Źródło – gramatyki przypadków Role składniowe – nie są uniwersalne Ukierunkowana na dyskurs Role semantyczne – uniwersalne Szczególna uwaga – operatorom predykatu: aspekt, modalność itp. 43 z 52

44 Gramatyki kognitywne (1)
Lingwistyka kognitywna - paradygmat językoznawstwa zakładający, że język jest ściśle powiązany z umysłowymi procesami dotyczącymi postrzegania świata 44 z 52

45 Gramatyki kognitywne (2)
Niektórzy przedstawiciele dziedziny W Polsce: Tomasz Krzeszowski Aleksander Szwedek Elżbieta Tabakowska, Jolanta Antas, Henryk Kardela, Roman Kalisz Na świecie Ronald Langacker George Lakoff Mark Johnson Paul Kay Mark Turner Georges Kleiber John R. Taylor 45 z 52

46 Gramatyki kognitywne (3)
Literatura George Lakoff i Mark Johnson Metafory w naszym życiu Georges Kleiber Semantyka prototypu John R. Taylora Kategoryzacja w języku Ronald Langacker Wykłady z gramatyki kognitywnej George Lakoff Women, Fire and Dangerous Things Mark Johnson The Body in the Mind Ronald Langacker Foundations of Cognitive Grammar Podręcznik: "Kognitywne podstawy języka i językoznawstwa" red. Elżbieta Tabakowska, Universitas, Kraków 2001 46 z 52

47 Ontologia Pojęcie modelu ontologii można zdefiniować jako uporządkowaną trójkę O = <X, R, F>, gdzie X jest skończony niepusty zbiór konceptów (pojęć, terminów) dziedziny problemu, którą reprezentuje ontologia O R jest skończony zbiór relacji między konceptami (pojęciami, terminami) F jest skończony zbiór funkcji (operacji) zdefiniowanych na X i/lub R 47 z 52

48 Ontologia c.d. Gramatyka opisów poszczególnych bytów
Nazwy i znaczenia nazw obowiązujących w ramach danej dziedziny (np. co oznaczają słowa „drukarka", „sprzęt", itd.) Ograniczenia związanych z opisywanymi bytami Metadane związanych z bytami Dopuszczalne operacji na bytach W tym zakresie zapis ontologii jest pewną meta-bazą danych, w które ustala się zarówno strukturę samej bazy danych, jak i pewne dodatkowe informacje (meta-atrybuty) będące podstawą przetwarzania bazy danych 48 z 52

49 Powiązanie systemów ontologicznych
Ontologia c.d. Powiązanie systemów ontologicznych — metaontologia — ontologia dziedziny ontologia zadań Wyniki analizy tekstu 49 z 52

50 Ontologia c.d. Opracowanie ontologii: Wybór bazy danych Wybór relacji
Opracowanie sieci pojęć Opracowanie maszyny wyszukiwania 50 z 52

51 Ontologia c.d. Przykładowa lista relacji: part of, kind of,
contained in, member of, see also 51 z 52

52 Koniec 52 z 52