Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006 W3: Składnia, Semantyka Inżynieria Języka Nina Suszczańska, Politechnika Śląska, 2006

Plan W1: Lingwistyka W2: Gramatyki W3: Składnia, Semantyka W4: Statystyka, Zastosowania 20.05.2006 2 z 52

Ciąg przekształceń NLP Rozpoznawanie (mowy, gestów itp.) Analiza tekstu Analiza morfologiczna Analiza składniowa Analiza (poziom odpowiedni wymogom) Analiza pragmatyczna Analiza semantyczna Reprezentacja formalna (poziom odpowiedni) Tekst w języku naturalnym Reakcja (wykonanie operacji, sformułowanie odpowiedzi, tłumaczenie itp.) Synteza (mowy, gestów itp.) 20.05.2006 3 z 52

Wybrane aspekty informatyczne Modele formalne Modele dedukcyjne Algorytmy genetyczne Algorytmy miękkich obliczeń Algorytmy statystyczne Złożone struktury danych i algorytmy ich przetwarzania Bazy danych i bazy wiedzy Ontologie 20.05.2006 4 z 52

Gramatyki formalne a metody statystyczne klasyczne opisy teoretyczne poszczególnych poziomów języka, przekształcanie na zapis formalny ( np. rozbiór syntaktyczny zgodny z jakąś teorią, formuła logiczna) zalety: metody pewne, ścisłe, wada: pokrywają niewielki podzbiór wypowiedzi w języku naturalnym metody statystyczne – wnioskowanie o zależnościach występujących w języku naturalnym na podstawie dużych zbiorów danych metody przybliżone, ale praktycznie użyteczne metody statystyczne wspomagane metodami teoretycznymi metody formalne wspomagane metodami statystycznymi 20.05.2006 5 z 52

Formalny opis języka Alfabet - dowolny zbiór symboli (V). Słowo - skończony (także pusty-) ciąg symboli należących do alfabetu Słownik – zbiór wszystkich słów nad alfabetem V, (V*). Język L to dowolny podzbiór zbioru słów V* nad alfabetem V Język to zbiór słów generowanych przez gramatykę Gramatyka <V,T,S,P > V- alfabet, T- podzbiór V, symbole terminalne, S - element V-T, P - zbiór produkcji, reguły przepisywania 20.05.2006 6 z 52

Gramatyki formalne c.d. Wykorzystanie do opisu różnych poziomów JN Fonologiczny Jak buduje się morfy z fonem Morfologiczny Jaka jest struktura wyrazów (w jaki sposób morfy składają się na leksemy) Syntaktyczny Jaka jest struktura zdania (jak wyrazy składają się na zdanie) Semantyczny Jak znaczenia słów składają się na znaczenie zdania Jak struktura semantyczna zdania określa treść 20.05.2006 7 z 52

Gramatyki formalne c.d. Uogólniając: gramatyka jest algorytmem „określającym” język Trzy podejścia do modelowania Podejście zwykle używane: jak skonstruować zdanie zawierające pewną treść Model generuje nie zdania z zadanym sensem, a wszystkie możliwe „prawidłowe” zdania, pojęcie sensu tu nie istnieje, ale: Pozwala zrozumieć, jak sens przekształca się w tekst (tym samym tekst – w sens) 20.05.2006 8 z 52

Składnia (syntaktyka) (1) Analiza składniowa: określenie struktury zdania i jego części składowych Teoretyczne zasady składni języka – dla każdego języka z osobna Topologia zdania Problemy klasyfikacji wyrazów W gramatyce tradycyjnej W lingwistyce komputerowej Funkcje gramatyczne Tradycyjne Nietradycyjne 20.05.2006 9 z 52

Składnia (syntaktyka) (2) Wiedza o sposobie łączenia słów we frazy, a fraz w zdania Potrzeba informacji składniowych: analiza i korekta gramatyczna analiza pytań do baz danych wyszukiwanie informacji generowanie wypowiedzi w języku naturalnym tłumaczenie Opisy formalne języka polskiego: S. Szpakowicz, Formalny opis składniowy zdań polskich, Wyd. UW, 1986 M. Świdziński, Formalna gramatyka języka polskiego, Wyd. UW, 1992 20.05.2006 10 z 52

Zdanie (wypowiedzenie) Ponad 200 różnych definicji zdania Uproszczona: „Najmniejszy odcinek tekstu będący samodzielnym komunikatem” Psychologiczne: w rodzaju „skończona myśl” Logiczne: „sąd logiczny” Formalne: np. „Tekst zaczynający się dużą literą i kończący kropką lub innym określonym znakiem przestankowym” … „grzecznościowa”, żartobliwa definicja Klemensiewicza: „Tekst, po którym można przerwać rozmówcy bez obawy niegrzeczności” Istota komunikatu językowego: predykacja Komunikat służy do przekazywania informacji Trzonem informacji jest Osobowa forma czasownika w zdaniu Inny składnik w równoważniku zdania 20.05.2006 11 z 52

Gramatyki składni, kryterium Kryterium główne: adekwatność i algorytmizacja podejścia, co jest ważne dla implementacji W jakim celu jest opracowywana analiza (jaka faza analizy tekstu jest następna, np. semantyka, transfer itp.) Jak formalizm radzi sobie z opisem gramatycznych zjawisk Dopełnienia dalsze i bliższe Szyk zdania Anafory Elipsy itp. Ścisła zależność między strukturami składniowymi i strukturami morfologicznymi Szczególnie ważne – dla języków fleksyjnych 20.05.2006 12 z 52

Gramatyki składni (1) Zalety i wady Niech x – niepusty łańcuch (słowo) w słowniku V, i niech π jest zbiorem wszystkich symboli x. Binarna relacja  na π, dla której graf <π, > jest drzewem, będziemy nazywać relacją zależności składniowej dla x. Samo drzewo <π, > nazywa się drzewem zależności dla x. Niech π – niepusty łańcuch (słowo) w słowniku V. Zbiór C odcinków łańcucha π nazywa się systemem składników bezpośrednich (drzewem struktury frazowej), jeżeli: Do C należy odcinek składający się ze wszystkich elementów π, w tym do C należą wszystkie pojedyncze elementy π Dowolne dwa odcinki C lub nie mają wspólnych elementów, lub jeden z nich zawiera inny Zalety i wady Realnie używane gramatyki – uzupełnione, rozszerzone Uogólnienie – System Grup Składniowych, gramatyka SGGP (Syntactical Grammar Groups for Polish) 20.05.2006 13 z 52

Gramatyki składni (2) Gramatyki logiczne Typy gramatyk logicznych Początek- gramatyki metamorficzne Reguły przepisywania, w których symbole terminalne i nieterminalne mogą zawierać parametry Parametrami mogą być złożone wyrażenia (np. termy jakiegoś języka formalnego) Parametry mogą zawierać zmienne Typy gramatyk logicznych DCG (Definite Clause Grammars), problemy: Swobodny szyk wyrazów – problem Nieciągłość konstrukcji FROG (FRee Order Grammar) – gramatyki szyku swobodnego – nowe wyzwanie 20.05.2006 14 z 52

Gramatyki składni (3) Gramatyki unifikacyjne (UG): zapis własności języka naturalnego w gramatykach unifikacyjnych Przykład formalizmu – HPSG Jeżeli  jest uogólnionym ciągiem symboli terminalnych i nieterminalnych gramatyki, a B0 -> B1 B2 ... Bk jest regułą, to zastosowanie reguły do  polega na: Dopasowaniu symbolu po lewej stronie reguły do jednego z elementów  mającego tę samą kategorię równość kategorii spójność opisów atrybutów Zastąpienie wybranego elementu  prawą stroną reguły unifikacja opisów atrybutów Literatura: Shieber, S. M. An Introduction to Unification-Based Approaches to Grammar, CSLI Stanford, 1986 Pollard, C., I. Sag, Head-Driven Phrase Structure Grammar, The University of Chicago Press, 1994. 20.05.2006 15 z 52

Gramatyki składni (4) Gramatyki unifikacyjne mają większą moc niż gramatyki bezkontekstowe Gramatyki unifikacyjne są typu 0 - to znaczy moc ich równoważna jest mocy maszyny Turinga (generują języki rekurencyjnie przeliczalne) Oznacza to, że nie istnieje procedura, która dla dowolnej gramatyki unifikacyjnej G i ciągu w określi, czy ciąg ten należy do języka generowanego przez G Formalizmy unifikacyjne FUG Functional Unification Grammar LFG Lexical-Functional Grammar GPSG Generalized Phrase Structure Grammar CUG Categorial Unification Grammar HPSG Head-driven Phrase Structure Grammar ... 20.05.2006 16 z 52

Frazy Frazy (phrases) to ciągi słów/fraz proste / zdaniowe (zdania, składające się z fraz, także są frazami) podział w zależności od typu elementu głównego (podkreślony): rzeczownikowe : ciekawa książka o malarstwie przymiotnikowe: zupełnie nowa przysłówkowe: bardzo dobrze przyimkowe: w piątym rzędzie czasownikowe: złapać zająca liczebnikowe: drugi raz 20.05.2006 17 z 52

Frazy rzeczownikowe, NP dom najstarszy dom w okolicy dom, którego dach pomalowany był na niebiesko największa ulewa od czasu, kiedy jego dziadek, zmuszony przez rodzinę żony, przeprowadził się do tego miasteczka kobieta, dziecko i pies ani wznoszenie błagalnych okrzyków ani bicie głową w mur 20.05.2006 18 z 52

Frazy przyimkowe, PP w domu z szybkim napastnikiem należącym do drużyny przeciwnej do punktu, z którego już nie mógł się wycofać do smutku i żalu lub do czarnej rozpaczy w góry lub nad morze 20.05.2006 19 z 52

Frazy liczebnikowe, NumP trzynaście dwadzieścia tysięcy czterysta trzy i pół godziny pierwsi dwaj chłopcy albo pięciu albo tylko dwóch liczebniki porządkowe (pierwszy, trzysta trzeci ) są zwykle traktowane jako przymiotniki 20.05.2006 20 z 52

Frazy przymiotnikowe, AdjP biały najbardziej zmęczony z całej drużyny większy i bielszy niż przed rokiem zarówno pewny i głęboko przeświadczony o swej racji i w istocie najbardziej zacięty z nas wszystkich, jak też zaciekle walczący o swoje prawa 20.05.2006 21 z 52

Frazy przysłówkowe, AdvP szybko szybciej niż ktokolwiek mógł przypuszczać wczoraj lub jeszcze dawniej zarówno niewygodnie, jak też z całą pewnością ładniej, a także bardziej elegancko 20.05.2006 22 z 52

Frazy czasownikowe, VP kupił obraz wierzę, że o tym nie zapomnisz wczoraj bez żadnego namawiania przewiózł fotel samochodem z mieszkania ciotki do pracowni za 200 zł kupił używany samochód, naprawił go i sprzedał za dwukrotnie wyższą cenę 20.05.2006 23 z 52

Grupy składniowe Co najmniej trzy, a może nawet cztery rozumienia pojęcia grupy składniowej Abstrakcyjny człon składniowy, część struktury zdania Niepredykatywne połączenie składników, ogranicza to pojęcie do konstrukcji co najmniej dwuelementowych Zarówno podrzędne, jak i współrzędne (brat kolegi, kolega i brat) Tylko podrzędne (piłka czerwona, piłka Jana, piłka do siatkówki) Zdanie jest szczególnym przypadkiem grupy (brak przeciwstawienia grupy – zdaniu) Gramatyka SGGP – kolejne rozumienie, uogólnienie Dopuszcza się konstrukcje jednoelementowe Podział na poziomy abstrakcji Rozumienie zgodne z poziomami abstrakcji 20.05.2006 24 z 52

Podstawowe problemy składniowe Uzgodnienia (~równość cech) Podmiot – orzeczenie: (rodzaj, liczba, osoba) Piotr idzie *idą ale: Piotr i Maria idą. Idzie / idą Piotr i Maria. Pięciu chłopców przyszło. Dwaj chłopcy przyszli. Rzeczownik – przymiotnik: (przypadek, rodzaj, liczba) białym krukiem (*kruka) itd. 20.05.2006 25 z 52

Problemy składniowe, cd. Negacja Jan chciał kupić książkę. Jan nie chciał kupić książki / *książkę. Jan nikogo nie oszukał. *Jan nikogo oszukał. Koordynacja (struktury współrzędne) frazy tego samego typu: koń i osioł; mały i zadziorny frazy różnego typu: ufnie i bez strachu Frazy „niepełne”: złapał i ze złością odrzucił piłkę 20.05.2006 26 z 52

Kolejne problemy Szyk (ew. „przesunięcia”) Zależności odległe Do niego Jan szedł po raz drugi. I looked up his grade. I looked his grade up. Zależności odległe Kogo chciałabyś, aby Piotr zaprosił? To ten, którego musiałbyś poprosić o zgodę Nieciągłość fraz Smutny czekał go koniec. Elipsy (brak wymaganych słów bądź fraz) dialogi: Kogo widzisz? - Piotra [widzę]. koordynacja różnego typu składników czy elipsa? Pittsburgh prowadzi 4:0 ale Detroit [prowadzi] tylko 3:1. pro-drop (pominięcie zaimkowego podmiotu) (to dość proste do analizy) [Ja] zdałam egzamin. 20.05.2006 27 z 52

Komputerowa analiza języka (1) Składnia, semantyka, pragmatyka W wielu badaniach – ograniczenie zainteresowania do przypadku analizy składniowej w rozumieniu wąskim Reguły tworzenia wyrażeń bardziej złożonych z prostszych Brak odwoływania się do znaczenia konstrukcji Pomijanie powiązania analizy formalno-składniowej z innymi poziomami analizy: semantyką i pragmatyką W niewielu badaniach celem jest rozumienie tekstu Wymagania: model rozumienia tekstu ma być weryfikowalny empirycznie 20.05.2006 28 z 52

Komputerowa analiza języka (2) Stosunek pomiędzy poziomami Formalno-składniowym Semantycznym Pragmatycznym Składnia formalna jest podporządkowana semantyce Założenia kompozycyjności Znaczenia komponentów wyznacza sposób rozumienia zbudowanej z nich całości Zadaniem analizy formalno-składniowej jest dostarczanie odpowiedniej segmentacji Owo „wyznaczanie” powinno być obliczalne i praktycznie realizowalne komputerowo 20.05.2006 29 z 52

Komputerowa analiza języka (3) Poprawność formalno-składniowa Nie oznacza poprawności znaczeniowej (algorytm wyznaczający znaczenie nie musi skończyć się sukcesem) Odwołuje się do pewnej jawnej normy Poprawność semantyczna Zdanie poprawne składniowo, ale nie zawsze Algorytm wyznaczający znaczenie pracuje w rzeczywistości (aktualnej lub potencjalnej, np. modelu w sensie matematycznym) Algorytm wyznaczający znaczenie kończy się sukcesem Reguły semantyczne (semantyczno-składniowe) 20.05.2006 30 z 52

Komputerowa analiza języka (4) Poprawność pragmatyczna Sytuacja (akcja mowy) Związek bodziec – reakcja Związek między zdaniami (wypowiedziami) a spodziewanymi skutkami wypowiedzeń Zasięg szerszy niż poprawność składniowa lub semantyczna Odnosi się do wszystkich wypowiedzeń, nie tylko do zdań 20.05.2006 31 z 52

Semantyka (1) ustalenie co jest znaczeniem konkretnego wyrażenia w języku naturalnym nazwy obiektów, relacji między nimi, ... sieci semantyczne wskazujące na hierarchię i pokrewieństwo terminów ustalenie sposobu reprezentowania znaczenia określenie niezbędnego zakresu wiedzy pragmatycznej określenie zasad wnioskowania 20.05.2006 32 z 52

Semantyka (2) Reprezentacja znaczenia W jaki sposób można reprezentować semantykę języka naturalnego, czyli jakie mechanizmy formalne można w tym celu wykorzystać (zdefiniować)? W praktyce może to być „cokolwiek”, co odpowiada praktycznym potrzebom programu dokonującego interpretacji semantycznej Kiedy potrzebna jest semantyka: odpowiedzi na pytania ustalenie, czy dane zdanie jest prawdziwe wnioskowanie itd. 20.05.2006 33 z 52

Semantyka (3) Niejednoznaczności Struktura składniowa (i znaczenie) Pacjent opuścił salę operacyjną w dobrym stanie „nawiasowanie” negacji Nie zrobisz tego? Nie (nie zrobię albo właśnie, że zrobię) kwantyfikacja Każdy chce mieć piękny samochód. (każdy inny) Każdy chce wygrać szczęśliwy los. (ten jedyny) wiązane zaimków Jan kazał Piotrowi wyczyścić swoje buty. 20.05.2006 34 z 52

Semantyka (4) Rachunek predykatów I rzędu „Naturalną” metodą reprezentowania semantyki jest rachunek predykatów I rzędu Nie jest to idealny sposób zapisu, nie pozwala na wyrażenie wszystkich znaczeń, ale ma wiele właściwych cech: pozwala zapisać czy jakiś fakt jest prawdziwy czy fałszywy pozwala zapisywać pytania (użycie zmiennych) są metody wnioskowania Wybór rachunku pred. I rzędu nie jest całkowicie arbitralny czy sterowany konkretnymi aplikacjami. Można zauważyć pewne analogie między językiem naturalnym a językiem rachunku predykatów. Cechy rachunku pred. I rzędu: wprowadzenie zmiennych, użycie kwantyfikatorów, częściowo kompozycyjna semantyka 20.05.2006 35 z 52

Semantyka (5) Predykatywno-argumentowy model zdania Nawet dość pobieżna analiza wykazuje, że struktura predykatywno-argumentowa dobrze oddaje znaczenie wielu elementów języka naturalnego. W szczególności niektóre typy słów w łatwy sposób można przetłumaczyć na predykaty, podczas gdy inne pełnią funkcje ich argumentów: słowa kojarzone z predykatami: czasowniki (frazy czasownikowe), przyimki, przymiotniki, niektóre czasowniki słowa kojarzone z argumentami: rzeczowniki (frazy rzeczownikowe) 20.05.2006 36 z 52

Semantyka (6) Tematyczno-rematyczny model zdania Funkcjonalna perspektywa wypowiedzi inaczej: Aktualne rozczłonkowanie wypowiedzi Temat: punkt wyjścia jako informacja znana Remat: cel wypowiedzi, wprowadzenie nowej informacji 20.05.2006 37 z 52

Przykład zapisu znaczenia Jan dał Marii książkę. Tłumaczenie „bezpośrednie”: Dać(Jan, Maria, książka) „Lepsze” (dokładniejsze) tłumaczenie (należy stosować ten sposób) : czasownik decyduje o nazwie predykatu, liczbie i roli jego argumentów, ‘dać’ oznacza więc: w,x,y,z Giving(x)  Giver(w, x)  Givee(y, x)  Given(z, x) x,y Giving(x)  Giver(Jan, x)  Givee(Maria, x)  Given(y, x)  Isa(y, książka) Różnica między zapisem rzeczowników ‘Jan’ i ‘książka’ to różnica interpretacji rzeczowników własnych i pospolitych 20.05.2006 38 z 52

Analiza semantyczna (1) Analiza semantyczna to proces przekształcenia wyrażenia lingwistycznego w zapis jego znaczenia Są miliony sposobów dokonania takiego przekształcenia, od rozwiązań całkowicie ad hoc, opracowanych na potrzeby konkretnych aplikacji do wyrafinowanych metod teoretycznych o często wątpliwym znaczeniu praktycznym Większość metod analizy semantycznej opiera się na wynikach analizy syntaktycznej (albo jest dokonywana równolegle z nią) 20.05.2006 39 z 52

Analiza semantyczna (2) Funkcyjne rozszerzenia reguł gramatyki. Dwie strategie budowy interpretacji semantycznej: Tak jak w przypadku unifikacji - rozszerzenie algorytmu parsowania (np. Earley’a) tak, by dla całkowicie rozpoznanych składników (kropka na końcu reguły) tworzyła się interpretacja semantyczna, Przypisanie interpretacji po zbudowaniu całego drzewa rozbioru 20.05.2006 40 z 52

DRT - Discourse Representation Theory metoda reprezentacji znaczenia wypowiedzi polegająca na konstruowaniu specjalnej struktury, nazwanej DRS (Discourse Representation Structure); Kamp i Reyle (1991); Struktura ta składa się z dwóch części: zbioru obiektów (discourse referents), zwanych uniwersum, zbioru warunków opisujących zależności między obiektami. Przykładowo, zdanie Jones owns Ulysses (Jones posiada Ulissesa) można przedstawić w postaci następującej struktury DRS: x y Jones (x) Ulysses(y) [x owns y] 20.05.2006 41 z 52

Relacja między DRT a logiką I rzędu Można dokonać tłumaczenia DRS na formuły logiki Warunki prawdziwości określone dla DRT są podobne jak dla logiki I rzędu DRT dodaje strukturę wewnętrzną wykorzystuje tę strukturę do określania powiązań anafor inne rozwiązanie: Montague Grammar 20.05.2006 42 z 52

Role i Reference Grammar Gramatyki przypadków Fillmora (1968) Czynność Subiekt Obiekt Adresat Miejsce Czas itd. Role i Reference Grammar (RRG) – Van Valin (1993) Źródło – gramatyki przypadków Role składniowe – nie są uniwersalne Ukierunkowana na dyskurs Role semantyczne – uniwersalne Szczególna uwaga – operatorom predykatu: aspekt, modalność itp. 20.05.2006 43 z 52

Gramatyki kognitywne (1) Lingwistyka kognitywna - paradygmat językoznawstwa zakładający, że język jest ściśle powiązany z umysłowymi procesami dotyczącymi postrzegania świata 20.05.2006 44 z 52

Gramatyki kognitywne (2) Niektórzy przedstawiciele dziedziny W Polsce: Tomasz Krzeszowski Aleksander Szwedek Elżbieta Tabakowska, Jolanta Antas, Henryk Kardela, Roman Kalisz Na świecie Ronald Langacker George Lakoff Mark Johnson Paul Kay Mark Turner Georges Kleiber John R. Taylor 20.05.2006 45 z 52

Gramatyki kognitywne (3) Literatura George Lakoff i Mark Johnson Metafory w naszym życiu Georges Kleiber Semantyka prototypu John R. Taylora Kategoryzacja w języku Ronald Langacker Wykłady z gramatyki kognitywnej George Lakoff Women, Fire and Dangerous Things Mark Johnson The Body in the Mind Ronald Langacker Foundations of Cognitive Grammar Podręcznik: "Kognitywne podstawy języka i językoznawstwa" red. Elżbieta Tabakowska, Universitas, Kraków 2001 20.05.2006 46 z 52

Ontologia Pojęcie modelu ontologii można zdefiniować jako uporządkowaną trójkę O = <X, R, F>, gdzie X jest skończony niepusty zbiór konceptów (pojęć, terminów) dziedziny problemu, którą reprezentuje ontologia O R jest skończony zbiór relacji między konceptami (pojęciami, terminami) F jest skończony zbiór funkcji (operacji) zdefiniowanych na X i/lub R 20.05.2006 47 z 52

Ontologia c.d. Gramatyka opisów poszczególnych bytów Nazwy i znaczenia nazw obowiązujących w ramach danej dziedziny (np. co oznaczają słowa „drukarka", „sprzęt", itd.) Ograniczenia związanych z opisywanymi bytami Metadane związanych z bytami Dopuszczalne operacji na bytach W tym zakresie zapis ontologii jest pewną meta-bazą danych, w które ustala się zarówno strukturę samej bazy danych, jak i pewne dodatkowe informacje (meta-atrybuty) będące podstawą przetwarzania bazy danych 20.05.2006 48 z 52

Powiązanie systemów ontologicznych Ontologia c.d. Powiązanie systemów ontologicznych — metaontologia — ontologia dziedziny ontologia zadań Wyniki analizy tekstu 20.05.2006 49 z 52

Ontologia c.d. Opracowanie ontologii: Wybór bazy danych Wybór relacji Opracowanie sieci pojęć Opracowanie maszyny wyszukiwania 20.05.2006 50 z 52

Ontologia c.d. Przykładowa lista relacji: part of, kind of, contained in, member of, see also 20.05.2006 51 z 52

Koniec 20.05.2006 52 z 52