Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego

Slides:



Advertisements
Podobne prezentacje
Lingwistyka Matematyczna
Advertisements

Lingwistyka Matematyczna
Znaki informacyjne.
Wprowadzenie do informatyki Wykład 6
Obserwowalność System ciągły System dyskretny
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Ludwik Antal - Numeryczna analiza pól elektromagnetycznych –W10
Filtracja obrazów cd. Filtracja obrazów w dziedzinie częstotliwości
Liczby pierwsze.
PROGRAM OPERACYJNY KAPITAŁ LUDZKI Priorytet III, Działanie 3.2
Lingwistyka Matematyczna
1 Stan rozwoju Systemu Analiz Samorządowych czerwiec 2009 Dr Tomasz Potkański Z-ca Dyrektora Biura Związku Miast Polskich Warszawa,
Systemy operacyjne Copyright, 2000 © Jerzy R. Nawrocki Wprowadzenie do informatyki.
Systemy operacyjne Copyright, 2000 © Jerzy R. Nawrocki Wprowadzenie do informatyki.
Języki formalne i gramatyki
Podstawy informatyki Rekurencja i rekurencja Grupa: 1A
Kompilacja przechodnia
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
1. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
2. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
NOWA DEFINICJA FORMALNA POLSKIEJ FRAZY NOMINALNEJ IPIPAN * Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka.
5. Wprowadzenie do nauki o języku A1NJ
1. Wprowadzenie do nauki o języku A1NJ
Klasyfikacja systemów
Dyskretny szereg Fouriera
Transformacja Z (13.6).
Jak wypadliśmy na maturze z matematyki w 2010 roku?
Wykonawcy:Magdalena Bęczkowska Łukasz Maliszewski Piotr Kwiatek Piotr Litwiniuk Paweł Głębocki.
Technika Mikroprocesorowa 1
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Wskazówki konkursowe.
Podstawy adresowania hostów w sieciach komputerowych
KOLEKTOR ZASOBNIK 2 ZASOBNIK 1 POMPA P2 POMPA P1 30°C Zasada działanie instalacji solarnej.
Podstawy działania wybranych usług sieciowych
ŻYWE JĘZYKI PROGRAMOWANIA LIVING IT UP WITH A LIVE PROGRAMMING LANGUAGE Sean McDirmid Ecole Polytechnique Fédérale de Lausanne (EPFL)
Analiza wpływu regulatora na jakość regulacji (1)
Analiza wpływu regulatora na jakość regulacji
Wskazówki konkursowe.
Modelowanie i Identyfikacja 2011/2012 Metoda propagacji wstecznej Dr hab. inż. Kazimierz Duzinkiewicz, Katedra Inżynierii Systemów Sterowania 1 Warstwowe.
1. ŁATWOŚĆ ZADANIA (umiejętności) 2. ŁATWOŚĆ ZESTAWU ZADAŃ (ARKUSZA)
Obserwowalność i odtwarzalność
Translatory Copyright, 2006 © Jerzy R. Nawrocki Wprowadzenie do informatyki Wykład 11.
Gramatyki i translatory
Stabilność Stabilność to jedno z najważniejszych pojęć dynamiki systemów i teorii sterowania W większości przypadków, stabilność jest warunkiem koniecznym.
ZDYSCYPLINOWANY OPIS JĘZYKÓW NATURALNYCH I KORPUSY TEKSTÓW Proseminarium doktoranckie 2013/2014, semestr letni Prof. dr hab. Marek Świdziński Zakład.
  Prof.. dr hab.. Janusz A. Dobrowolski Instytut Systemów Elektronicznych, Politechnika Warszawska.
-17 Oczekiwania gospodarcze – Europa Wrzesień 2013 Wskaźnik > +20 Wskaźnik 0 a +20 Wskaźnik 0 a -20 Wskaźnik < -20 Unia Europejska ogółem: +6 Wskaźnik.
EcoCondens Kompakt BBK 7-22 E.
W2 Modelowanie fenomenologiczne I
Testogranie TESTOGRANIE Bogdana Berezy.
Jak Jaś parował skarpetki Andrzej Majkowski 1 informatyka +
Gramatyki Lindenmayera
Systemy dynamiczne 2014/2015Obserwowalno ść i odtwarzalno ść  Kazimierz Duzinkiewicz, dr hab. in ż. Katedra In ż ynierii Systemów Sterowania 1 Obserwowalność.
Działania w systemie binarnym
Kalendarz 2020.
Elementy geometryczne i relacje
Języki formalne i gramatyki Copyright, 2005 © Jerzy R. Nawrocki Teoretyczne podstawy.
Spotkanie 5 Poliqarp.. Znakowanie – tagging Narzędzie do znakowania – tager Znakowanie: przypisywanie jednostkom tekstowym jakichś kodów (tagów): 1. lokalizacja.
8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
Języki formalne Copyright, 2006 © Jerzy R. Nawrocki Wprowadzenie do informatyki Wykład.
ANALIZA SKŁADNIOWA.
10. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
Systemy wspomagające dowodzenie twierdzeń
Spotkanie 5 Wstęp do GFJP: jak to chodzi....  Definicja pewnego zbioru wyrażeń (np. zbioru „język polski”).  Różne aparaty: ST, EST, GB, GPSG, HPSG,…
Spotkanie 5 Poliqarp.. Znakowanie – tagging Narzędzie do znakowania – tager Znakowanie: przypisywanie jednostkom tekstowym jakichś kodów (tagów): 1. lokalizacja.
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Wstęp do programowania Wykład 9
Proseminarium doktoranckie 2015/2016, semestr letni WSPÓŁCZESNE NARZĘDZIA OPISU LINGWISTYCZNEGO POLSZCZYZNY Proseminarium doktoranckie 2015/2016, semestr.
Zapis prezentacji:

Wstęp do językoznawstwa synchronicznego 3003-11A1WS Filologia polska, I rok * 2014/2015 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka Polskiego UW e-mail: m.r.swidzinski@uw.edu.pl Konsultacje w pok. 1: środa 14.00-15.00 Strona przedmiotu — szukaj pod: www.mswidz.republika.pl/

Program Przedmiot językoznawstwa. Cechy definicyjne języka naturalnego.  Struktura języka I: słownik i morfologia. Struktura języka II: składnia.  Komunikacja językowa. Podstawy leksykologii. Leksykografia. Zróżnicowanie języków świata. Podstawy typologii. Formalne rozumienie języka. Lingwistyka formalna i informatyczna. Typy badań lingwistycznych. Kolokwium.

Przykłady do analizy Katarzyna Wielka rozkazała wtedy zamurować kochanka w wieży koło cerkwi. Kupiono tam telewizor, ale ekran wysiadł tuż po przyjeździe do szkoły. Sometimes Mary lets him go but gives him no advice where to go. Tylko pięciu facetów zostało poproszonych o przygotowanie materiałów na wewnętrzne szkolenia w zakresie pierwszej pomocy.

Formalne rozumienie języka. Lingwistyka formalna i informatyczna. Temat 7 Formalne rozumienie języka. Lingwistyka formalna i informatyczna.

Intuicja opisu formalnego Model — urządzenie funkcjonujące jak oryginał. Co jest tym oryginałem (= obiektem opisu)? Umowa: JN – zbiór wszystkich zdań poprawnych. Co modelujemy? Ten zbiór. Opis języka to definicja zbioru wszystkich zdań poprawnych i tylko takich. Język jest zbiorem nieskończonym. Język = gramatyka. Opis języka jest również konwencjonalny i arbitralny. Istnieje nieograniczenie wiele poprawnych gramatyk (= opisów) danego języka.

Lingwistyka formalna i informatyczna Lingwistyka do początków XX wieku – filologia: analiza tekstów minionych epok, egzegeza, interpretacje historyczne (etymologia). Lingwistyka I połowy XX wieku – strukturalizm (J.N. Baudouin de Courtenay, F. de Saussure, M. Kruszewski, O. Jespersen, N. Trubeckoj, L. Hjelmslev, L. Tesniére, J. Kuryłowicz, L. Bloomfield, Z. S. Harris): opis struktury, nie genezy.

Lingwistyka formalna i informatyczna Lingwistyka formalna: opisy matematyczne – twierdzenia, dowody, rachunki. Opis na papierze!!! Wynik: definicja drzew struktury. Lingwistyka informatyczna: zadania inżynierskie – automatyczna analiza tekstu, przetwarzanie tekstów, przeszukiwanie itp. Opis jest urządzeniem – na przykład programem komputerowym. Wynik: rzeczywiste drzewa struktury dla danego wyrażenia (parsing trees). Pojęcie implementacji opisu (formalnego).

Inny system dwuklasowy [Zbiór_zdań] = {1, 17, 909, 1889, 39976145,...}   [Zbiór_zdań] to język!!! [Zbiór _znaków_prostych] = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} Wyrażenia niepoprawne (= nie należące do języka): *01 *017 *0000953,...

Gramatyka formalna Gramatyka formalna = instrukcja: Napisz dowolną cyfrę. Zakończ. Napisz dowolną cyfrę różną od 0. Ewentualnie dopisz dowolną cyfrę do wyniku instrukcji c. Operację d. możesz ewentualnie powtórzyć dowolnie wiele razy. Napisz KONIEC.

Derywacje Nasze derywacje [1] KONIEC

Derywacje [2] 5 58 KONIEC

Derywacje [3] 5 58 589 5890 58900 589009 .......... KONIEC

Zapis formalny Gramatyka formalna – pewien rachunek. Wiele szczegółowych formalizmów. Jedna z postaci gramatyki formalnej: gramatyka struktur frazowych, PS-grammar). G: <V, V', , P> gdzie: V słownik terminalny V' słownik nieterminalny (pomocniczy)  symbol początkowy P zbiór produkcji

Zapis formalny Przykładowa gramatyka formalna V = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9} V' = {Cyfra, Cyfra, Liczba, Liczba1}  = Liczba P: (1) Liczba  Cyfradow (2) Liczba  Cyfra Liczbabez0 (3) Liczbabez0  Cyfradow (4) Liczbabez0  Cyfra Liczbabez0 (5) Cyfra  0, 1, 2, 3, 4, 5, 6, 7, 8, 9 (6) Cyfra1  1, 2, 3, 4, 5, 6, 7, 8, 9 gdzie  — 'przepisz to, co po lewej, na to, co po prawej stronie produkcji'. (4): produkcja rekurencyjna!!!

Derywacje Nasze derywacje [1] Liczba Cyfra (1) 0 [2] Cyfra1 Liczba1 (2) 5 Liczba1 (6) 5 Cyfra (3) 58 (5)

Derywacje [3] Liczba Cyfra1 Liczba1 (2) 5 Liczba1 (6) 5 Cyfra Liczba1 (4) 5 8 Liczba1 (5) 5 8 Cyfra Liczba1 (4) 5 8 9 Liczba1 (5) 5 8 9 Cyfra Liczba1 (4) 5 8 9 0 Liczba1 (5) 5 8 9 0 Cyfra Liczba1 (4) 5 8 9 0 0 Liczba1 (5) 5 8 9 0 0 Cyfra Liczba1 (4) 5 8 9 0 0 4 Liczba1 (5) 5 8 9 0 0 4 Cyfra (4) 5 8 9 0 0 4 5 (5)

Derywacje Synteza i analiza Derywacja to również opis analizy. Interpretacja wyrażenia *058: Reguła Liczba  Cyfra Liczba TAKIEJ REGUŁY NIE MA!!! Więc: wyrażenie się nie analizuje. Wyrażenie jest dewiacyjne (= nie istniejące, niepoprawne).

Gramatyka formalna jako model języka Co taka gramatyka „robi”? a. odróżnia wyrażenia poprawne od niepoprawnych (= nie należących do języka), b. interpretuje wyrażenia poprawne, c. wytwarza wyrażenia poprawne. Gramatyka robi to samo, co użytkownik tego języka!!!

Gramatyka formalna jako model języka W taki sam sposób można opisywać JN!!!

Formalne rozumienie języka Język formalny Formalne rozumienie języka   Język formalny: zbiór wszystkich wyrażeń poprawnych zbudowanych z elementów danego słownika (zbiór wszystkich wyrażeń nad danym alfabetem).  Gramatyka formalna: definicja języka formalnego, czyli instrukcja budowy (lub rozbioru) tych i tylko tych zdań, które należą do danego języka. Słownik należy do gramatyki!!!  Opis formalny danego JN: zdefiniowanie pewnego języka formalnego i dopasowanie go do opisywanego JN.

Przewrót kopernikański w lingwistyce Generatywizm Przewrót kopernikański w lingwistyce Noam Chomsky (1928-), profesor MIT. Syntactic Structures, Cambridge (Mass.) 1957. Gramatyka generatywno-transformacyjna. Gramatyka generatywna: każda gramatyka formalna. gramatyka Chomsky’ego. ST: Standard Theory Idea: składnik frazowy: definicja zbioru drzew składnik transformacyjny: przekształcenia drzew interpretacja fonologiczna i semantyczna

Generatywizm Przykładowe reguły frazowe S => NP — AUX — VP VP => V — NP — PP NP => (Det) — N PP => P — NP N => Jeeves, employer, castle V => meet AUX => will P => at DET => the, his

Generatywizm

Generatywizm Intuicja transformacji Przekształcają drzewo w inne drzewo: At the castle, Jeeves will meet his employer. His employer, Jeeves will meet at the castle. Meet his employer at the castle, Jeeves will (indeed).

Generatywizm Aspects of the Theory of Syntax, Cambridge (Mass.) 1965. [Po polsku: Zagadnienia składni ogólnej, Warszawa 1976] EST: Extended Standard Theory. Idea: drzewo – struktura głęboka drzewo przekształcone – struktura powierzchniowa zachowanie znaczenia ograniczenia selekcyjne interpretacja semantyczna

Generatywizm Lectures on Government and Binding, Dordrecht 1981. GB: teoria rządu i wiązania. Idea: proces nabywania języka: 3 składniki wstępne doświadczenia językowe UG (zbiór zasad i parametrów) gramatyka danego języka wszystkie języki świata mają tę samą UG gramatyka: składnik frazowy (z warunkami), jedna transformacja (Move )

Generatywizm Aparat pojęciowy subkategoryzacja teoria Theta role tematyczne zasada projekcji rozszerzona zasada projekcji rzut (projekcja) przypisywanie przypadka c-command teoria wiązania ograniczenia lokalne łańcuchy A przesunięcie NP punkt lądowania bariera ..........................

Generatywizm Inne teorie Joan Bresnan, Ronald Kaplan (po 1970) LFG (Lexical functional grammar) Alain Colmerauer, Fernando Pereira, David Warren (po 1978) DCG (Definite Clause Grammars) Ivan A. Sag, Carl J. Pollard (koniec lat 1980) HPSG (Head-Driven Phrase Structure Grammar) Noam Chomsky (1995) The Minimalist Program

Generatywizm Jest bardzo obfita literatura generatywistyczna: opisy wielu języków – także egzotycznych; także polszczyzny. Głównie: GB i HPSG. Pionier: I. Bobrowski GB: P. Bański. J. Błaszczak, K. Dziwirek, B. Rozwadowska, E. Willim, J. Waltoś HPSG: A. Przepiórkowski, A. Kupść, A. Marciniak, A. Mykowiecka

Gramatyka metamorficzna PROLOG i DCG w Polsce A. Colmerauer (1978) – gramatyka metamorficzna i język programowania PROLOG. S. Szpakowicz, Formalny opis składniowy zdań polskich (1983, 1986) M. Świdziński, Gramatyka formalna języka polskiego (1992) GM = prawie gotowy parser!!!

Gramatyka metamorficzna Przykładowe reguły GFJP FNO (p,rl,o,neg,i,z,kl) = KNODOP (p,rl,o,neg,i,z,kl) FZD (KTÓRY,k,a,c,t,neg1,rl) PRZEC $ RÓŻNE (kl,CO.KTO.WZ) = KNODOP (p,rl,o,neg,i,z,kl) FZD (tfz,k,a,c,t,neg1,rl) $ RÓWNE (kl,CO.KTO) $ RÓWNE (tfz,kl.KTÓRY). Chłopiec, którego znam, umarł. Nie mam tego, czym się szczycisz, ani pieniędzy.

Gramatyka metamorficzna FW1 (BIER,k,a,c,rl,o,neg,i,z) = FNO (DOP,rl1,o1,neg,i,z,kl). $ RÓWNE (neg,ANI.NIE). FW1 (BIER,k,a,c,rl,o,TAK,i,z) = FNO (BIER,rl1,o1,neg,i,z,kl). Nie kupili żadnej książki . Ciekawą książkę kupili.

DCG zdanie(Wf,A,C,T,Rl,O,Neg,Dest,I,Pk,Sub) --> s(ze1), ff(Wf,A,C,T,Rl,O,Wym1,Neg,Dest1,I1,Pk1,na), { sprawdz_wf(Wf,Wym1,Wym) }, sequence_of([ fw(W2,A,C,Rl,O,post,Neg,Dest2,I2,Pk2,po) ^[oblwym_iter,Wym,W2,ResztaWym], fl(A,C,Rl,O,Neg,Dest2,I2,Pk2,po) ^[najwyżej3,0,_,_] ] ^[obldest_iter,Dest1,Dest2,Dest] ^[oblink_iter,I1,I2,I] ^[sprawdz_pk_iter,Pk1,Pk2,Pk] ), { ResztaWym = wym([],OW),resztawym(OW) }.  

Implementacje Opis formalny może być zrealizowany w praktyce, czyli zaimplementowany. Implementacja: napisanie programu, sam ten program (aplikacja)

Implementacje Analizator morfologiczny AMOR (1999-2002) (Michał Rudolf, Joanna Rabiega-Wiśniewska)

Implementacje Analizator morfologiczny POMOR (po 1987) (dr Robert Wołosz, Pecs)

Implementacje Analizator morfologiczny Morfeusz (dr Marcin Woliński, Warszawa)

Analizator składniowy Marcina Wolińskiego Świgra Implementacje Analizator składniowy Marcina Wolińskiego Świgra Marcin Woliński, Komputerowa weryfikacja gramatyki Świdzińskiego. Rozprawa doktorska, Instytut Podstaw Informatyki PAN, Warszawa, grudzień 2004 Promotor: J.S. Bień. http://nlp.ipipan.waw.pl/~wolinski/swigra/

Projekt składniowy: Implementacje Budowa banku drzew składniowych dla języka polskiego z wykorzystaniem automatycznej analizy składniowej, Nr N 104 2247 35. Kierownik projektu: dr Marcin Woliński. Od 14.10.2008 do 13.10.2011.

Produkty Zastosowania Złota encyklopedia PWN Komputerowy Słownik Języka Polskiego Słownik gramatyczny języka polskiego Korpus PWN Korpus IPI PAN

Produkty Wyszukiwarka HOLMES (Michał Rudolf) Wyszukiwarka Poliqarp (Marcin Woliński, IPI PAN)

Podsumowanie Druga połowa XX wieku: początek ery lingwistyki formalnej. Wybitne nazwiska: N. Chomsky, J.Bresnan, G. Gazdar, I. Sag, A. Colmerauer, F. Pereira, C. Pollard. W Polsce: I. Bobrowski, E. Willim, A. Przepiórkowski. Ważne teorie: gramatyka generatywno-transformacyjna – teoria standardowa, rozszerzona teoria standardowa, teoria rzadu i wiązania, minimalizm; uogólniona gramatyka struktur frazowych; gramatyka struktur frazowych ze sterowaniem od nadrzędnika; gramatyka metamorficzna. Lingwistyka informatyczna: wykorzystanie gramatyk formalnych jako narzędzia NLP.