Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy” 2014-2016 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka.

Podobne prezentacje


Prezentacja na temat: "8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy” 2014-2016 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka."— Zapis prezentacji:

1 8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy” Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka Polskiego UW Konsultacje (pok. 1): śr , sob (w dniach zjazd ó w) Strona przedmiotu — szukaj pod:

2 Program 1.Co to jest język naturalny? 2.Aparat pojęciowy analizy tekstu. 3.Poziomy struktury tekstu. 4.Wstęp do morfologii. 5.Fleksja polska. 6.Elementarz składni. 7.Derywacja i gniazda słowotwórcze. 8.Świat znaczeń: podstawy leksykologii. Leksykografia. 9.Komunikacja językowa. 10.Zróżnicowanie języków świata. Typologia języków. 11.Inne: Korpusy i narzędzia ich obsługi. –2–2

3 Wykład 8: Korpusy i narzędzia ich obsługi

4 „[językoznawstwo XXI stulecia] to [...] lingwistyka korpusowa. Rozwija się ona już od jakiegoś czasu; wynikła w sposób naturalny z dość szczęśliwego splotu różnorodnych okoliczności; zdominowała inne nurty i odmiany językoznawstwa nieodwracalnie. Nie można być dziś językoznawcą i nie otrzeć się o nią choćby jako użytkownik narzędzi. A skoro tak, to warto wejść w ten świat z wyboru, zadań bowiem jest moc i będzie ich coraz więcej. W świecie jest na tę najnowszą lingwistykę, nie na dowolną, mnóstwo pieniędzy – i zajmują się nią całe rzesze; to dowodzi, że coś jest na rzeczy, że czemuś to służy...” [Świdziński, M.: „Lingwistyka korpusowa w Polsce – źródła, stan, perspektywy”. [W:] LingVaria, nr 1. Kraków ] 4 Językoznawstwo korpusowe

5 1.Lingwistyka I połowy XX wieku – strukturalizm (F. de Saussure, J.N. Baudouin de Courtenay, M. Kruszewski, O. Jespersen, N. Trubeckoj, L. Hjelmslev, L. Tesniére, J. Kuryłowicz, L. Bloomfield, Z. S. Harris): opis struktury, nie genezy. Język naturalny: dwuklasowy system semiotyczny służący danej populacji do komunikacji uniwersalnej. 2.Lingwistyka formalna: opisy „typu matematycznego” – twierdzenia, dowody, rachunki. Opis na papierze!!! Wynik: definicja drzew struktury. Język naturalny: zbiór wszystkich wyrażeń poprawnych i tylko takich. Generatywizm: N. Chomsky, Syntactic Structures (1957). Inne formalizmy: GPSG, HPSG, DCG, wiele innych. 5 Szkic historii lingwistyki

6 3.Lingwistyka informatyczna: zadania inżynierskie – budowa korpusu, automatyczna analiza tekstu, przetwarzanie tekstów, przeszukiwanie itp. Opis jest urządzeniem – na przykład programem komputerowym. Wynik: określony podzbiór korpusu, lista składników spełniających zadane warunki, rzeczywiste drzewa struktury dla danego wyrażenia (parsing trees). Pojęcie implementacji opisu (formalnego). Lingwistyka korpusowa. 6 Szkic historii lingwistyki

7 korpus m IV, D. -u, Ms. ~sie; lm M. -y 1. «ciało człowieka lub zwierzęcia prócz kończyn i głowy; tułów» 2. => garmond 3. archit. «główna część budowli; w architekturze pałacowej: część centralna budynku o charakterze reprezentacyjnym; w architekturze sakralnej: część nawowa kościoła» 4. techn. «główna, tworząca całość, część jakiegoś urządzenia, maszyny, przyrządu itp.; kadłub» Korpus obrabiarki, okrętu. 5. wojsk. «duża jednostka taktyczna składająca się z kilku dywizji lub brygad; wchodzi w skład armii lub może działać samodzielnie» Korpus zmechanizowany. Korpus piechoty, kawalerii. FR. Korpus oficerów, korpus oficerski «ogół oficerów wchodzących w skład dowództwa wojskowego» FR.Korpus kadetów «szkoła wojskowa, początkowo szkoła oficerska, później średnia szkoła ogólnokształcąca, przygotowująca kandydatów do szkół oficerskich; w Polsce istniała do roku 1956» 7 Korpusy

8 FR. polit. Korpus dyplomatyczny «ogół przedstawicieli państw obcych akredytowanych przy rządzie danego kraju; personel dyplomatyczny oraz wszyscy członkowie obcych misji dyplomatycznych korzystających z przywilejów i immunitetów» FR. Korpus konsularny «ogół konsulów w określonym państwie lub miejscowości; szefowie placówek konsularnych oraz członkowie personelu konsularnego korzystający z przywilejów i immunitetów» (wg KSJP) 8 Korpusy

9 korpus [...] 6 Korpus tekstów to zbiór książek, czasopism, artykułów itp. przeznaczony do jakichś prac lub badań. Termin specjalistyczny. …komputerowy korpus języka polskiego. (wg ISJP) 9 Korpusy

10 Korpus to dowolny zbiór tekstów. Korpus to dowolny zbiór tekstów, w którym czegoś szukamy. Korpus to dowolny zbiór tekstów będący podstawą badań (np. naukowych). Korpus narodowy??? 10 Korpusy

11 Klasyfikacje: Rozmiar: wielki – średni – mały Waga: zasadniczy – pomocniczy Cel: podstawowy – przykładowy (sample) Zakres: ogólny – szczegółowy Status: naukowy (kulturowy) – komercyjny Korpusy 11

12 LOB CorpusLancaster – Oslo/Bergen Geoffrey Leech, Stig Johansson BNC Oxford, Lancaster, Longman PELCRAPolish and English Language Corpora for Research and Applications COBUILD Korpus PWN IPI PAN Korpus Języka Polskiego Korpusy 12

13 Inne języki Český Narodní Korpus Korpus niemiecki Berlińskiej Akademii Nauk (DWDS) Korpusy IDS (Institut für Deutsche Sprache) Национальый Корпус Русского Языка korpusy francuskie korpusy hiszpańskie korpusy portugalskie Polski Korpus Narodowy??? Korpusy 13

14 ● LOB The Lancaster/Oslo-Bergen Corpus Approximately 1,000,000 words of British written English dating from The corpus is made up of 15 different genre categories. Available as orthographic text, and tagged with the CLAWS1 part-of-speech tagging system. The Leeds- Lancaster Treebank and Lancaster Parsed Corpus are analyzed subsamples of the LOB corpus. For further information see the corpus manual (1978) and the tagged corpus manual (1986). (There is a local on-line copy of the tagged corpus manual at Lancaster.)corpus manual (1978)tagged corpus manual (1986)local on-line copy 14 Korpusy

15 ●BNC (British National Corpus) 15 Korpusy

16 16 London and Glasgow 1987 Korpusy

17 17 Korpusy

18 18 Korpusy

19 Korpus PWN Wydawnictwo Naukowe PWN przygotowało i udostępniło sieciową wersję Korpusu Języka Polskiego PWN wielkości 40 milionów słów. Korpus składa się z fragmentów 386 różnych książek, 977 numerów 185 różnych gazet i czasopism, 84 nagranych rozmów, 207 stron internetowych oraz kilkuset ulotek reklamowych. Pełna wersja sieciowa korpusu jest dostępna odpłatnie (40 mln), a bezpłatnie wersja demonstracyjna wielkości ponad 7,5 miliona słów. 19 Korpusy

20 20 Korpusy

21 IPI PAN 2. wydanie Korpusu IPI PAN (marzec 2006) 2.all.250.bin.tar.bz2 — pełny Korpus IPI PAN, czyli ponad 250 mln. segmentów.2.all.250.bin.tar.bz2 2.sample.30.bin.tar.bz2 — próbka Korpusu IPI PAN dostępna na stronie ponad 30 mln. segmentów. Niniejsza wersja sample jest korpusem różnorodnym o następującym składzie:2.sample.30.bin.tar.bz2http://korpus.pl/ –proza współczesna: ponad 10% –proza dawna: prawie 10% –teksty książkowe niebeletrystyczne (głównie naukowe): 10% –prasa: 50% –stenogramy sejmowe i senackie (w tym z komisji śledczej): 15% –ustawy: 5% 21 Korpusy

22 22 Korpusy

23 Znakowanie – tagging Narzędzie do znakowania – tager Znakowanie: przypisywanie jednostkom tekstowym jakichś kodów (tagów): 1.lokalizacja 2.PoS 3.morfologia 4.składnia 5.semantyka 6.pragmatyka Muszą istnieć dobre podstawy gramatyczne!!! Znakowanie –23

24 Adam Przepiórkowski Korpus IPI PAN - wersja wstępna INSTYTUT PODSTAW INFORMATYKI PAN Warszawa 2004 Korpus IPI PAN –24

25 Grant KBN numer 7 T11C Instytut Podstaw Informatyki PAN (IPI PAN) – Książka dostępna jako pdf: corpus/ Korpus IPI PAN –25

26 Korpus IPI PAN – jeden z dwóch publicznie dostępnych korpusów języka polskiego: [Korpus SFPW ( ) – 500 tys. słów] Korpus PWN (wersja sieciowa) – 70 (100 mln) Korpus IPI PAN (2004) – 100 mln segmentów, znakowany morfosyntaktycznie, dostępny on-line: Korpus IPI PAN –26

27 Korpus narodowy (= skarbiec…) Wielkość: niemal 2 miliardy słów. Dostępny dla każdego: NKJP –27

28 Zbiór znaczników: Marcin Woliński, Zygmunt Saloni, Adam Przepiórkowski Marcin Woliński: „System znaczników morfosyntaktycznych w korpusie IPI PAN”, Polonica XII (2004), Podstawy teoretyczne –28

29 Leksem: zbiór form wyrazowych o tym samym (lub regularnie zróżnicowanym) znaczeniu oraz mających podobną postać morfologiczną. Fleksem (termin Janusza S. Bienia): zbiór form wyrazowych o tym samym (lub regularnie zróżnicowanym) znaczeniu, mających podobną postać morfologiczną oraz mających te same kategorie gramatyczne. Znacznik: ciąg wartości kategorii fleksyjnych przypisanych segmentowi. Podstawy teoretyczne –29

30 Segment: zwykle słowo. Segmenty muszą być ciągłe i rozłączne. Bo ja się naprawdę boję głośno roześmiać. Dawnom nie śpiewała i nie tańczyła. Kiedyś by/m tam zaśpiewał i zatańczył. Podstawy teoretyczne –30

31 Segmenty krótsze niż słowo: długośmy napisałaby/m chodźże doń polsko/-/niemiecki itp./. Podstawy teoretyczne –31

32 IPI PAN Kategorie gramatyczne –32

33 Kategorie gramatyczne –33

34 Kategorie gramatyczne –34

35 Kategorie gramatyczne –35

36 Części mowy (klasy fleksyjne) –36

37 –37 Części mowy (klasy fleksyjne)

38 –38 Części mowy (klasy fleksyjne)

39 Poliqarp: POLyinterpretation Indexing Query and Retrieval Processor Autorzy: Zygmunt Krynicki i Daniel Janus Teoretycznie niezależny od języka / korpusu / zbioru znaczników! 3 wersje: (a)graficzna (Windows – wersje po 2000, GNU/Linux, (b)tekstowa (GNU/Linux), (c)internetowa. Poliqarp –39

40 Podstawa: Marcin Woliński, Morfeusz SIAT (Software Interface Analysis Tool) Dane programu: Jan Tokarski, Schematyczny indeks a tergo polskich form wyrazowych (red. Zygmunt Saloni) Zygmunt Saloni, Czasownik polski, Wiedza Powszechna: Warszawa Słownik Języka Polskiego PAN, red. Witold Doroszewski, Warszawa Poliqarp –40

41 Zapytania o segmenty: małej mam pieniądze marek/i Kasztowość Wyrażenia regularne ”,” ”dom|domy” ”chłop[iy]” ”chłop.?” ”.*pisać” Poliqarp –41

42 Zapytania o formy podstawowe: [base=panować] [base=”dobry|mały”] [base=”.*pisa.*”] [orth=”semaforu|semafora”] Poliqarp –42

43 Zapytania wyższego rzędu: [orth=tonie & base=tonąć] [orth=mam & base!=mieć] [base=się] [base=spóźniać] [base=bać] [ ] się [base=bać] [pos!=aglt] [orth=się] [orth=się] [ ] {2, 4} [base=spóźniać] "," [ ] [pos=conj] Poliqarp –43

44 Kwerendy: Przyimki złożone. JECHAĆ, POJECHAĆ, WYJECHAĆ, ODJECHAĆ PRZEJECHAĆ – wprowadzane przyimki. Spójniki z aglutynantem. Aglutynant doczepiony wewnątrz zdania. Czasowniki wymagające zdania JAKOBY. Poliqarp –44

45 Zapytania o znaczniki morfosyntaktyczne: [pos=aglt] [orth=mam & base!=mieć] [orth=mam & !base=mieć] [base=się] [base=spóźniać] [orth=się] [ ] {2, 4} [base=spóźniać] Poliqarp –45

46 Lingwistyka XXI wieku – korpusowa. Korpus – zbiór tekstów wymagających narzędzi obsługi. Polszczyzna – dobrze opisana gramatycznie. Istnieją narzędzia do pracy z korpusem tekstów polskich. Istnieją narzędzia analizy morfologicznej i składniowej. Współczesny leksykograf musi być lingwistą korpusowym. 46 Podsumowanie


Pobierz ppt "8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy” 2014-2016 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka."

Podobne prezentacje


Reklamy Google