ZDYSCYPLINOWANY OPIS JĘZYKÓW NATURALNYCH I KORPUSY TEKSTÓW Proseminarium doktoranckie 2013/2014, semestr letni Prof. dr hab. Marek Świdziński Zakład.

Slides:



Advertisements
Podobne prezentacje
Lingwistyka Matematyczna
Advertisements

Wstęp do Informatyki, część 1
Klasyfikacja roczna w roku szkolnym 2012/2013
Uniwersytecki System Obsługi Studiów
Wprowadzenie do informatyki Wykład 6
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Ludwik Antal - Numeryczna analiza pól elektromagnetycznych –W10
Liczby pierwsze.
NOWA MATURA Z JĘZYKA ROSYJSKIEGO
WOJEWÓDZTWO WIELKOPOLSKIE WRK. ZAREJESTROWANIE ORGANIZACJI 41% ORGANIZACJI ZOSTAŁO ZAREJESTROWANYCH PO 2000 ROKU 1949 ROK – NAJWCZEŚNIEJ ZAREJESTROWANA.
Sztuczna Inteligencja Analiza języka naturalnego Tłumaczenie maszynowe
Letnie szkoły kultury i języka polskiego jako szansa promocji uczelni – na przykładzie Szkoły Języka i Kultury Polskiej UJ Waldemar Martyniuk Uniwersytet.
PREZENTACJA ZASOBÓW INFORMACYJNYCH BAZY GŁÓWNEGO URZĘDU STATYSTYCZNEGO URZĄD STATYSTYCZNY W ŁODZI Łódź, 10 grudnia 2010 r.
1 Stan rozwoju Systemu Analiz Samorządowych czerwiec 2009 Dr Tomasz Potkański Z-ca Dyrektora Biura Związku Miast Polskich Warszawa,
Wykorzystanie Platformy Moodle w dydaktyce języków obcych
Ksantypa2: Architektura
Systemy operacyjne Copyright, 2000 © Jerzy R. Nawrocki Wprowadzenie do informatyki.
Języki formalne i gramatyki
Pojęcia podstawowe, historia komputera, rodzaje komputerów.
Wyższa Szkoła Informatyki i Zarządzania
Wyszukiwanie informacji
ENCYKLOPEDIE I SŁOWNIKI
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
1. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
NOWA DEFINICJA FORMALNA POLSKIEJ FRAZY NOMINALNEJ IPIPAN * Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka.
5. Wprowadzenie do nauki o języku A1NJ
1. Wprowadzenie do nauki o języku A1NJ
Klasyfikacja systemów
Transformacja Z (13.6).
Wykonawcy:Magdalena Bęczkowska Łukasz Maliszewski Piotr Kwiatek Piotr Litwiniuk Paweł Głębocki.
I NKJO wchodzi w skład Zespołu Nauczycielskich Kolegiów Języków Obcych
Mariusz Polarczyk, Zofia Kasprzak
Kluczowe liczby w projekcie budżetu na 2014 rok i w projekcie Wieloletniej Prognozy Finansowej na lata Warszawa 15 listopada 2013 r. MIASTO STOŁECZNE.
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Podstawy adresowania hostów w sieciach komputerowych
Podstawy działania wybranych usług sieciowych
ŻYWE JĘZYKI PROGRAMOWANIA LIVING IT UP WITH A LIVE PROGRAMMING LANGUAGE Sean McDirmid Ecole Polytechnique Fédérale de Lausanne (EPFL)
MATURA 2007 raport ZESPÓŁ SZKÓŁ I PLACÓWEK KSZTAŁCENIA ZAWODOWEGO.
Ewaluacja 2011/2012 semestr II Profil szkoły.
1. ŁATWOŚĆ ZADANIA (umiejętności) 2. ŁATWOŚĆ ZESTAWU ZADAŃ (ARKUSZA)
  Prof.. dr hab.. Janusz A. Dobrowolski Instytut Systemów Elektronicznych, Politechnika Warszawska.
Badanie kwartalne BO 2.3 SPO RZL Wybrane wyniki porównawcze edycji I- VII Badanie kwartalne Beneficjentów Ostatecznych Działania 2.3 SPO RZL – schemat.
-17 Oczekiwania gospodarcze – Europa Wrzesień 2013 Wskaźnik > +20 Wskaźnik 0 a +20 Wskaźnik 0 a -20 Wskaźnik < -20 Unia Europejska ogółem: +6 Wskaźnik.
© GfK 2012 | Title of presentation | DD. Month
+21 Oczekiwania gospodarcze – Europa Grudzień 2013 Wskaźnik > +20 Wskaźnik 0 do +20 Wskaźnik 0 do -20 Wskaźnik < -20 Unia Europejska ogółem: +14 Wskaźnik.
Język francuski na świecie
Język francuski na świecie
Encyklopedie i słowniki jako źródła informacji
W2 Modelowanie fenomenologiczne I
BAZA PUBLIKACJI PRACOWNIKÓW, DOKTORANTÓW I STUDENTÓW AMW
Projekt Badawczo- Rozwojowy realizowany na rzecz bezpieczeństwa i obronności Państwa współfinansowany ze środków Narodowego Centrum Badań i Rozwoju „MODEL.
User experience studio Użyteczna biblioteka Teraźniejszość i przyszłość informacji naukowej.
IBUK Libra WIRTUALNA CZYTELNIA
Filologia germańska I rok 2014/2015. Informacje podstawowe Filologia germańska jest kierunkiem, w ramach którego uruchomione zostały następujące specjalności:
Wizerunki polityków. Zmiana postrzegania premier Kopacz po expose 1-5 października 2014 roku.
Badanie kwartalne BO 2.3 SPO RZL Wybrane wyniki porównawcze edycji I- VI Badanie kwartalne Beneficjentów Ostatecznych Działania 2.3 SPO RZL – schemat a.
Wyszukiwanie informacji w internecie
Cele: 1. wyposażenie studenta w umiejętności porównywania i wartościowania zamierzeń edukacyjnych w poszczególnych systemach oświatowych, 2. zrozumienie.
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
Treści multimedialne - kodowanie, przetwarzanie, prezentacja Odtwarzanie treści multimedialnych Andrzej Majkowski informatyka +
Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego
ZDYSCYPLINOWANY OPIS JĘZYKÓW NATURALNYCH Proseminarium doktoranckie 2014/2015, semestr letni Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego.
Spotkanie 5 Poliqarp.. Znakowanie – tagging Narzędzie do znakowania – tager Znakowanie: przypisywanie jednostkom tekstowym jakichś kodów (tagów): 1. lokalizacja.
8. Wiedza o języku Studia Podyplomowe „Polski Język Migowy”
Spotkanie 5 Wstęp do GFJP: jak to chodzi....  Definicja pewnego zbioru wyrażeń (np. zbioru „język polski”).  Różne aparaty: ST, EST, GB, GPSG, HPSG,…
Spotkanie 5 Poliqarp.. Znakowanie – tagging Narzędzie do znakowania – tager Znakowanie: przypisywanie jednostkom tekstowym jakichś kodów (tagów): 1. lokalizacja.
Lingwistyka korpusowa. korpus m IV, D. -u, Ms. ~sie; lm M. -y 1. «ciało człowieka lub zwierzęcia prócz kończyn i głowy; tułów» 2. => garmond 3. archit.
Poradnik: Wirtualna Biblioteka Nauki - Jak szukać literatury na wybrany temat w Bibliotece i Centrum Informacji Naukowej PMWSZ w Opolu.
IBUK Libra WIRTUALNA CZYTELNIA
Zapis prezentacji:

ZDYSCYPLINOWANY OPIS JĘZYKÓW NATURALNYCH I KORPUSY TEKSTÓW Proseminarium doktoranckie 2013/2014, semestr letni Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka Polskiego UW e-mail: m.r.swidzinski@uw.edu.pl Konsultacje: wt 15.30-16.30, pok. 1 Strona internetowa: www.mswidz.republika.pl

Spotkanie 1 Wstęp.

Cele Cel: wprowadzenie w warsztat lingwistyki strukturalnej, formalnej i korpusowej. Zawartość treściowa: pokaz narzędzi przetwarzania korpusu tekstów – przeszukiwania, rozwiązywania homonimii, interpretacji różnych typów; metody interpretacji składniowej: gramatyki formalne i automatyczne analizatory składniowe; produkty: słowniki, bazy danych lingwistycznych, SGJP; analiza tekstu języka obcego; ćwiczenia dystrybucyjne; języki wizualno-przestrzenne. Nasze zajęcia: moje opowiadanie, wykłady gości; referowanie; trening i rozwiązywanie zadań badawczych (w ideale – Waszych...). 3

Literatura Collins COBUILD English Language Dictionary, red. J. Sinclair, Collins: London – Glasgow 1987. Derwojedowa, M., Rudolf, M., Świdziński, M.: „Dehomonimizacja i desynkretyzacja w procesie automatycznego przetwarzania wielkich korpusów tekstów polskich”. [W:] Biuletyn Polskiego Towarzystwa Językoznawczego LVIII, Warszawa 2002. 187-199. Korpus_IPI_PAN: http://korpus.pl/ Korpus_PWN: http://korpus.pwn.pl/ Looking Up: An Account of the COBUILD Project in Lexical Computing. Red. J. Sinclair, HarperCollins Publishers Limited: London – Glasgow 1987. Narodowy Korpus Języka Polskiego: http://nkjp.pl/ Przepiórkowski, A.: Korpus IPI PAN. Wersja wstępna. IPI PAN: Warszawa 2004. Rudolf, M.: Metody automatycznej analizy korpusu tekstów polskich. Uniwersytet Warszawski – Wydział Polonistyki: Warszawa 2004. 4

Literatura Saloni, Z., Woliński, M., Wołosz, R., Gruszczyński, W., Skowrońska, D.: Słownik gramatyczny języka polskiego, wyd. II, Wiedza Powszechna: Warszawa 2012. SFPW (1990): I. Kurcz, A. Lewicki, J. Sambor, K. Szafran, J. Woronczak, Słownik frekwencyjny polszczyzny współczesnej. Red. Zygmunt Saloni. Kraków: Polska Akademia Nauk – Instytut Języka Polskiego. Świdziński, M.: Gramatyka formalna języka polskiego. WUW: Warszawa 1992 (dostępna w wersji elektronicznej). Świdziński, M.: „Lingwistyka korpusowa w Polsce – źródła, stan, perspektywy”. [W:] LingVaria, nr 1. Kraków 2006. 23-32. Świdziński, M., Rudolf, M.: „Narzędzia informatyczne obsługi wielkich korpusów tekstów: wyszukiwarka Holmes”. [W:] Biuletyn Polskiego Towarzystwa Językoznawczego LXII, Warszawa 2006. Woliński, M.: Komputerowa weryfikacja gramatyki Świdzińskiego. Niepublikowana rozprawa doktorska. IPI PAN: Warszawa 2004. 5

Przedmiot „[językoznawstwo XXI stulecia] to [...] lingwistyka korpusowa. Rozwija się ona już od jakiegoś czasu; wynikła w sposób naturalny z dość szczęśliwego splotu różnorodnych okoliczności; zdominowała inne nurty i odmiany językoznawstwa nieodwracalnie. Nie można być dziś językoznawcą i nie otrzeć się o nią choćby jako użytkownik narzędzi. A skoro tak, to warto wejść w ten świat z wyboru, zadań bowiem jest moc i będzie ich coraz więcej. W świecie jest na tę najnowszą lingwistykę, nie na dowolną, mnóstwo pieniędzy – i zajmują się nią całe rzesze; to dowodzi, że coś jest na rzeczy, że czemuś to służy...” [Świdziński, M.: „Lingwistyka korpusowa w Polsce – źródła, stan, perspektywy”. [W:] LingVaria, nr 1. Kraków 2006. 23-32.] 6

Hasła Co to jest: przetwarzanie tekstu (NLP), korpus reprezentatywny / zrównoważony / oportunistyczny, Korpus IPIPAN / Korpus PWN / NKJP, homonimia / synkretyzm, homonimia strukturalna, tekst znakowany, tagowanie / POS-tagging / tagset, analizator morfologiczny, lematyzacja / dehomonimizacja / desynkretyzacja, rozwiązywanie homonimii słabe / mocne / jakościowe / ilościowe, wyszukiwarka / search engine / Poliqarp, gramatyka formalna, drzewo składników / drzewo zależności, parser 89 7

Tematy Lingwistyka korpusowa. Korpus jako źródło informacji lingwistycznej. Homonimia jako problem teoretyczny i praktyczny. Słownik gramatyczny języka polskiego. Narzędzia NLP. Automatyczne analizatory morfologiczne: a.  wyszukiwarka Korpusu PWN, b. (Sherlock-)Holmes, c.  Poliqarp. Collins COBUILD i Looking up. Słownik frekwencyjny polszczyzny współczesnej. Gramatyki formalne. GFJP. Analizatory składniowe: Świgra. Dendrarium. Baza danych wypowiedników polskich. 8

Tematy Opis strukturalny tekstu języka obcego. Polski Język Migowy i techniki analizy tekstu wizualno-przestrzennego. Zadania praktyczne: (a) referowanie prac własnych i cudzych, (b) trening kwerend korpusowych, (c) fakty dystrybucyjne i ich zapis gramatyczny i słownikowy, (d) przygotowywanie i ocena prezentacji, (e) analiza krytyczna naukowego tekstu lingwistycznego. 9

Skutki Po ukończeniu przedmiotu student: potrafi traktować tekst języka rodzimego tak, jakby to był tekst języka obcego; zna dwa główne postulaty metodologiczne empirysty: jawność i wyczerpującość; potrafi analizować tekst języka obcego; potrafi interpretować zdyscyplinowane (także formalne) opisy języków naturalnych; potrafi korzystać z narzędzi komputerowych obsługi korpusów tekstowych; potrafi rozwiązywać lingwistyczne zadania badawcze z wykorzystaniem danych korpusowych; potrafi zaprojektować i przedstawić prezentację. 10

Morfeusz 11

SGJP 12

Wyszukiwarka Korpusu PWN 13

Holmes 14

Poliqarp 15

GFJP fno(mian, nij/poj, 3, Neg, I, pyt, licz, Tak, Sub, Pk) --> s(no#), fpt(mian, R/L, St, Neg1, I1, Pnw1, Kl1, Tak1, po, Pk1), { oblink(I, I1, I2), oblink(I, I2, I3), oblnegf(Neg, Neg1, Neg2) }, flicz(mian, R/L, O, Neg2, I2, Pnw2, nuzg, Tak2, na, Pk2), fno(dop, R/L, O, Neg3, I3, Pnw3, Kl3, Tak3, po, Pk), { rozne(R, mos), rowne(pyt, Pnw1.Pnw2), rowne(Pnw1, npyt.pyt), rowne(Pnw2, npyt.pyt), rowne(Pnw3, npyt.pyt), obltak(Tak, Tak1, Tak2), rozne(Kl3, licz), obltak(Tak, Tak2, Tak3) }.

Świgra 17

Dendrarium 18

Drzewka… 19

Drzewka… 20

Szkic historii lingwistyki Lingwistyka I połowy XX wieku – strukturalizm (F. de Saussure, J.N. Baudouin de Courtenay, M. Kruszewski, O. Jespersen, N. Trubeckoj, L. Hjelmslev, L. Tesniére, J. Kuryłowicz, L. Bloomfield, Z. S. Harris): opis struktury, nie genezy. Język naturalny: dwuklasowy system semiotyczny służący danej populacji do komunikacji uniwersalnej. Lingwistyka formalna: opisy „typu matematycznego” – twierdzenia, dowody, rachunki. Opis na papierze!!! Wynik: definicja drzew struktury. Język naturalny: zbiór wszystkich wyrażeń poprawnych i tylko takich. Generatywizm: N. Chomsky, Syntactic Structures (1957). Inne formalizmy: GPSG, HPSG, DCG, wiele innych. 21

Szkic historii lingwistyki Lingwistyka informatyczna: zadania inżynierskie – budowa korpusu, automatyczna analiza tekstu, przetwarzanie tekstów, przeszukiwanie itp. Opis jest urządzeniem – na przykład programem komputerowym. Wynik: określony podzbiór korpusu, lista składników spełniających zadane warunki, rzeczywiste drzewa struktury dla danego wyrażenia (parsing trees). Pojęcie implementacji opisu (formalnego). Lingwistyka korpusowa. 22

Korpusy korpus m IV, D. -u, Ms. ~sie; lm M. -y 1. «ciało człowieka lub zwierzęcia prócz kończyn i głowy; tułów» 2. => garmond 3. archit. «główna część budowli; w architekturze pałacowej: część centralna budynku o charakterze reprezentacyjnym; w architekturze sakralnej: część nawowa kościoła» 4. techn. «główna, tworząca całość, część jakiegoś urządzenia, maszyny, przyrządu itp.; kadłub» Korpus obrabiarki, okrętu. 5. wojsk. «duża jednostka taktyczna składająca się z kilku dywizji lub brygad; wchodzi w skład armii lub może działać samodzielnie» Korpus zmechanizowany. Korpus piechoty, kawalerii. FR. Korpus oficerów, korpus oficerski «ogół oficerów wchodzących w skład dowództwa wojskowego» FR.Korpus kadetów «szkoła wojskowa, początkowo szkoła oficerska, później średnia szkoła ogólnokształcąca, przygotowująca kandydatów do szkół oficerskich; w Polsce istniała do roku 1956» 23

Korpusy FR. polit. Korpus dyplomatyczny «ogół przedstawicieli państw obcych akredytowanych przy rządzie danego kraju; personel dyplomatyczny oraz wszyscy członkowie obcych misji dyplomatycznych korzystających z przywilejów i immunitetów» FR. Korpus konsularny «ogół konsulów w określonym państwie lub miejscowości; szefowie placówek konsularnych oraz członkowie personelu konsularnego korzystający z przywilejów i immunitetów» (wg KSJP) 24

Korpusy (wg ISJP) korpus [...] 6 Korpus tekstów to zbiór książek, czasopism, artykułów itp. przeznaczony do jakichś prac lub badań. Termin specjalistyczny. …komputerowy korpus języka polskiego. (wg ISJP) 25

Korpusy Korpus to dowolny zbiór tekstów. Korpus to dowolny zbiór tekstów, w którym czegoś szukamy. Korpus to dowolny zbiór tekstów będący podstawą badań (np. naukowych). Korpus narodowy??? 26

Korpusy Klasyfikacje: Rozmiar: wielki – średni – mały Waga: zasadniczy – pomocniczy Cel: podstawowy – przykładowy (sample) Zakres: ogólny – szczegółowy Status: naukowy (kulturowy) – komercyjny 27

Korpusy LOB Corpus Lancaster – Oslo/Bergen 1970-1978 Geoffrey Leech, Stig Johansson BNC 1991-1995 Oxford, Lancaster, Longman PELCRA Polish and English Language Corpora for Research and Applications COBUILD http://korpus.pwn.pl/ Korpus PWN http://korpus.pl/ Korpus IPI PAN 28

Korpusy Inne języki Český Narodní Korpus Korpus niemiecki Berlińskiej Akademii Nauk (DWDS) Korpusy IDS (Institut für Deutsche Sprache) Национальый Корпус Русского Языка korpusy francuskie korpusy hiszpańskie korpusy portugalskie 29

Korpusy The Lancaster/Oslo-Bergen Corpus Approximately 1,000,000 words of British written English dating from 1960. The corpus is made up of 15 different genre categories. Available as orthographic text, and tagged with the CLAWS1 part-of-speech tagging system. The Leeds- Lancaster Treebank and Lancaster Parsed Corpus are analyzed subsamples of the LOB corpus. For further information see the corpus manual (1978) and the tagged corpus manual (1986). (There is a local on-line copy of the tagged corpus manual at Lancaster.) http://khnt.hit.uib.no/icame/manuals/lob/INDEX.HTM 30 30

Korpusy ● BNC (British National Corpus) 31 31

Korpusy ● PELCRA 32

Korpusy London and Glasgow 1987 33 33

Korpusy 34 34

Korpusy 35 35

Korpusy http://korpus.pwn.pl/ Korpus PWN Wydawnictwo Naukowe PWN przygotowało i udostępniło sieciową wersję Korpusu Języka Polskiego PWN wielkości 40 milionów słów. Korpus składa się z fragmentów 386 różnych książek, 977 numerów 185 różnych gazet i czasopism, 84 nagranych rozmów, 207 stron internetowych oraz kilkuset ulotek reklamowych. Pełna wersja sieciowa korpusu jest dostępna odpłatnie (40 mln), a bezpłatnie wersja demonstracyjna wielkości ponad 7,5 miliona słów. 36

Korpusy 37

Korpusy http:/korpus.pl/ Korpus IPI PAN 2. wydanie Korpusu IPI PAN (marzec 2006) 2.all.250.bin.tar.bz2 — pełny Korpus IPI PAN, czyli ponad 250 mln. segmentów. 2.sample.30.bin.tar.bz2 — próbka Korpusu IPI PAN dostępna na stronie http://korpus.pl/; ponad 30 mln. segmentów. Niniejsza wersja sample jest korpusem różnorodnym o następującym składzie: proza współczesna: ponad 10% proza dawna: prawie 10% teksty książkowe niebeletrystyczne (głównie naukowe): 10% prasa: 50% stenogramy sejmowe i senackie (w tym z komisji śledczej): 15% ustawy: 5% 38

Korpusy 39

Korpusy http://nklp.pl/ NKJP […]Swoje korpusy narodowe mają już Brytyjczycy, Niemcy, Czesi i Rosjanie. Także Polakom potrzebny jest wielki, zrównoważony gatunkowo i tematycznie, korpus językowy – internetowy skarbiec polszczyzny. Narodowy Korpus Języka Polskiego jest wspólną inicjatywą Instytutu Podstaw Informatyki PAN (koordynator), Instytutu Języka Polskiego PAN, Wydawnictwa Naukowego PWN oraz Zakładu Językoznawstwa Komputerowego i Korpusowego Uniwersytetu Łódzkiego, zrealizowaną jako projekt badawczy rozwojowy Ministerstwa Nauki i Szkolnictwa Wyższego. Te cztery instytucje wspólnie zbudowały korpus referencyjny polszczyzny wielkości ponad półtora miliarda słów. Wyszukiwarki korpusowe (menu po prawej stronie) pozwalają przeszukiwać zasoby NKJP zaawansowanymi narzędziami uwzględniającymi odmianę polskich wyrazów, a nawet analizującymi budowę polskich zdań. […] 40

Korpusy 41

Narzędzia i produkty Korpus PWN: przeglądarka http://korpus.pwn.pl/ Korpus PWN: (Sherlock) Holmes Morfeusz http://nlp.ipipan.waw.pl/~wolinski/morfeusz/ Korpus IPIPAN: Poliqarp http://korpus.pl/ Świgra http://nlp.ipipan.waw.pl/~wolinski/swigra/ Komputerowy słownik języka polskiego Słownik gramatyczny języka polskiego http://nlp.ipipan.waw.pl/~wolinski/sgjp/ 42

Podsumowanie Lingwistyka XXI wieku – korpusowa. Korpus – zbiór tekstów wymagających narzędzi obsługi. Polszczyzna – dobrze opisana gramatycznie. Istnieją narzędzia do pracy z korpusem tekstów polskich. Istnieją narzędzia analizy morfologicznej i składniowej. Współczesny leksykograf musi być lingwistą korpusowym. 43