Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

KORPUS JAKO PODSTAWA ZDYSCYPLINOWANEGO OPISU LINGWISTYCZNEGO Proseminarium doktoranckie 2011/2012 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa.

Podobne prezentacje


Prezentacja na temat: "KORPUS JAKO PODSTAWA ZDYSCYPLINOWANEGO OPISU LINGWISTYCZNEGO Proseminarium doktoranckie 2011/2012 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa."— Zapis prezentacji:

1 KORPUS JAKO PODSTAWA ZDYSCYPLINOWANEGO OPISU LINGWISTYCZNEGO Proseminarium doktoranckie 2011/2012 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa Komputerowego Instytut Języka Polskiego UW środa , pok. 1 Konsultacje: środa , pok. 1 Strona internetowa:

2 Spotkanie 1 Wstęp do lingwistyki korpusowej.

3 1.O sobie. 2.Cele. 3.Przedmiot. 4.Hasła. 5.Tematy. 6.Szkic historii lingwistyki 7.Korpusy. 8.Narzędzia i produkty. 3 Program na dziś

4 Specjalność: lingwistyka (polonistyczna). Zainteresowania zawodowe: składnia dystrybucyjna języka polskiego (Saloni, Z., Świdziński, M.: Składnia współczesnego języka polskiego. Warszawa 1981, 1985, 1987, 1998, 2001, 2006); gramatyka formalna (Świdziński, M.: Gramatyka formalna języka polskiego. Warszawa 1992). językoznawstwo korpusowe (projekt Zaawansowane narzędzia komputerowe do obsługi wielkich korpusów tekstów, ). Inicjator i kierownik Zakładu Językoznawstwa Komputerowego ( ). Nie informatyk, ale raczej technik niż humanista... 4 O sobie

5 Cel: wprowadzenie w warsztat współczesnej lingwistyki. Zawartość treściowa: pokaz narzędzi przetwarzania korpusu tekstów polskich – rozpoznawania słów, rozwiązywania homonimii, przeszukiwania korpusów, interpretacji składniowej. Nasze zajęcia: moje opowiadanie, wykłady gości; referowanie; trening i rozwiązywanie zadań badawczych (w ideale – Waszych...). 5 Cele

6 Zaliczenie: zal za obecność lub ocena za aktywność: referowanie, dyskusję problemów lingwistycznych, rozwiązywanie zadań, weryfikacje wyników analiz lub, ocena za rozmowę końcową. 6 Cele

7 Derwojedowa, M., Rudolf, M., Świdziński, M.: Dehomonimizacja i desynkretyzacja w procesie automatycznego przetwarzania wielkich korpusów tekstów polskich. [W:] Biuletyn Polskiego Towarzystwa Językoznawczego LVIII, Warszawa Korpus_IPI_PAN: Korpus_PWN: Marciniak, M. (red.): Anotowany korpus dialogów telefonicznych. Akademicka Oficyna Wydawnicza EXIT: Warszawa Narodowy Korpus Języka Polskiego: Przepiórkowski, A.: Korpus IPI PAN. Wersja wstępna. IPI PAN: Warszawa Literatura

8 Rudolf, M.: Metody automatycznej analizy korpusu tekstów polskich. Uniwersytet Warszawski – Wydział Polonistyki: Warszawa Świdziński, M., Gramatyka formalna jezyka polskiego. WUW: Warszawa 1992 (dostępna w wersji elektronicznej). Świdziński, M.: Lingwistyka korpusowa w Polsce – źródła, stan, perspektywy. [W:] LingVaria, nr 1. Kraków Świdziński, M., Rudolf, M.: Narzędzia informatyczne obsługi wielkich korpusów tekstów: wyszukiwarka Holmes. [W:] Biuletyn Polskiego Towarzystwa Językoznawczego LXII, Warszawa Woliński, M.: Komputerowa weryfikacja gramatyki Świdzińskiego. Niepublikowana rozprawa doktorska. IPI PAN: Warszawa Literatura

9 [językoznawstwo XXI stulecia] to [...] lingwistyka korpusowa. Rozwija się ona już od jakiegoś czasu; wynikła w sposób naturalny z dość szczęśliwego splotu różnorodnych okoliczności; zdominowała inne nurty i odmiany językoznawstwa nieodwracalnie. Nie można być dziś językoznawcą i nie otrzeć się o nią choćby jako użytkownik narzędzi. A skoro tak, to warto wejść w ten świat z wyboru, zadań bowiem jest moc i będzie ich coraz więcej. W świecie jest na tę najnowszą lingwistykę, nie na dowolną, mnóstwo pieniędzy – i zajmują się nią całe rzesze; to dowodzi, że coś jest na rzeczy, że czemuś to służy... [Świdziński, M.: Lingwistyka korpusowa w Polsce – źródła, stan, perspektywy. [W:] LingVaria, nr 1. Kraków ] 9 Przedmiot

10 Co to jest: przetwarzanie tekstu (NLP), korpus reprezentatywny / zrównoważony / oportunistyczny, Korpus IPIPAN / Korpus PWN, homonimia / synkretyzm, tekst znakowany, tagowanie / POS-tagging / tagset, analizator morfologiczny, lematyzacja / dehomonimizacja / desynkretyzacja, rozwiązywanie homonimii słabe / mocne / jakościowe / ilościowe, wyszukiwarka / search engine / Poliqarp, gramatyka formalna, parser, homonimia strukturalna. 10 Hasła

11 Wprowadzenie do językoznawstwa korpusowego. Korpus jako źródło informacji lingwistycznej. Typy korpusów. Dostępne korpusy polskie. Homonimia jako problem praktyczny. Analizatory morfologiczne. Pojęcie znakowania. Koncepcje zbioru znaczników. Morfeusz. AMOR. Narzędzia obsługi korpusów. Wyszukiwarka Korpusu PWN. Holmes i korpus PWN. Poliqarp i Korpus IPI PAN. Narzędzia interpretacji składniowej. Gramatyka formalna języka polskiego i Świgra. Zadania praktyczne. Warsztat współczesnego leksykografa. 11 Tematy

12 Lingwistyka do początków XX wieku – filologia: analiza tekstów minionych epok, egzegeza, interpretacje historyczne (etymologia), pochodzenie, pokrewieństwo języków. Lingwistyka powstała w XX wieku! Trzy rewolucje: strukturalna, forrmalna (kopernikańska), informatyczna. 12 Szkic historii lingwistyki

13 1.Lingwistyka I połowy XX wieku – strukturalizm (F. de Saussure, J.N. Baudouin de Courtenay, M. Kruszewski, O. Jespersen, N. Trubeckoj, L. Hjelmslev, L. Tesniére, J. Kuryłowicz, L. Bloomfield, Z. S. Harris): opis struktury, nie genezy. Język naturalny: dwuklasowy system semiotyczny służący danej populacji do komunikacji uniwersalnej. 2.Lingwistyka formalna: opisy typu matematycznego – twierdzenia, dowody, rachunki. Opis na papierze!!! Wynik: definicja drzew struktury. Język naturalny: zbiór wszystkich wyrażeń poprawnych i tylko takich. Generatywizm: N. Chomsky, Syntactic Structures (1957). Inne formalizmy: GPSG, HPSG, DCG, wiele innych. 13 Szkic historii lingwistyki

14 3.Lingwistyka informatyczna: zadania inżynierskie – budowa korpusu, automatyczna analiza tekstu, przetwarzanie tekstów, przeszukiwanie itp. Opis jest urządzeniem – na przykład programem komputerowym. Wynik: określony podzbiór korpusu, lista składników spełniających zadane warunki, rzeczywiste drzewa struktury dla danego wyrażenia (parsing trees). Pojęcie implementacji opisu (formalnego). Lingwistyka korpusowa. 14 Szkic historii lingwistyki

15 korpus m IV, D. -u, Ms. ~sie; lm M. -y 1. «ciało człowieka lub zwierzęcia prócz kończyn i głowy; tułów» 2. => garmond 3. archit. «główna część budowli; w architekturze pałacowej: część centralna budynku o charakterze reprezentacyjnym; w architekturze sakralnej: część nawowa kościoła» 4. techn. «główna, tworząca całość, część jakiegoś urządzenia, maszyny, przyrządu itp.; kadłub» Korpus obrabiarki, okrętu. 5. wojsk. «duża jednostka taktyczna składająca się z kilku dywizji lub brygad; wchodzi w skład armii lub może działać samodzielnie» Korpus zmechanizowany. Korpus piechoty, kawalerii. FR. Korpus oficerów, korpus oficerski «ogół oficerów wchodzących w skład dowództwa wojskowego» FR.Korpus kadetów «szkoła wojskowa, początkowo szkoła oficerska, później średnia szkoła ogólnokształcąca, przygotowująca kandydatów do szkół oficerskich; w Polsce istniała do roku 1956» 15 Korpusy

16 FR. polit. Korpus dyplomatyczny «ogół przedstawicieli państw obcych akredytowanych przy rządzie danego kraju; personel dyplomatyczny oraz wszyscy członkowie obcych misji dyplomatycznych korzystających z przywilejów i immunitetów» FR. Korpus konsularny «ogół konsulów w określonym państwie lub miejscowości; szefowie placówek konsularnych oraz członkowie personelu konsularnego korzystający z przywilejów i immunitetów» (wg KSJP) 16 Korpusy

17 korpus [...] 6 Korpus tekstów to zbiór książek, czasopism, artykułów itp. przeznaczony do jakichś prac lub badań. Termin specjalistyczny. …komputerowy korpus języka polskiego. (wg ISJP) 17 Korpusy

18 Korpus to dowolny zbiór tekstów. Korpus to dowolny zbiór tekstów, w którym czegoś szukamy. Korpus to dowolny zbiór tekstów będący podstawą badań (np. naukowych). Korpus narodowy??? 18 Korpusy

19 Klasyfikacje: Rozmiar: wielki – średni – mały Waga: zasadniczy – pomocniczy Cel: podstawowy – przykładowy (sample) Zakres: ogólny – szczegółowy Status: naukowy (kulturowy) – komercyjny Korpusy 19

20 LOB CorpusLancaster – Oslo/Bergen Geoffrey Leech, Stig Johansson BNC Oxford, Lancaster, Longman PELCRAPolish and English Language Corpora for Research and Applications COBUILD Korpus PWN IPI PAN Korpusy 20

21 Inne języki Český Narodní Korpus Korpus niemiecki Berlińskiej Akademii Nauk (DWDS) Korpusy IDS (Institut für Deutsche Sprache) Национальый Корпус Русского Языка korpusy francuskie? korpusy hiszpańskie? korpusy portugalskie? Polski Korpus Narodowy??? Korpusy 21

22 LOB The Lancaster/Oslo-Bergen Corpus Approximately 1,000,000 words of British written English dating from The corpus is made up of 15 different genre categories. Available as orthographic text, and tagged with the CLAWS1 part-of-speech tagging system. The Leeds- Lancaster Treebank and Lancaster Parsed Corpus are analyzed subsamples of the LOB corpus. For further information see the corpus manual (1978) and the tagged corpus manual (1986). (There is a local on-line copy of the tagged corpus manual at Lancaster.)corpus manual (1978)tagged corpus manual (1986)local on-line copy 22 Korpusy

23 BNC (British National Corpus) 23 Korpusy

24 PELCRAhttp://pelcra.pl/http://pelcra.pl/ 24 Korpusy

25 –25 London and Glasgow 1987 Korpusy

26 –26 Korpusy

27 –27 Korpusy

28 Korpus PWN Wydawnictwo Naukowe PWN przygotowało i udostępniło sieciową wersję Korpusu Języka Polskiego PWN wielkości 40 milionów słów. Korpus składa się z fragmentów 386 różnych książek, 977 numerów 185 różnych gazet i czasopism, 84 nagranych rozmów, 207 stron internetowych oraz kilkuset ulotek reklamowych. Pełna wersja sieciowa korpusu jest dostępna odpłatnie (40 mln), a bezpłatnie wersja demonstracyjna wielkości ponad 7,5 miliona słów. 28 Korpusy

29 29 Korpusy

30 IPI PAN 2. wydanie Korpusu IPI PAN (marzec 2006) 2.all.250.bin.tar.bz2 pełny Korpus IPI PAN, czyli ponad 250 mln. segmentów. 2.all.250.bin.tar.bz2 2.sample.30.bin.tar.bz2 próbka Korpusu IPI PAN dostępna na stronie ponad 30 mln. segmentów. Niniejsza wersja sample jest korpusem różnorodnym o następującym składzie: 2.sample.30.bin.tar.bz2http://korpus.pl/ proza współczesna: ponad 10% proza dawna: prawie 10% teksty książkowe niebeletrystyczne (głównie naukowe): 10% prasa: 50% stenogramy sejmowe i senackie (w tym z komisji śledczej): 15% ustawy: 5% 30 Korpusy

31 31 Korpusy

32 Korpus PWN: przeglądarka Korpus PWN: (Sherlock) Holmes Morfeusz Korpus IPIPAN: Poliqarp Świgrahttp://nlp.ipipan.waw.pl/~wolinski/swigra/http://nlp.ipipan.waw.pl/~wolinski/swigra/ Komputerowy słownik języka polskiego Słownik gramatyczny języka polskiego 32 Narzędzia i produkty

33 Lingwistyka XXI wieku – korpusowa. Korpus – zbiór tekstów wymagających narzędzi obsługi. Polszczyzna – dobrze opisana gramatycznie. Istnieją narzędzia do pracy z korpusem tekstów polskich. Istnieją narzędzia analizy morfologicznej i składniowej. Współczesny leksykograf musi być lingwistą korpusowym. 33 Podsumowanie


Pobierz ppt "KORPUS JAKO PODSTAWA ZDYSCYPLINOWANEGO OPISU LINGWISTYCZNEGO Proseminarium doktoranckie 2011/2012 Prof. dr hab. Marek Świdziński Zakład Językoznawstwa."

Podobne prezentacje


Reklamy Google