Korpusy Instytutu Języka Polskiego UW. Korpus Polsko-Rosyjski i Korpus Języka Młodzieży Marek Łaziński IPIPAN, 23.02.2015

Korpus Polsko-Rosyjski UW 30 mln słów w dwóch językach Literatura piękna, prasa, teksty prawne i religijne (Biblia) Pełna anotacja morfosyntaktyczna Wyszukiwanie form, leksemów i kategorii Pierwszy ogólnodostępny korpus równoległy tej wielkości w Polsce Wygodny interfejs okienkowy http://www.pol-ros.polon.uw.edu.pl/

Instytucje i zespół Projekt IJP oraz IR UW Instytucje współpracujące: NKJP NKRJa (ruscorpora.ru) Baszkirski Uniwersytet Pedagogiczny w Ufie (czasowo) Zespół Marek Łaziński (kierownik projektu IJP UW), Magdalena Kuratczyk, (IR UW), Natalia Godlewska, Paweł Godlewski i Krzysztof Osiecki (informatycy), Elena Slobodjan (Ufa), Boris Orechow (Ufa, czasowo) Grant NCN NN104056638 2010-2013

Struktura – loci cummunes Ideą korpusu było włączenie tekstów ważnych dla kultury obu narodów i wzajemnego postrzegania 90% to teksty literackie, w tym m.in. Sołżenicyn, W. Jerofiejew, Sapkowski, Chmielewska Prasa współczesna – 1%, książki non-fiction i teksty prawne – 5%, przekłady Biblii – 4% Na żadnym portalu biblijnym nie ma jednocześnie przekładów polskich i rosyjskich Biblii 50% oryginałów polskich, 33% rosyjskich i 17% przekładów z trzeciego języka

Przygody z akwizycją – ciekawostki historyczne Duża część rosyjskiej klasyki XIX wieku (Dostojewski, Tołstoj itd.) była tłumaczona na polski dopiero w latach 30-yxh XX wieku przez młodych tłumaczy. Majątkowe prawa autorskie do tych przekładów jeszcze długo nie wygasną . Pierwszy tekst literatury polskiej, o który poprosili rosyjscy partnerzy był Faraon; w Polsce prawie zapomniany, w Rosji ceniony jako ważna powieść o władzy (ulubiona powieść Stalina).

Przechowywanie danych Relacyjna baza danych Informacja o słowach, zdaniach, tekstach oraz o odpowiedniości zdań w wyrównanych tekstach. Zapytania w języku SQL

Schemat bazy 7

Alignment i anotacja Teksty wyrównano w programie ABBY Aligner. Anotacja i dezambiguacja tekstów polskich - TAKIPI Anotacja tekstów rosyjskich tagger MyStem bez dezambiguacji. Wyszukiwanie polskie leksemu dama zwaraca np. odciski palców obu dam, ale: Dam panu znać. Wyszukiwanie rosyjskie дама zwaraca обеих дам i Я вам дам знать.

Wyszukiwanie W wyszukiwaniu słów i ich z operatorami logicznymi połączeń można nałożyć warunki pozytywne lub negatywne na oba języki. Wyszukiwanie morfologiczne w tekście polskim uproszczone do kategorii szkolnych w prostym wyborze okienkowym Nawet czas przeszły (sekwencyjny) wyszukujemy jako jedno słowo Można też wybrać tagi TAKIPI

Zapytanie: русский - nierosyjski|Rosjanin(ka)

Wyniki: русский - nie rosyjski|Rosjanin(ka)

Zapytanie: bezokolicznik

Przyszłośc KP-R Projekt zakończony. Brak środków na rozwój, a nawet usprawnienie interfejsu. Nie wykluczamy integracji korpusu z innymi projektami równoległymi.

Korpus Języka Młodzieży Warszawskiej Korpus naturalnej mowy oraz tekstów pisanych młodzieży wielkości 500 tys. słów. Powstał w projekcie Laboratorium Języka Młodzieży w ramach programu MNiSW Ścieżki Kopernika 2013-2014. Oprócz korpusu: Sieciowy słownik slangu Uproszczona wyszukiwarka NKJP w szkołach Scenariusze lekcji z wykorzystaniem korpusów laboratoriumjezykowe.uw.edu.pl

Lekcje z NKJP Oblicza buntu – bunt Artura w Tangu Mrożka Obraz wiejskiej wspólnoty w Chłopach Castingowe dzieci. Kształcimy nasze umiejętności językowe „Ważne jak rzeczy się nazywają” – o słowach-kluczach w Hebanie Kapuścińskiego Analizujemy konkordancje wyrazów inny i obcy. Szukamy znaczących skojarzeń Pupa i gęba – słowa kluczowe Ferdydurke. Dlaczego w tekście Ferdydurke wyrazy gęba i pupa występują bardzo często (gęba 130 razy, pupa 89) i są podstawą wielu różnych związków frazeologicznych, podczas gdy w słownikach frazeologizmy gęby są częste, a pupy rzadkie?

Zespół Izabela Winiarska-Górska (kierownik projektu), Marek Łaziński (koordynator merytoryczny korpusu i słownika), doktoranci IJP UW Obsługa informatyczna - Jarosław Strojek 12 10-osobowych zespołów szkolnych z gimnazjów i liceów mazowieckich wraz z opiekunami polonistami M.in. LO Dąbrowskiego, Hoffmanowej, szkoły STO

Struktura KJMW Rozmowy nagrywane przez uczniów 250 tys. słów (w tej chwili zindeksowane 85 tys.) Tekstów pisane młodzieży: gazetki szkolne, blogi, prace pisemne 200 tys. słów. Korpus porównawczy powieści dla młodzieży XX wieku – 1 mln słów.

Transkrypcja i anotacja Transkrypcja w edytorze KJM opracowanym na potrzeby projektu. Teksty transkrybowane częściowo przez młodzież, tagowane przez doktorantów IJP. Tagowanie TAKIPI z dodatkiem tagów dla słów slangowych, nowych i zapożyczeń. Rozmówcy charakteryzowani danymi socjologicznymi: wiek, płeć, typ i nazwa szkoły.

Wyszukiwarka Okienkowa nakładka na Poliqarpa. Kreator zapytań umożliwia wybór kategorii gramatycznej w okienku i transponuje tak sformułowane zapytanie na zapytanie w wierszu poleceń. Oprócz podstawowego pytania o segmenty kreator umożliwia tworzenie statystyki oraz ograniczanie wypowiedzi dodanych socjologicznych.

Dziś i jutro Wyszukiwarka dostępna dziś tylko lokalnie, niebawem na serwerze UW (bez zapytań statystycznych). W 85 tys. słów rozmów dostępnych dziś: 51 tys. dziewczyny, 31 tys. chłopcy 28 tys. słów gimnazjaliści, 47 tys. licealiści

Transkrypcja w edytorze

Ten sam fragment w wyszukiwaniu kubek

Kreator zapytania Okienkowa nakładka na Poliqarpa. Kreator zapytań umożliwia wybór kategorii gramatycznej w okienku i transponuje tak sformułowane zapytanie na zapytanie w wierszu poleceń. Oprócz podstawowego pytania o segmenty kreator umożliwia tworzenie statystyki oraz ograniczanie wypowiedzi dodanych socjologicznych.

Słowa slangowe [tag=new]

Rozmówki gimnazjalne - quiz Faszynistka Melanżować Mok Nocowanka Spojlerować Swag Treściówka Zgonować Zmianoholiczka

Rozmówki gimnazjalne Faszynistka – ‚blogerka modowa’ Melanżować – ‚imprezować’ Mok – ‚próbny egzamin’ Nocowanka – ‚impreza lub wizyta z nocowaniem’ Spojlerować – ‚opowiadać treść filmu, książki’ Swag – ‚szpan, lans’ Treściówka – ‚sprawdzian z treści lektur’ Zgonować – ‚umrzeć, przenośnie też stracić przytomność po alkoholu’ Zmianoholiczka – ‚dziewczyna lubiąca zmiany w ubiorze ’

„Polityka” o KJMW „Zaczęło się od „beki”. Czyli niewinnego „ubawu”. Słowa, które jeszcze dekadę temu oznaczało po prostu zabawną sytuację, kupę śmiechu. Dziś beka to już nie to samo. Raczej kpina, szyderstwo. […] Beka przeszła więc na ciemną stronę polszczyzny. Tę diagnozę potwierdza „Laboratorium językowe”, ciekawy program naukowy prowadzony na Uniwersytecie Warszawskim. Uczniowie mazowieckich gimnazjów i liceów gromadzą cytaty ze swojego codziennego języka, pomagając zebrać, uporządkować, a potem zdefiniować to, czym nie zdążyli się jeszcze zająć językoznawcy.” B. Chaciński: Gdy epitet staje się bluzgiem: polityka.pl/tygodnikpolityka/ludzieistyle/1604567,1,gdy- zwykly-epitet-staje-sie-bluzgiem.read.

Przyszłość KJMW Choć program ministerialny się skończył, to prace trwają siła rozpędu. Zbieramy i transkrybujemy rozmowy. Nie wykluczamy integracji KJMW z innymi projektami polskimi i obcymi. Może nowy NKJP? Słownik miał stanowić tylko uzupełnienie bez ambicji wydawniczych, ale nie wykluczamy dalszego opracowania.