Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

WUT TWG 2005 WEDT Modelowanie języka Wykład 7 Piotr Gawrysiak 2005.

Podobne prezentacje


Prezentacja na temat: "WUT TWG 2005 WEDT Modelowanie języka Wykład 7 Piotr Gawrysiak 2005."— Zapis prezentacji:

1 WUT TWG 2005 WEDT Modelowanie języka Wykład 7 Piotr Gawrysiak 2005

2 WUT TWG 2005 Modelowanie języka Model języka – model probabilistyczny pozwalający obliczyć prawdopodobieństwo zdania Jeśli w 1:n oznacza ciąg wyrazów w 1 w 2 …w n. Jaka jest wartość P(w 1:n ) ? Możemy próbować określać prawdopodobieństwo wystąpień: poszczególnych liter (Shannon game) poszczególnych wyrazów Obliczenie prawdopodobieństwa wystąpienia słowa w zdaniu nie jest zadaniem prostym (ogólnie zależy od znaczenia wypowiadanego zdania), ale analiza poprzedzających słów może wiele pomóc: kolokacje części mowy i struktura zdania dziedzina semantyczna

3 WUT TWG 2005 Przykładowe zastosowania OCR / rozpoznawanie mowy wiele wypowiedzi brzmi podobnie np. I went to a party Eye went two a bar tea Poprawianie błędów ortograficznych np. metoda Kernighana nie brała pod uwagę kontekstu: … I think theyre okay … … I think there okay … … I think their okay … Tłumaczenie automatyczne On voit Jon à la télévision Jon appeared in TV. In Jon appeared TV. Jon appeared on TV. Analiza stylu pisania (wykrywanie plagiatów, autorstwa tekstów itp.) Generowanie dużej ilości danych tekstowych Rudolph the red nose reindeer. Rudolph the Red knows rain, dear. Rudolph the Red Nose reigned here. Najbardziej prawdopodobne ze zdań-kandydatów

4 WUT TWG 2005 Jak obliczyć P(w 1:n )? Możemy wykorzystać regułę łańcuchową, wtedy: P(w 1:n ) =P(w 1:n-1 )P(w n |w 1:n-1 ) = P(w 1:n-2 )P(w n-1 |w 1:n-2 )P(w n |w 1:n-1 ) = itd. = = P(w 1 )P(w 2 |w 1 ) P(w 3 |w 1:2 ) P(w 4 |w 1:3 ) …… P(w n-1 |w 1:n-2 )P(w n |w 1:n-1 ) Sue swallowed the large green ______. Problem – w naszym zbiorze danych (korpusie) będzie prawdopodobnie bardzo mało wystąpień w 1:n-1 Możemy potraktować generację słów składających się na zdanie jako proces Markowa i przyjąć założenie Markowa (markov assumption): tylko N najbliższych słów ma wpływ na to jakie będzie w n : P(w n |w 1:n-1 )P(w n |w n-N+1:n-1 ) Bigram: bierzemy pod uwagę tylko poprzednie słowo Trigram: bierzemy pod uwagę dwa poprzedzające słowa Tetragram:... cztery itd. Wtedy P(w 1:n ) k=1,n P(w k |w k-N+1:k-1 ) Łańcuchy Markowa w 1:n-1 : historia dla w n historia dla w n wnwn

5 WUT TWG 2005 N-gramy N-gramy określają zbiór klas na które dzielimy zbiór danych trenujących (equivalence classes, bins) Czy większe wartości n są lepsze? large green ___________ tree? mountain? frog? car? swallowed the large green ________ pill? broccoli? Reliability vs Discrimination Im większe n tym więcej informacji o kontekście (discrimination) ale... Im większe n tym mniej jest dostępnych przykładów n-gramu w zbiorze trenującym (reliability)

6 WUT TWG 2005 N-gramy Dla większych wartości n to podejście staje się niepraktyczne Załóżmy, iż słownik zawiera słów wtedy: n Liczba klas 2 (bigrams) 400,000,000 3 (trigrams) 8,000,000,000,000 4 (tetragrams) 1.6 x 10 17

7 WUT TWG 2005 Tworzenie modelu Najprostszym podejściem do budowania modelu języka jest posłużenie się MLE i policzenie wystąpień odpowiednich n-gramów w korpusie: korpus: a b a b MLE P(a|b)= ½, P(b|a)=1, P(a| )=1, P( |b) = ½, P(korpus)=1/2. Przykład (Manning, Shuetze): Korpus – powieści Jane Austen N = 617,091 słów V = 14,585 słów Zadanie – jakie jest kolejne słowo w trigramie inferior to ________ W korpusie, [In person, she was] inferior to both [sisters.]

8 WUT TWG 2005 Tworzenie modelu cd. Liczba wystąpień trigramu inferior to ________ w korpusie:

9 WUT TWG 2005 Tworzenie modelu cd. Zgodnie z MLE nie zaobserwowane wystąpienia trigramów otrzymują zerowe prawdopodobieństwa Nasz korpus jest jednak ograniczony i brak wystąpienia pewnego ciągu wyrazów może być przypadkowy

10 WUT TWG 2005 Wygładzanie Rzeczywisty rozkład prawdopodobieństwa wygląda zapewne tak: Należy zatem : a)Zmniejszyć (discount) nieco masę prawdopodobieństwa przypadającą na obserwowane przypadki b) Rozdzielić (reallocate) uzyskany nadmiar na pozostałe przypadki

11 WUT TWG 2005 Metoda Lidstonea Wersja Laplacea – uznajemy, iż każdy n-gram występuję przynajmniej 1 raz, lub wersja Jeffreys-Parks – dopuszczamy wystąpienia ułamkowe Ogólnie: gdzie C = liczba wystąpień n-gramu w danych trenującyh N = liczba wystąpień wszystkich n-gramów w danych trenujących B = liczba różnych n-gramów MLE: = 0, LaPlace: = 1, Jeffreys-Perks: = ½

12 WUT TWG 2005 Held-out estimator W metodzie Lidstonea przyporządkowujemy arbitralnie pewne prawdopodobieństwo nie obserwowanym przypadkom – czy nie jest ono zbyt duże / małe? Możemy to sprawdzić empirycznie, dzieląc zbiór trenujący na dwie części i zachowując jedną z nich (hold-out) do weryfikacji przyjętej hipotezy – np. badając jak często bigramy które wystąpiły r razy w pierwszej części pojawiają się w drugiej W ten sposób możemy otrzymać (Jelinek, Mercer, 1985): gdzie – N r – liczba bigramów o częstości r C1 – liczba wystąpień ciągu w danych trenujących C2 – liczba wystąpień ciągu w held-out data

13 WUT TWG 2005 Cross validation Podział na część trenującą i held-out jest także arbitralny Najlepiej tego uniknąć – np. dokonując kilkakrotnych podziałów Podzielenie danych na 2 części Uczenie na A, sprawdzenie na B Uczenie na B, sprawdzenie na A Połączenie obu modeli AB uczeniesprawdz. uczenie Model 1 Model 2 Model 1Model 2 + Model końcowy N r a = liczba n-gramów wystepujących r razy w a-tej części zbioru trenującego T r ab = liczba tych znalezionych w b-tej częsci

14 WUT TWG 2005 Good-Turing estimation Przypisywana Turingowi Metoda oszacowania prawdopodobieństwa: r * = zmodyfikowana częstość N r = liczba n-gramów które występują r razy w zbiorze trenującym E(N r ) = wartość oczekiwana zmiennej losowej N r, E(N r+1 ) < E(N r ) Suma prawdopodobieństw nieobserwowanych n-gramów wynosi wtedy E(N 1 )/N 0 Możemy podstawić obserwowane wartości częstości w miejsce wartości oczekiwanych, ale to nie będzie działać dla dużych wartości r (w szczególności dla najczęściej występującego n-gramu P GT =0) Dwie metody: użycie Good-Turing estimation tylko dla częstości r < k (k = np. 10) dopasowanie jakiejś funkcji S do obserwowanych wartości r i Nr

15 WUT TWG 2005 Good-Turing cont., absolute discounting Przykład: Korpus: a b a b Obserwowane bigramy: b a: 1 a b: 2 N 0 =2, N 1 =1, N 2 =1, N=3 Estymacja częstości dla niobserwowanych bigramów: f 0 = N 1 /N 0 =0.5 Absolute i linear discounting Zaproponowane przez Ney i Essen (1994) Absolute discounting – od prawdopodobieństwa każdego obserwowanego n- gramu odejmowana jest pewna stała Linear discounting – prawdopodobieństwa obserwowanych n-gramów skalowane są pewną wartością < 1 wartości parametrów mogą zostać oszacowane z held-out data

16 WUT TWG 2005 Mixture models Metody mieszane Możemy wykorzystać informację o n-gramach niższego stopnia, gdy brak danych o wystąpieniach n-gramów wyższego stopnia Simple Linear Interpolation np. dla trigramów: Katz backing-off a)gdy liczba wystąpień n-gramu > k, używamy MLE (nieco zmniejszając wartość prawdopodobieństwa np. przez GT est., rezerwując dla b) b)wpw wykorzystujemy rekurencyjnie oszacowanie dla n-1-gramu Obecnie najczęściej wykorzystywane w praktyce – GT estimation połączone z jakąś metodą mieszaną

17 WUT TWG 2005 Na koniec... Przypomnienie - Dzisiaj upływa termin przysyłania dokumentacji wstępnej projektu Jeśli ktoś się jeszcze nie zdecydował w jakim języku wykonywać implementację – może spróbować Python NLTK >>> from nltk.corpus import gutenberg >>> gutenberg.items() ['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', 'bible-kjv.txt', 'blake-poems.txt', 'blake-songs.txt', 'chesterton-ball.txt', 'chesterton-brown.txt', 'chesterton- thursday.txt', 'milton-paradise.txt', 'shakespeare- caesar.txt', 'shakespeare-hamlet.txt', 'shakespeare- macbeth.txt', 'whitman-leaves.txt']

18 WUT TWG 2005 Python NLTK Wybrane moduły NLTK –token: klasy do reprezentacji i przetwarzania tokenów, takich jak zdania i słowa –probability: klasy służące do reprezentacji i przetwarzania danych statystycznych –tree: reprezentacja i przetwarzanie danych w postaci drzew –cfg: gramatyki bezkontekstowe –fsa: automaty skończone –tagger: tagger do części mowy i części zdania (angielski) –parser: zawiera parsery gramatyczne służące do budowy drzew rozbioru zdania –classifier: algorytmy klasyfikacji, włącznie z metodami doboru zawartości słownika –draw: pomocnicze klasy do wizualizacji danych –corpus: przykładowe korpusy tekstowe

19 WUT TWG 2005 Python NLTK Prosty przykład użycia: >>> from nltk.tokenizer import * >>> text_token = Token(TEXT='Hello world. This is a test file.') >>> print text_token >>> WhitespaceTokenizer(SUBTOKENS='WORDS').tokenize(text_to ken) >>> print text_token,,,,,, ]> >>> print text_token['TEXT'] Hello world. This is a test file. >>> print text_token['WORDS'] [,,,,,, ]

20 WUT TWG 2005 Python NLTK Przykład - klasyfikacja: tokenizer = LineTokenizer() >>> statements = open('statements.txt').read() >>> statement_toks = tokenizer.tokenize(statements) >>> imperatives = open('imperatives.txt').read() >>> imperative_toks = tokenizer.tokenize(imperatives) >>> questions = open('questions.txt').read() >>> question_toks = tokenizer.tokenize(questions) >>> train_toks = (label_tokens(statement_toks, 'statement') +... label_tokens(imperative_toks, 'imperative') +... label_tokens(question_toks, 'question')) >>> trainer = NBClassifierTrainer(fd_list) >>> classifier = trainer.train(train_toks) >>> loc = Location(3, unit='s') >>> test_tok = Token("Do you enjoy classification?", loc) >>> classifier.classify(test_tok) "Do you enjoy classification?" >>> prob_dict = classifier.distribution_dictionary(test_tok) >>> for label in prob_dict.keys():... print "P(%s) = %.2f" % (label, prob_dict[label]) P(statement) = 0.24 P(imperative) = 0.02 P(question) = 0.74


Pobierz ppt "WUT TWG 2005 WEDT Modelowanie języka Wykład 7 Piotr Gawrysiak 2005."

Podobne prezentacje


Reklamy Google