K.Marasek 29.01.2007 Multimedia Department Automatyczne tłumaczenie z mowy na mowę Krzysztof Marasek PJWSTK.

Prezentacja na temat: "K.Marasek 29.01.2007 Multimedia Department Automatyczne tłumaczenie z mowy na mowę Krzysztof Marasek PJWSTK."— Zapis prezentacji:

1

2 K.Marasek 29.01.2007 Multimedia Department Automatyczne tłumaczenie z mowy na mowę Krzysztof Marasek PJWSTK

3 K.Marasek 29.01.2007 Multimedia Department Plan prezentacji Wprowadzenie Komponenty systemu tłumaczącego Aktualne osiągnięcia PJWSTK a sprawa polska S2ST usuwa bariery

4 K.Marasek 29.01.2007 Multimedia Department Dlaczego automatyczne tłumaczenie z mowy na mowę? Czynniki techniczne Choć nadal dalekie od perfekcji, metody maszynowego tłumaczenia dokonały w ostatnich 5 latach wyraźnego postępu NIST MT workshops (2002-2006) IWSLT workshops (2002-2006) TC-STAR workshop (2005-2006) ACL/NAACL Shared Tasks (2005-2006) Czynniki sukcesu to: Coraz silniejsze komputery (trening na klastrach PC, dużo RAM) Rozwój metod statystycznych i bazujących na danych (data driven) Odpowiednie zasoby lingwistyczne (korpusy bilingualne) Rozwój metod oceny jakości tłumaczenia (miary błędów) Stopniowe komplikowanie zadań Zaangażowanie wielkich firm: Google, IBM, itd.. Rozwój interfejsów głosowych Rozpoznawanie mowy działa coraz lepiej Mowę syntetyczną coraz trudniej odróżnić od naturalnej Czynniki ludzkie Potrzeby komunikacyjne w kurczącym się geograficznie świecie Lazzari, 06

5 K.Marasek 29.01.2007 Multimedia Department Komponenty systemu tłumaczącego Intelligent Software Lab, 06 Rozpozna wanie mowy Tłumaczenie wykorzystujące modele statystyczne Synteza mowy

6 K.Marasek 29.01.2007 Multimedia Department Modelowanie statystyczne w ARM Najbardziej prawdopodobna sekwencja słów W dla danego sygnału akustycznego A Prawdopodobieństwo a priori sekwencji słów W Prawdopodobieństwo a priori sygnału akustycznego A Zwykle w metodzie HMM: (W –model słowa) Podejście Bayesa Prawdopodobieństwo a priori akustycznego sygnału A dla znanej sekwencji słów W Obliczane jako odległość od modeli

7 K.Marasek 29.01.2007 Multimedia Department Jakość rozpoznawania mowy? ASR działa najlepiej dla ściśle określonego mówcy Im mniejszy słownik tym lepiej Rozpoznawanie cyfr przez telefon – stopa błędu 0.3% Stopa błędu maleje dwukrotnie co 2 lata dla ASR o średniej wielkości słownika Stopa błędów rozpoznawania mowy spontanicznej jest co najmniej dwukrotnie większa niż dla czytania Stopa błędów jest wysoka dla konwersacji wielu mówców w trudnym akustycznie środowisku ASR da sie używać! MIT,2005 digits1k read 2k spontaneous 64 k broadcast 20k read 10k conversational 0.1 1 10 100

8 K.Marasek 29.01.2007 Multimedia Department Nasze aktualne wyniki LVCSR: rozpoznawanie mowy ciągłej, dowolny mówca, słownik 30k słów, 16 mówców, 433 zdania z bazy SpeeCon JRTk Results: SENT: %Correct=90.09 [H=391, S=43, N=434] WORD: %Corr=98.39, Acc=98.23 [H=5268, D=28, S=58, I=9, N=5354] Rozpoznawanie izolowanych fraz: słownik ok 1000 słów: WORD: %Corr=97,3% AIBOAIBO

9 K.Marasek 29.01.2007 Multimedia Department Synteza mowy regułowa formantowa artykulacyjna konkatenacyjna difonowa korpusowa audiowizualna

10 K.Marasek 29.01.2007 Multimedia Department Automatyczne tłumaczenie statystyczne Input : SMT system otrzymuje zdanie do przetłumaczenia Output : SMT system generuje zdanie które jest tłumaczeniem zdania wejściowego Language Model (model języka) jest modelem określającym prawdopodobieństwo dowolnej sekwencji słów w danym języku Translation Model (model tłumaczenia) określa prawdopodobieństwa par tłumaczeń Decoding Algorithm (dekodowanie) to algorytm przeszukiwania grafu wyznaczający optymalne przejście przez graf słów

11 K.Marasek 29.01.2007 Multimedia Department Jak to działa? coraz popularniejsze, coraz bardziej akceptowalne wyniki Coraz rzadziej systemy regułowe, interlingua, modelowanie Phrase based translation zamiast analizy składni, dopasowania zdań Każda fraza jest tłumaczona na frazę i wynik może mieć zmienioną kolejność Model matematyczny argmax e p(e|f) = argmax e p(f|e) p(e) model języka e i model tłumaczenia p(f|e) Podczas dekodowania sekwencja słów F jest dzielona na sekwencje I fraz f 1 I o jednakowym prawdopodobieństwie, każda z fraz f i z f 1 I jest tłumaczona na frazę e i i mogą one zostać poprzestawiane. Tłumaczenie jest modelowane jako rozkład φ(f i |e i ), przestawianie fraz jako d(start i,end i-1 ) = α |start i -end i-1 -1| z odpowiednią wartością α, wprowadza się też czynnik ω>1 aby chętniej generować krótsze zdania Zatem najlepsze tłumaczenie to e best = argmax e p(e|f) = argmax e p(f|e) p_LM(e) ω length(e), gdzie p(f|e) jest przedstawianie jako: p(f 1 I |e 1 I ) = Φ i=1 I φ(f i |e i ) d(start i,end i-1 ) www.statmt.org/moses, 06

12 K.Marasek 29.01.2007 Multimedia Department Tłumaczenie fraz, czyli phrase alignment Dopasowanie na podstawie bilingualnego korpusu – modelowanie Dwukierunkowe dopasowanie słów pozwala wyznaczyć te najbardziej odpowiednie słowa Na tej podstawie próbuje się tłumaczyć frazy, np. szukamy takich fraz które są dopasowane do siebie z wykorzystaniem tylko słów z ich wnętrza (Och, 2003) www.statmt.org/moses, 06

13 K.Marasek 29.01.2007 Multimedia Department Proces dekodowania

14 K.Marasek 29.01.2007 Multimedia Department Dekodowanie czyli tłumaczenie System wyszukuje możliwe tłumaczenia fraz Uwzględnia koszt związany z tłumaczeniem, przestawianiem fraz i modelem języka – minimalizuje koszt, czyli maksymalizuje prawdopodobieństwo Metoda wyszukiwania jest zbliżona do używanej w rozpoznawaniu mowy Można generować listę najlepszych tłumaczeń www.statmt.org/moses, 06

15 K.Marasek 29.01.2007 Multimedia Department Wykorzystanie krat słów jako wejścia do tłumaczania z użyciem FST Noisy Channel Model Using an alignment model, A Instead of modeling the alignment, search for the best alignment Wykorzystanie interlingua i modeli sematycznych Wykorzystanie prozodii do wspomagania parsingu zdań Sprzężenie rozpoznawania i tłumaczenia Best English sentencelengthFrench audioTarget LMTranslation model Length of sourceAligned target wordLexical contextAcoustic context Matusov, 05

16 K.Marasek 29.01.2007 Multimedia Department Przykłady zastosowań

17 K.Marasek 29.01.2007 Multimedia Department Przygotowanie korpusu BTEC dla języka polskiego Współpraca z ATR Spoken Language Translation Research Laboratories, Kyoto, dr Eiichiro Sumita Ok. 120 000 zdań z rozmów japońskich turystów mówiących po angielsku („angielskie rozmówki”) Cel: Przygotowanie systemu automatycznego tłumaczenia z mowy na mowę pomiędzy polskim i angielskim dla ograniczonej domeny (rozmówki turystyczne) Przygotowanie równoległego korpusu polsko-angielskiego (dopasowanie na poziomie zdań i fraz) Nasza praca: Przetłumaczenie zdań z angielskiego na polski Sformatowanie plików zgodnie z formatem BTEC Anotacja morfo-syntaktyczna polskiego korpusu Aktualny stan zaawansowana: Przetłumaczono ok. 80% tekstów

18 K.Marasek 29.01.2007 Multimedia Department Dziękuje za uwagę! kmarasek@pjwstk.edu.pl