Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Temat projektu: Weryfikacja autorów wypowiedzi na podstawie próbek sygnału mowy Maciej Mraczek Piotr Szczepanik Michał Mrówczyński Kamil Ciepiela Kraków,

Podobne prezentacje


Prezentacja na temat: "Temat projektu: Weryfikacja autorów wypowiedzi na podstawie próbek sygnału mowy Maciej Mraczek Piotr Szczepanik Michał Mrówczyński Kamil Ciepiela Kraków,"— Zapis prezentacji:

1 Temat projektu: Weryfikacja autorów wypowiedzi na podstawie próbek sygnału mowy Maciej Mraczek Piotr Szczepanik Michał Mrówczyński Kamil Ciepiela Kraków, 4 czerwca 2009 AiR, EAIiE, AGH

2 Za metodę rozpoznawania uważamy cały tor przetwarzania i rozpoznawania próbki głosowej. Ogólny algorytm wygląda następująco: Pobranie próbki głosowej Wstępne przetworzenie (np. filtry, usunięcie ciszy, etc.) Ekstrakcja cech daną metodą Zastosowanie klasyfikatora Rezultat rozpoznania: - konkretny mówca - brak rozpoznania

3 Celem projektu było zaimplementowanie kilku metod ekstrakcji cech oraz klasyfikacji próbek dźwięku w kontekście utworzonej wcześniej bazy próbek treningowych. Efektem końcowym powinna być możliwość rozpoznania mówcy po wypowiedzeniu zdania Rozpoznaj kim jestem przynajmniej jedną z zaimplementowanych metod.

4 Wszystkie nagrane próbki poddane zostały normalizacji oraz wycięciu składowej stałej

5 FFT LPC MFCC

6 Fast Fourier Transform – jest to transformacja sygnału z dziedziny czasu do dziedziny częstotliwości W projekcie została przetestowana metoda rozpoznawania mówcy poprzez porównanie transformaty sygnału jego głosu z transformatami sygnałów głosów wzorcowych.

7 MFCC czyli Mel-frequency cepstral coefficients jest to metoda cepstralnych współczynników opartych na skali Mela. Stosowana jest powszechnie w systemach rozpoznawania mowy ze względu na dużą skuteczność. Algorytm 1. Z sygnału dźwiękowego robimy dyskretną transformatę Fouriera 2. Powstałe spectrum przeliczamy na skalę Mela (używając trójątnego okna) 3. Logarytmujemy każdą częstotliwość na skali Mela 4. Poddajemy dyskretnej transformacie cosinusowej 5. Następnie odwrotna dyskretna transformata Fouriera 6. Amplitudy tak powstałego sygnału to współczynniki MFCC

8 Skala Mela ta została tak stworzona, aby lepiej oddawać wrażenia słuchowe poprzez wzmocnienie częstotliwości słyszalnych. Dokonujemy tego za pomocą przekształcenia wzorem:

9 Linear predictive coding jest to algorytm używany najczęściej do przetwarzania sygnałów dźwiękowych oraz sygnału mowy. W wyniku kodowania otrzymujemy reprezentację sygnału cyfrowego, będącą parametrami modelu predykcji liniowej przetwarzanego sygnału.

10 Bardzo dobre osiągi metody LPC związane są z istotą działania ludzkiego aparatu mowy. W budowie aparatu mowy wyróżniamy część oddechową, fonacyjną i artykulacyjną. Przy analizie dźwięku najbardziej interesują nas te dwie ostatnie, ponieważ działanie ich determinuje dźwięk wydawany przez człowieka. Główną częścią aparatu fonacyjnego jest krtań. Przepływające powietrze wprawia w drżenie struny głosowe, w wyniku czego powstaje tzw. ton krtaniowy. Następnie dźwięk przechodzi przez gardło i usta tworzące układ rezonansowy. Powstaje tam tzw. formant – pasmo częstotliwości uwypuklone w barwie dźwięku. Ostateczne brzmienie głoski formowane jest poprzez język i usta. LPC analizując mowę wyznacza wspomniane wcześniej formanty. Następnie usuwa je z sygnału pozostawiając tylko charakterystyczne dla każdej głoski dźwięki. Proces ten nazywamy filtrowaniem wstecznym, a sygnał który pozostaje po odjęciu nazywamy rezydułem.

11 Metoda najbliższego sąsiedztwa

12 Metoda alfa-N

13 Test poprawności rozpoznawania mówcy Test poprawności rozpoznawania mówcy, który nie jest w bazie (obcy) Wyznaczanie optymalnej ilości współczynników liczonych metodą MFCC Wyznaczenie optymalnego rzędu metody LPC

14

15

16

17 Rysunek 3 Dla alpha=2, distance=1,5Rysunek 4 Dla alpha=6, distance=1,5

18

19

20 Dla alpha=2, distance=1,5Dla alpha=3, distance=1,5

21 Najlepszą metodą okazała się MFCC; trochę gorsze rezultaty dała metoda LPC Metoda FFT nie dała pozytywnych rezultatów – wyniki można zakwalifikować jako losowe Skuteczność rozpoznawania zależy głównie od parametrów alpha i odległość – jednak ich optymalizacja nie jest taka oczywista – wszystko zależy od tego, co chcemy osiągnąć: wysoki procent rozpoznawania mówców z bazy, czy skuteczne rozpoznawanie mówcy obcego (jako nie wiem) – chęć wysokich wyników w obu dziedzinach wymaga kompromisów Możemy również zmieniać parametry związane z poszczególnymi metodami, które również wpływają na jakość rozpoznawania: w LPC – rząd metody w MFCC – ilość współczynników cepstralnych (w MatLabie dostępnych jest więcej parametrów liczenia współczynników cepstralnych, jednak nie zostały one zgłębione i zbadane przez nas; poza tym można inaczej wyznaczyć wektor opisujący daną próbkę – w naszym przypadku użyto funkcji kmeans)

22 Wyniki testów mogą nie być bardzo obiektywne ze względu na małą liczbę próbek treningowych w bazie Istotne znaczenie może mieć również jakość sprzętu nagrywającego (mikrofon + karta dźwiękowa) Jako ulepszenie działania naszego toru rozpoznawania mówcy, mogłoby sprawdzić się przemnożenie sygnałów wejściowych przez okno Hamminga

23


Pobierz ppt "Temat projektu: Weryfikacja autorów wypowiedzi na podstawie próbek sygnału mowy Maciej Mraczek Piotr Szczepanik Michał Mrówczyński Kamil Ciepiela Kraków,"

Podobne prezentacje


Reklamy Google