PRACA DYPLOMOWA MAGISTERSKA Kraków 2006 Politechnika Krakowska im. Tadeusza Kościuszki Wydział Inżynierii Elektrycznej i Komputerowej PRACA DYPLOMOWA MAGISTERSKA Kraków 2006

Rozpoznawanie mówcy z wykorzystaniem GSDM Piotr Mizera Rozpoznawanie mówcy z wykorzystaniem GSDM Promotor: dr inż. Tomasz Gąciarz

Wyjaśnienie tematu Proces rozpoznawania mówcy zawiera w sobie procedury identyfikacji oraz weryfikacji, które są dokonywane na podstawie pobranych próbek głosu. Genetyczna rozrzedzona pamięć rozproszona GSDM (ang. Genetic Sparse Distributed Memory) pełni rolę klasyfikatora.

M - krotna procedura porównania Identyfikacja Identyfikacja głosów ma na celu ustalenie tożsamości mówcy poprzez przypisanie jego wypowiedzi do mówcy z danego zbioru mówców M - krotna procedura porównania Zapamiętane wzorce mówcy m = 1 Zapamiętane wzorce mówcy m = 2 Wypowiedź nieznanego mówcy ... Zapamiętane wzorce mówcy m = M

Weryfikacja Weryfikacja głosów to procedura potwierdzająca lub odrzucająca zgłoszoną tożsamość mówcy na podstawie jego wypowiedzi. Zapamiętane wzorce mówcy m = 1 Zapamiętane wzorce mówcy m = 2 Wypowiedź nieznanego mówcy z żądaniem sprawdzenia, że należy do głosu m* Jednokrotna procedura porównania ze wskazanym m-tym głosem Zapamiętane wzorce mówcy m = m* ... Zapamiętane wzorce mówcy m = M

Cel i zakres Celem pracy jest zaproponowanie metody rozpoznawania mówcy oraz jej praktyczna realizacja w postaci oprogramowania przeznaczonego do rozpoznawania mówcy na podstawie nagranych wypowiedzi. Program ma obejmować poszczególne etapy procesu rozpoznawania mówcy z użyciem pamięci GSDM jako klasyfikatora.

Etapy procesu rozpoznawania mówcy wstępne przetwarzanie – zapisanie sygnału mowy w postaci cyfrowej oraz przygotowanie próbek głosu (m.in. usunięcie ciszy z początku i końca nagrania), ekstrakcja parametrów osobniczych – wydobycie cech charakteryzujących głos mówcy (budowa wektora cech), klasyfikacja – porównanie wartości ekstrahowanych parametrów z wartościami wzorcowymi znajdującymi się w pamięci.

Zawartość pracy Sygnał mowy Przygotowanie próbek głosu Ekstrakcja parametrów Rozrzedzona pamięć rozproszona Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”

Sygnał mowy 1z2 Mowa ludzka jest jednym z najbardziej efektywnych sposobów przekazywania myśli i odczuć człowieka. Metody wytwarzania mowy Wytwarzanie mowy Artykulacja Odtwarzanie Generacja mowa naturalna mowa rekonstruowana mowa syntezowana

Schemat blokowy systemu przetwarzającego sygnał mowy Sygnał mowy 2z2 Schemat blokowy systemu przetwarzającego sygnał mowy Zmienia ciągły sygnał elektryczny na ciąg zakodowanych wartości cyfrowych Układ przetwarzania wstępnego Przetwarza zmiany ciśnienia akustycznego na sygnał elektryczny Układ wzmacniający Filtry Przetwornik A/C System komputerowy Układ wzmacniający Filtry Przetwornik C/A Przechowuje dźwięk w postaci cyfrowej w plikach muzycznych (np. pliki WAVE) Przetwarza sygnał elektryczny w falę akustyczną Przetwarza dźwięk z postaci cyfrowej na analogową

Przygotowanie próbek głosu 1z2 Usunięcie ciszy z początku i końca nagrania: algorytm energii sygnału, algorytm częstości zmian sygnału. Preemfaza – zamiana sygnału rzeczywistego na sygnał różnicowy (filtr o skończonej odpowiedzi impulsowej). Funkcja przejścia filtru: y(n) = s(n) - as(n-1) Gdzie: a parametr preemfazy (wartości z zakresu: 0.95 - 1)

Przygotowanie próbek głosu 2z2 Ramki sygnału i funkcja okna - próbki sygnału mowy dzielone są na ramki o stałym rozmiarze, ponieważ zakłada się, że sygnał mowy jest stacjonarny w krótkim okresie czasu ok. 10 ms. Funkcja okna tłumi skrajnie położone próbki w wydzielonych ramkach. Funkcja okna Hamminga w(n) = 0.54 – 0.46cos(2n/N) Gdzie: k=1...N-1, N – rozmiar okna Hamminga

Ekstrakcja parametrów1z4 Ekstrakcja parametrów ma na celu wydobycie z sygnału mowy informacji jednoznacznie charakteryzujących mówcę. Rodzaj wydobywanych parametrów i ich liczba mają decydujące znaczenie w procesie rozpoznawania. Parametry biorące udział w procesie rozpoznawania mówcy: - parametry liniowego kodowania predykcyjnego (metoda LPC) - parametry cepstralne (metody: LPCC, MFCC)

Ekstrakcja parametrów2z4 LPC (Linear Predictive Coefficients) Metoda autokorelacji: minimalizacja błędu średnio kwadratowego

Ekstrakcja parametrów3z4 LPCC (Linear Predictive Cepstral Coefficients) Obliczenie współczynników cepstralnych na podstawie parametrów LPC:

Ekstrakcja parametrów4z4 MFCC (Mel frequency Cepstral Coefficients) moc spektrum mowa Podział sygnału na ramki ramki FFT Skala mel log mel spektrum mel spektrum mel cepstrum IFFT Log

Rozrzedzona pamięć rozproszona1z2 Operacja zapisu:

Rozrzedzona pamięć rozproszona2z2 Operacja odczytu:

Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”1z5 Program “Speaker Recogniotion – Genetic Sparse Distributed Memory” (SR-GSDM) jest aplikacją umożliwiającą identyfikację mówcy lub jego weryfikację na podstawie pobranych próbek głosu.

Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”2z5 1. Przygotowanie plików WAVE (m.in. usunięcie ciszy) 2. Ekstrakcja parametrów – budowa wektora cech 3. Tworzenie zbiorów uczących 4. Uczenie pamięci GSDM

Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”3z5  identyfikacja mówcy weryfikacja mówcy 

Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”4z5 LPC identyfikacja MFCC LPCC

Aplikacja “Speaker Recogniotion – Genetic Sparse Distributed Memory”5z5 weryfikacja

KONIEC Dziękuję za uwagę