Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Rozpoznawanie głosów ptaków Dr inż. Robert Wielgat Państwowa Wyższa Szkoła Zawodowa w Tarnowie Zakład Elektroniki i Telekomunikacji - Dzień otwarty w.

Podobne prezentacje


Prezentacja na temat: "Rozpoznawanie głosów ptaków Dr inż. Robert Wielgat Państwowa Wyższa Szkoła Zawodowa w Tarnowie Zakład Elektroniki i Telekomunikacji - Dzień otwarty w."— Zapis prezentacji:

1

2 Rozpoznawanie głosów ptaków Dr inż. Robert Wielgat Państwowa Wyższa Szkoła Zawodowa w Tarnowie Zakład Elektroniki i Telekomunikacji - Dzień otwarty w PWSZ 13 marca 2009

3 Charakterystyka głosów ptaków - Dźwięki głównie harmoniczne, zasadniczo brak składowych szumowych - Dwie pary strun głosowych, - W przypadku wielu głosów ptaków występują składowe ultradźwiękowe niesłyszalne dla ucha ludzkiego t rz y Czas [s] Częstotliwość [Hz]

4 1. Wykrywanie rzadkich gatunków ptaków w celu ochrony ich siedlisk 2. Monitoring ptaków i wykrywanie zagrożeń ekologicznych (FBI – Farmland Bird Index) 3.Ochrona upraw rolnych 4.Ochrona lotnisk i samolotów Znaczenie rozpoznawania głosów ptaków

5 Projekt „BIRDSMOND” Od czerwca 2008 roku w Państwowej Wyższej Szkole Zawodowej w Tarnowie jest realizowany grant MNiSW Nr N N pt. „Opracowanie automatycznego systemu akustycznego monitoringu ptaków dla Ciężkowicko-Rożnowskiego Parku Krajobrazowego” we współpracy z: Zespołem Parków Krajobrazowych Pogórza w Tarnowie, Uniwersytetem Jagielońskim, Małopolskim Towarzystwem Ornitologicznym, Akademią Górniczo-Hutniczą, Uniwersytetem Rolniczym w Krakowie. Od września 2008 roku projekt nosi nazwę: B I R D S M O N D będącą akronimem od: BIRD SOUND MONITORING DATABASE

6 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

7 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

8 Stacjonarny rejestrator cyfrowy A/C LCD MIKROKONTROLER Klawiatura FAT32 4 x Szerokopas- mowy mikrofon pojemnościowy Karta pamięci Zegar Czasu rzeczy- wistego C/A Zestaw głośnikowy 4 x wzmacniacz mikrofonowy Wzmacniacz mocy Bezprzewodowy transceiver Antena

9 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

10 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

11 Przenośny rejestrator cyfrowy A/C MIKROKONTROLER FAT32 Karta pamięci Zegar czasu rzeczy- wistego C/A Słuchawki 4 x wzmacniacz mikrofonowy Wzmacniacz słuchawkowy LCDKlawiatura Antena GPS 4 x Szerokopas- mowy mikrofon pojemnościowy

12 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

13 System akustycznego monitoringu ptaków Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy Program rozpoznający w trybie bez nadzoru System informatyczny Program rozpoznający w trybie z nadzorem Gość Ekspert lub Administrator Obserwator Stacjonarny rejestrator cyfrowy Przenośny rejestrator cyfrowy GPS, filmy, zdjęcia, informacje o pogodzie Automatyczny Obserwator

14 Program rozpoznający w trybie bez nadzoru automatycznie rozpoznaje gatunek ptaka na podstawie nagrania z głosem ptaka. Proces ten nazywa się w skrócie rozpoznawaniem głosów ptaków. Rozpoznawanie głosów ptaków jest wykonywane przez program rozpoznający w dwóch etapach: 1. etap ekstrakcji cech 2. etap klasyfikacji Rozpoznawanie głosów ptaków w trybie z nadzorem można usprawnić stosując system ekspertowy wykorzystujący dodatkowe informacje jak np. prognoza pogody, data i godzina nagrania, pozycja GPS, które zostały zarejestrowane równocześnie z nagraniem głosu ptaka. Program rozpoznający pracujący w trybie bez nadzoru

15 Program rozpoznający w trybie bez nadzoru automatycznie rozpoznaje gatunek ptaka na podstawie nagrania z głosem ptaka. Proces ten nazywa się w skrócie rozpoznawaniem głosów ptaków. Rozpoznawanie głosów ptaków jest wykonywane przez program rozpoznający w dwóch etapach: 1. etap ekstrakcji cech 2. etap klasyfikacji Rozpoznawanie głosów ptaków w trybie z nadzorem można usprawnić stosując system ekspertowy wykorzystujący dodatkowe informacje jak np. prognoza pogody, data i godzina nagrania, pozycja GPS, które zostały zarejestrowane równocześnie z nagraniem głosu ptaka. Program rozpoznający pracujący w trybie bez nadzoru

16 Ekstrakcja cech Z sygnału akustycznego będącego głosem ptaka można wyekstrahować różnorodne cechy np.: Kodowanie sygnału w dziedzinie czasu (ang. TDSC - Time Domain Signal Coding), Maksima widmowe (ang. spectral peaks), Falki (ang. wavelets), Parametry mel-cepstralne (ang. MFCC - Mel Frequency Cepstral Coefficients), Parametry HFCC (ang. HFCC - Human Factor Cepstral Coefficients). Etap ekstrakcji cech in jest niekiedy poprzedzany wstępnym przetwarzaniem sygnału jak np. filtracja pasmowo-przepustowa, redukcja szumów itp.

17 Ekstrakcja cech Z sygnału akustycznego będącego głosem ptaka można wyekstrahować różnorodne cechy np.: Kodowanie sygnału w dziedzinie czasu (ang. TDSC - Time Domain Signal Coding), Maksima widmowe (ang. spectral peaks), Falki (ang. wavelets), Parametry mel-cepstralne (ang. MFCC - Mel Frequency Cepstral Coefficients), Parametry HFCC (ang. HFCC - Human Factor Cepstral Coefficients). Etap ekstrakcji cech in jest niekiedy poprzedzany wstępnym przetwarzaniem sygnału jak np. filtracja pasmowo-przepustowa, redukcja szumów itp.

18 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

19 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

20 Dzielenie sygnału na ramki 30 ms 20 ms Ramka 1 Ramka 2Ramka 3Ramka 4 Ramka 5 [ms] t

21 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

22 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

23 Okienkowanie sygnału Okienkowanie sygnału polega na przemnożeniu próbek w ramce sygnału przez funkcję okna. t t t x = Funkcja okna (np. okno Hamminga) Sygnał w ramce Sygnał w ramce przemnożony przez funkcję okna

24 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

25 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

26 Mel-Frequency Cepstral Coefficients (MFCC) “Obliczenie mocy FFT w określonych pasmach częstotliwościowych” Częstotliwości środkowe w tych pasmach są równomiernie rozmieszczone względem melowej skali częstotliwościowej. Szerokość pasma jest powiązana z rozmieszczeniem częstotliwości środkowych pasma zachodzą na siebie na połowie swej długości.

27 Parametry MFCC (mel-cepstralne) 1) Blokowanie sygnału w ramki, okienkowanie oknem Hamminga 2) Przeprowadzenie FFT na zokienkowanych ramkach sygnału 3) Obliczenie mocy FFT w określonych pasmach częstotliwościowych 4) Obliczenie logarytmu zakumulowanych współczynników widmowych 5) Przeprowadzenie DCT na zlogarytmowanych współczynnikach widmowych: 6) Opcjonalne obliczenie pierwszej i drugiej pochodnej po czasie ze współczynników DCT czyli tzw. współczynników delta oraz delta-delta

28 Program rozpoznający w trybie bez nadzoru automatycznie rozpoznaje gatunek ptaka na podstawie nagrania z głosem ptaka. Proces ten nazywa się w skrócie rozpoznawaniem głosów ptaków. Rozpoznawanie głosów ptaków jest wykonywane przez program rozpoznający w dwóch etapach: 1. etap ekstrakcji cech 2. etap klasyfikacji Rozpoznawanie głosów ptaków w trybie z nadzorem można usprawnić stosując system ekspertowy wykorzystujący dodatkowe informacje jak np. prognoza pogody, data i godzina nagrania, pozycja GPS, które zostały zarejestrowane równocześnie z nagraniem głosu ptaka. Program rozpoznający pracujący w trybie bez nadzoru

29 Program rozpoznający w trybie bez nadzoru automatycznie rozpoznaje gatunek ptaka na podstawie nagrania z głosem ptaka. Proces ten nazywa się w skrócie rozpoznawaniem głosów ptaków. Rozpoznawanie głosów ptaków jest wykonywane przez program rozpoznający w dwóch etapach: 1. etap ekstrakcji cech 2. etap klasyfikacji Rozpoznawanie głosów ptaków w trybie z nadzorem można usprawnić stosując system ekspertowy wykorzystujący dodatkowe informacje jak np. prognoza pogody, data i godzina nagrania, pozycja GPS, które zostały zarejestrowane równocześnie z nagraniem głosu ptaka. Program rozpoznający pracujący w trybie bez nadzoru

30 Klasyfikacja Najbardziej obiecującymi metodami klasyfikacji w rozpoznawaniu głosów ptaków są: Wyszukiwanie haseł oparte na Nieliniowej transformacji czasowej (ang. Dynamic Time Warping - DTW) Metoda niejawnych modeli Markowa (ang. Hidden Markov Models – HMM). iYiY iXiX BIRD VOICE X BIRD VOICE Y 1N 1 M DTW o1o1 o2o2 o3o3 o4o4 o5o5 o6o6 a 23 a 22 b 2 (o 1 ) b 2 (o 2 ) b 2 (o 3 ) b 4 (o 5 )b 3 (o 4 )b 4 (o 6 ) a 34 a 45 a 12 a 33 a 44 HMM

31 Nieliniowa transformacja czasowa (DTW) iYiY iXiX Celem algorytmu nieliniowej transformacji czasowej jest znalezienie najniższego zakumulowanego kosztu przejścia między punktami siatki odległości I X - indeksy wektorów cech słowa x I Y - indeksy wektorów cech słowa y S Ł O W O X S Ł O W O Y 1N 1 M

32 Naśladownictwo - myszołów- szpak naśladujący myszołowa Nakładanie się głosów ptaków tzw. efekt „coctail party” - ptaki śpiewające jednocześnie Rozpoznawanie w warunkach dużego szumu i hałasu otoczenia Rozpoznawanie dużej liczby gatunków ptaków Nierozwiązane problemy rozpoznawania głosów ptaków

33 Serdecznie zapraszamy Państwa do odwiedzania strony internetowej projektu BIRDSMOND Trznadel (łac. Emberizza citrinella) Sójka (łac. Garrulus glandarius)Trznadel (łac. Emberizza citrinella)

34 Dziękuję Państwu za uwagę


Pobierz ppt "Rozpoznawanie głosów ptaków Dr inż. Robert Wielgat Państwowa Wyższa Szkoła Zawodowa w Tarnowie Zakład Elektroniki i Telekomunikacji - Dzień otwarty w."

Podobne prezentacje


Reklamy Google