Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu

Prezentacja na temat: "Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu"— Zapis prezentacji:

1 Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu
Wstęp do Multimediów Wykład 4 Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu

2 Cyfrowe przetwarzanie sygnałów
Pojęcie wskazu Filtry cyfrowe

3 Pojęcie wskazu Liczby zespolone doskonale nadają się do opisu pewnych właściwości układów i sygnałów - stąd powszechność wykorzystywania liczb i operacji zespolonych Wskaz jest zespoloną reprezentacją jakiejś wielkości, np. wartości chwilowej (zmiennej w czasie) sygnału w jakimś punkcie systemu wskaz x(t) -> postać algebraiczna: x(t)=a·cos(t)+j·b·sin(t) zwykle:  - ma interpretację pulsacji (częstotliwości kątowej)

4 Pojęcie wskazu Postać wykładnicza (biegunowa):
x(t)=M · exp(j ·C) · exp(t) M – moduł, - ma interpretację amplitudy sygnału C - to tzw. faza początkowa = arctg(b/a) - w tym zapisie wyrażona w radianach Graficzna interpretacja postaci wykładniczej, to wektor w przestrzeni (Re, Im), zaczepiony w punkcie (0, j·0), o końcu w punkcie (a,b) i długości równej M W rzeczywistych układach i systemach, tzn. takich jakie się najczęściej stosuje w praktyce, sygnały są rzeczywiste, tzn. musi być spełniony warunek: a  b

5 Filtry cyfrowe Na wejście filtru podawany jest ciąg x(n), na wyjściu otrzymujemy ciąg y(n) Odpowiedź impulsowa filtru - ciąg h(n) otrzymany jako odpowiedź filtru na pobudzenie impulsem jednostkowym (n) w chwili n k=0 filtr przyczynowy Filtry FIR: o skończonej odpowiedzi impulsowej IIR: o nieskończonej odpowiedzi impulsowej

6 Filtry cyfrowe Transmitancja filtru (charakterystyka częstotliwościowa) – transformata Fouriera odpowiedzi impulsowej filtru Pasmo 3dB - pasmo pomiędzy 2 granicznymi wartościami częstotliwości (np.: fg i fd, fg>=fd), dla których moc sygnału spada o połowę (pasmo przenoszenia spada o 3dB) W przełożeniu na transmitancję, H(f), interpretacja pasma 3dB jest następująca: moc jest proporcjonalna do kwadratu amplitudy sygnału harmonicznego, a zatem moc spada o połowę gdy amplituda sygnału spada o

7 Filtry stosowane w przetwarzaniu sygnałów
Górnoprzepustowy Dolnoprzepustowy Pasmowoprzepustowy Pasmowozaporowy Grzebieniowy Wszechprzepustowy korektor fazy

8 Filtry stosowane w przetwarzaniu sygnałów
źródło:

9 Dźwięk cyfrowy voice.wav

10 Dźwięk cyfrowy voice.wav

11 Dźwięk cyfrowy voice.wav

12 Częstotliwość próbkowania (gęstość próbkowania) Rozdzielczość binarna
Dźwięk cyfrowy Sygnał schodkowy Przechodzi przez filtr wygładzający Częstotliwość próbkowania (gęstość próbkowania) Rozdzielczość binarna

13 Dźwięk cyfrowy Częstotliwość Przykłady dźwiękowe
Zakres słyszalności ucha ludzkiego: Hz Przykłady dźwiękowe Tony Szumy Przykłady częstotliwości – wysokość dźwięku: 50 Hz, 100 Hz, 1 kHz, 10 kHz

14 Analiza dźwięku Analiza widmowa: Okienkowanie sygnału FFT
Analiza falkowa Okienkowanie sygnału

15 Analiza dźwięku Analiza widmowa, pozwala określić skład widmowy dźwięku Podstawowe metody analizy widmowej transformata Fouriera analiza falkowa, pozwalająca na jednoczesną analizę czasowo-częstotliwościową, filtracyjne metody określania składu widmowego dźwięku

16 Sin (http://www-ccrma.stanford.edu/~jos/mdft/FFT_Simple_Sinusoid.html)

17 Suma 3 sinusoid: postać czasowa, widmo

18 Suma 3 sinusoid: sonogram (zmiany widma w czasie)

19 Fizyczne charakterystyki dźwięków

20 Fizyczne charakterystyki dźwięków
Fala trójkątna Fala piłokształtna

21 Fizyczne charakterystyki dźwięków
Fala piłokształtna (do góry) Szum brązowy

22 Sygnały nieharmoniczne
Częstotliwości składowe nie są wielokrotnościami częstotliwości podstawowej Np. 650, 950, i 1250 Hz; wysokość 334Hz Stosunki między składowymi: 1,95, 2,84, i 3,74

23 Transformacja Fouriera
Transformata Fouriera F(j) sygnału ciągłego f(t): gdzie t – czas ciągły Transformacja przekształca dziedzinę czasu w dziedzinę widma

24 Odwrotna transformacja Fouriera
Możliwe jest przekształcenie odwrotne, tj. przejście z dziedziny widma w dziedzinę czasu Odwrotna transformata Fouriera dla sygnału ciągłego:

25 Dyskretna transformacja Fouriera
W nagraniach cyfrowych dziedzina czasu zostaje poddana dyskretyzacji Zamiast ciągłej funkcji f(t) otrzymuje się sygnał {x(nT)}, gdzie T – okres próbkowania Zależność między ciągłą a dyskretną transformatą Fouriera:

26 Dyskretna transformacja Fouriera
Dyskretna transformata Fouriera X(k) dla okna czasowego o długości N definiowana jest na ciągu próbek x(0), …, x((N–1)T): gdzie  =2/NT Odwrotna dyskretna transformacja Fouriera:

27 Szybka transformacja Fouriera
Dla ciągu próbek o długości 2n opracowano szybki algorytm wyznaczania transformaty Fouriera (Fast Fourier Transform) Aby skorzystać z tego algorytmu, stosowane jest uzupełnianie ciągu próbek do najbliższej potęgi dwójki (zeropadding)

28 Własności transformacji Fouriera
Operacji mnożenia w dziedzinie czasu odpowiada splot transformat w dziedzinie widma:

29 Efekty uboczne próbkowania sygnału
Ponieważ mnożenie w dziedzinie czasu odpowiada splotowi w dziedzinie częstotliwości, otrzymujemy repliki widma w DFT spróbkowanego sygnału Aby uniknąć aliasingu (nakładania replik widma), należy usunąć z sygnału częstotliwości powyżej częstotliwości Nyquista fN=1/2fp (fp – częstotliwość próbkowania) Twierdzenie o próbkowaniu - sformułowane niezależnie przez co najmniej 4 naukowców: Whittaker, Shannon, Kotelnikov, Nyquist JAES vol. 58 no.1/ p.75

30 Twierdzenie o próbkowaniu:
Warunek Nyquista Twierdzenie o próbkowaniu: Sygnał ciągły może być ponownie wiernie odtworzony z sygnału dyskretnego, jeśli był próbkowany z częstotliwością co najmniej dwa razy większą od granicznej częstotliwości swego widma (warunek Nyquista) 30

31 Aliasing w obrazie ruchomym
forums/adobe/com Aliasing powoduje pojawienie się wzorów/częstotliwości których nie było w oryginalnym obrazie Aliasing w obrazie ruchomym

32 Okienkowanie sygnału Ponieważ dyskretna transformacja Fouriera operuje na danych dyskretnych i o skończonej długości, otrzymany wynik różni się od transformaty ciągłej Dla różnych długości analizowanej ramki otrzymuje się różne wyniki analiz Wybranie fragmentu danych o długości N oznacza, że sygnał na tym odcinku został przemnożony przez 1, zaś na pozostałych przez 0 Jest to równoważne przemnożeniu sygnału przez sygnał prostokątny o szerokości N i wysokości 1

33 Okienkowanie sygnału Operację tę nazywamy okienkowaniem
Operację okienkowania można zapisać jako: v(n) = w(n) · s(n) gdzie: s(n) – sygnał wejściowy, v(n) – sygnał wynikowy otrzymany poprzez okienkowanie, w(n) – funkcja okna

34 Okienkowanie i przecieki widma
Skutkiem ubocznym okienkowania są przecieki widma (listki boczne) Poprzez zastosowanie okna o wartościach bliskich 0 na brzegach przedziału [0, N] możemy zmniejszyć wysokość listków bocznych – kosztem poszerzenia listka głównego i rozmycia prążków widma (pogorszenie rozdzielczości) As the main lobe narrows and spectral resolution improves, the window energy spreads into its side lobes, increasing spectral leakage and decreasing amplitude accuracy A trade-off between amplitude accuracy and spectral resolution

35 Funkcje okienkowe

36 Funkcje okienkowe Stopband attenuation of different windows (Wikipedia) 36

37 Przykład analizy klarnet, dźwięk c2, 523.3 Hz

38 Analiza dźwięku w czasie
ewolucja barwy dźwięku w czasie [kHz] [s] sonogram – dźwięk trąbki, c2 (523.3 Hz)

39 Analiza dźwięku w czasie
Wykres perspektywiczny, skrzypce wibrato (440 Hz) pizzicato 39

40 Porównanie analizy Fouriera i falkowej dźwięku

41 Analiza obrazu Transformacje dwuwymiarowe
Najważniejsze metody analizy: Transformacja Fouriera Transformacja cosinusowa Analiza falkowa

42 Dyskretna Transformata Fouriera (DFT)
Dla obrazu I o wymiarach transformata dla piksela (x,y) obliczana jest ze wzoru gdzie I(x,y) – liczba oznaczająca atrybut piksela (np. RGB) przejście do dziedziny częstotliwości przestrzennej

43 Dyskretna Transformata Cosinusowa (DCT)
Zarówno DFT, jak i DCT są w pełni odwracalne Bloki bazowe DCT (C00 – DC, reszta – AC) Współczynniki kombinacji liniowej bloków bazowych DCT to współczynniki DCT Biały – dodatnie, czarny - ujemne 43

44 Częstotliwość przestrzenna
Wpływ częstotliwości próbkowania na odbiór obrazu:

45

46 Literatura WIECZORKOWSKA, A., Multimedia. Podstawy teoretyczne i zastosowania praktyczne. Wydawnictwo PJWSTK, 2008

47 Literatura AES Conventions, preprints
De POLI G., PICCIALLI A., ROADS C. (ed.), Representations of Musical Signals, MIT Press, Cambridge, Massachusetts, 1991 GABOR D., Theory of Communication, Abstract, Internet: published in: J. IEE (London), 1946, November, Vol. 93, Part III, No. 26, pp IEEE IFEACHOR E. C., JERVIS B. W., Digital signal processing: a practical approach, Addison–Wesley Publishing Co., Wokingham, England, 1995. OPPENHEIM A. V., SCHAFER R. W., Cyfrowe przetwarzanie sygnałów, Wydawnictwa Komunikacji i Łączności, Warszawa 1979 SMITH J. O., WOJTKIEWICZ A., Elementy syntezy filtrów cyfrowych, Wydawnictwa Naukowo-Techniczne, Warszawa 1984. WOLFRAM RESEARCH, Mathematica, Wavelet Explorer, Wolfram Research, Champaign, Illinois, 1996