Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu Wstęp do Multimediów Wykład 4 Cyfrowe przetwarzanie sygnałów. Analiza dźwięku i obrazu

Cyfrowe przetwarzanie sygnałów Pojęcie wskazu Filtry cyfrowe

Pojęcie wskazu Liczby zespolone doskonale nadają się do opisu pewnych właściwości układów i sygnałów - stąd powszechność wykorzystywania liczb i operacji zespolonych Wskaz jest zespoloną reprezentacją jakiejś wielkości, np. wartości chwilowej (zmiennej w czasie) sygnału w jakimś punkcie systemu wskaz x(t) -> postać algebraiczna: x(t)=a·cos(t)+j·b·sin(t) zwykle:  - ma interpretację pulsacji (częstotliwości kątowej)

Pojęcie wskazu Postać wykładnicza (biegunowa): x(t)=M · exp(j ·C) · exp(t) M – moduł, - ma interpretację amplitudy sygnału C - to tzw. faza początkowa = arctg(b/a) - w tym zapisie wyrażona w radianach Graficzna interpretacja postaci wykładniczej, to wektor w przestrzeni (Re, Im), zaczepiony w punkcie (0, j·0), o końcu w punkcie (a,b) i długości równej M W rzeczywistych układach i systemach, tzn. takich jakie się najczęściej stosuje w praktyce, sygnały są rzeczywiste, tzn. musi być spełniony warunek: a  b

Filtry cyfrowe Na wejście filtru podawany jest ciąg x(n), na wyjściu otrzymujemy ciąg y(n) Odpowiedź impulsowa filtru - ciąg h(n) otrzymany jako odpowiedź filtru na pobudzenie impulsem jednostkowym (n) w chwili n k=0 filtr przyczynowy Filtry FIR: o skończonej odpowiedzi impulsowej IIR: o nieskończonej odpowiedzi impulsowej

Filtry cyfrowe Transmitancja filtru (charakterystyka częstotliwościowa) – transformata Fouriera odpowiedzi impulsowej filtru Pasmo 3dB - pasmo pomiędzy 2 granicznymi wartościami częstotliwości (np.: fg i fd, fg>=fd), dla których moc sygnału spada o połowę (pasmo przenoszenia spada o 3dB) W przełożeniu na transmitancję, H(f), interpretacja pasma 3dB jest następująca: moc jest proporcjonalna do kwadratu amplitudy sygnału harmonicznego, a zatem moc spada o połowę gdy amplituda sygnału spada o

Filtry stosowane w przetwarzaniu sygnałów Górnoprzepustowy Dolnoprzepustowy Pasmowoprzepustowy Pasmowozaporowy Grzebieniowy Wszechprzepustowy korektor fazy

Filtry stosowane w przetwarzaniu sygnałów źródło: http://server.eletel.p.lodz.pl/~materka/ps5.pdf http://www.eletel.p.lodz.pl/~makowski/old_html/ps5.pdf

Dźwięk cyfrowy voice.wav

Dźwięk cyfrowy voice.wav

Dźwięk cyfrowy voice.wav

Częstotliwość próbkowania (gęstość próbkowania) Rozdzielczość binarna Dźwięk cyfrowy Sygnał schodkowy Przechodzi przez filtr wygładzający Częstotliwość próbkowania (gęstość próbkowania) Rozdzielczość binarna

Dźwięk cyfrowy Częstotliwość Przykłady dźwiękowe Zakres słyszalności ucha ludzkiego: 16-20000Hz Przykłady dźwiękowe Tony Szumy Przykłady częstotliwości – wysokość dźwięku: 50 Hz, 100 Hz, 1 kHz, 10 kHz

Analiza dźwięku Analiza widmowa: Okienkowanie sygnału FFT Analiza falkowa Okienkowanie sygnału

Analiza dźwięku Analiza widmowa, pozwala określić skład widmowy dźwięku Podstawowe metody analizy widmowej transformata Fouriera analiza falkowa, pozwalająca na jednoczesną analizę czasowo-częstotliwościową, filtracyjne metody określania składu widmowego dźwięku

Sin (http://www-ccrma.stanford.edu/~jos/mdft/FFT_Simple_Sinusoid.html)

Suma 3 sinusoid: postać czasowa, widmo

Suma 3 sinusoid: sonogram (zmiany widma w czasie)

Fizyczne charakterystyki dźwięków

Fizyczne charakterystyki dźwięków Fala trójkątna Fala piłokształtna

Fizyczne charakterystyki dźwięków Fala piłokształtna (do góry) Szum brązowy

Sygnały nieharmoniczne Częstotliwości składowe nie są wielokrotnościami częstotliwości podstawowej Np. 650, 950, i 1250 Hz; wysokość 334Hz Stosunki między składowymi: 1,95, 2,84, i 3,74 http://www.cise.ufl.edu/~acamacho/publications/Object1-7.Inharmonic_signal.wav

Transformacja Fouriera Transformata Fouriera F(j) sygnału ciągłego f(t): gdzie t – czas ciągły Transformacja przekształca dziedzinę czasu w dziedzinę widma

Odwrotna transformacja Fouriera Możliwe jest przekształcenie odwrotne, tj. przejście z dziedziny widma w dziedzinę czasu Odwrotna transformata Fouriera dla sygnału ciągłego:

Dyskretna transformacja Fouriera W nagraniach cyfrowych dziedzina czasu zostaje poddana dyskretyzacji Zamiast ciągłej funkcji f(t) otrzymuje się sygnał {x(nT)}, gdzie T – okres próbkowania Zależność między ciągłą a dyskretną transformatą Fouriera:

Dyskretna transformacja Fouriera Dyskretna transformata Fouriera X(k) dla okna czasowego o długości N definiowana jest na ciągu próbek x(0), …, x((N–1)T): gdzie  =2/NT Odwrotna dyskretna transformacja Fouriera:

Szybka transformacja Fouriera Dla ciągu próbek o długości 2n opracowano szybki algorytm wyznaczania transformaty Fouriera (Fast Fourier Transform) Aby skorzystać z tego algorytmu, stosowane jest uzupełnianie ciągu próbek do najbliższej potęgi dwójki (zeropadding)

Własności transformacji Fouriera Operacji mnożenia w dziedzinie czasu odpowiada splot transformat w dziedzinie widma:

Efekty uboczne próbkowania sygnału Ponieważ mnożenie w dziedzinie czasu odpowiada splotowi w dziedzinie częstotliwości, otrzymujemy repliki widma w DFT spróbkowanego sygnału Aby uniknąć aliasingu (nakładania replik widma), należy usunąć z sygnału częstotliwości powyżej częstotliwości Nyquista fN=1/2fp (fp – częstotliwość próbkowania) Twierdzenie o próbkowaniu - sformułowane niezależnie przez co najmniej 4 naukowców: Whittaker, Shannon, Kotelnikov, Nyquist JAES vol. 58 no.1/2 2010 p.75

Twierdzenie o próbkowaniu: Warunek Nyquista Twierdzenie o próbkowaniu: Sygnał ciągły może być ponownie wiernie odtworzony z sygnału dyskretnego, jeśli był próbkowany z częstotliwością co najmniej dwa razy większą od granicznej częstotliwości swego widma (warunek Nyquista) http://pl.wikipedia.org/wiki/Twierdzenie_Kotielnikowa-Shannona 30

Aliasing w obrazie ruchomym http://ptolemy.eecs.berkeley.edu/eecs20/week13/moire.html; forums/adobe/com Aliasing powoduje pojawienie się wzorów/częstotliwości których nie było w oryginalnym obrazie Aliasing w obrazie ruchomym

Okienkowanie sygnału Ponieważ dyskretna transformacja Fouriera operuje na danych dyskretnych i o skończonej długości, otrzymany wynik różni się od transformaty ciągłej Dla różnych długości analizowanej ramki otrzymuje się różne wyniki analiz Wybranie fragmentu danych o długości N oznacza, że sygnał na tym odcinku został przemnożony przez 1, zaś na pozostałych przez 0 Jest to równoważne przemnożeniu sygnału przez sygnał prostokątny o szerokości N i wysokości 1

Okienkowanie sygnału Operację tę nazywamy okienkowaniem Operację okienkowania można zapisać jako: v(n) = w(n) · s(n) gdzie: s(n) – sygnał wejściowy, v(n) – sygnał wynikowy otrzymany poprzez okienkowanie, w(n) – funkcja okna

Okienkowanie i przecieki widma Skutkiem ubocznym okienkowania są przecieki widma (listki boczne) Poprzez zastosowanie okna o wartościach bliskich 0 na brzegach przedziału [0, N] możemy zmniejszyć wysokość listków bocznych – kosztem poszerzenia listka głównego i rozmycia prążków widma (pogorszenie rozdzielczości) As the main lobe narrows and spectral resolution improves, the window energy spreads into its side lobes, increasing spectral leakage and decreasing amplitude accuracy A trade-off between amplitude accuracy and spectral resolution

Funkcje okienkowe

Funkcje okienkowe Stopband attenuation of different windows (Wikipedia) 36

Przykład analizy klarnet, dźwięk c2, 523.3 Hz

Analiza dźwięku w czasie ewolucja barwy dźwięku w czasie [kHz] [s] sonogram – dźwięk trąbki, c2 (523.3 Hz)

Analiza dźwięku w czasie Wykres perspektywiczny, skrzypce wibrato (440 Hz) pizzicato 39

Porównanie analizy Fouriera i falkowej dźwięku

Analiza obrazu Transformacje dwuwymiarowe Najważniejsze metody analizy: Transformacja Fouriera Transformacja cosinusowa Analiza falkowa

Dyskretna Transformata Fouriera (DFT) Dla obrazu I o wymiarach transformata dla piksela (x,y) obliczana jest ze wzoru gdzie I(x,y) – liczba oznaczająca atrybut piksela (np. RGB) przejście do dziedziny częstotliwości przestrzennej

Dyskretna Transformata Cosinusowa (DCT) Zarówno DFT, jak i DCT są w pełni odwracalne Bloki bazowe DCT (C00 – DC, reszta – AC) Współczynniki kombinacji liniowej bloków bazowych DCT to współczynniki DCT Biały – dodatnie, czarny - ujemne 43

Częstotliwość przestrzenna Wpływ częstotliwości próbkowania na odbiór obrazu:

Literatura WIECZORKOWSKA, A., Multimedia. Podstawy teoretyczne i zastosowania praktyczne. Wydawnictwo PJWSTK, 2008

Literatura AES Conventions, preprints De POLI G., PICCIALLI A., ROADS C. (ed.), Representations of Musical Signals, MIT Press, Cambridge, Massachusetts, 1991 GABOR D., Theory of Communication, Abstract, Internet: http://tyche.mat.univie.ac.at/gabor/archive/abstracts/1946/gab1_46.html, published in: J. IEE (London), 1946, November, Vol. 93, Part III, No. 26, pp. 429-457 IEEE IFEACHOR E. C., JERVIS B. W., Digital signal processing: a practical approach, Addison–Wesley Publishing Co., Wokingham, England, 1995. http://www.opendictionary.org OPPENHEIM A. V., SCHAFER R. W., Cyfrowe przetwarzanie sygnałów, Wydawnictwa Komunikacji i Łączności, Warszawa 1979 SMITH J. O., http://www-ccrma.stanford.edu/~jos/GlobalJOSIndex.html http://www-ccrma.stanford.edu/~jos/mdft/mdft.html WOJTKIEWICZ A., Elementy syntezy filtrów cyfrowych, Wydawnictwa Naukowo-Techniczne, Warszawa 1984. WOLFRAM RESEARCH, Mathematica, Wavelet Explorer, Wolfram Research, Champaign, Illinois, 1996