Metody syntezy dźwięku Sławomir K. Zieliński Politechnika Gdańska Wydział Elektroniki, Telekomunikacji i Informatyki Katedra Inżynierii Dźwięku e-mail: slawek@sound.eti.pg.gda.pl

zastosowanie syntezy dźwięku wprowadzenie zastosowanie syntezy dźwięku elektroniczne instrumenty muzyczne komputerowe karty dźwiękowe systemy multime-dialne systemy telekomunika-cyjne

metody syntezy dźwięku wprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne

wprowadzenie - schemat syntetyzera

główne elementy torów syntezy: wprowadzenie główne elementy torów syntezy: EG (ang. Envelope Generator) - generator obwiedni LFO (ang. Low Frequency Oscillator) generator wolnych przebiegów - VCA - (ang. Voltage Controlled Amplifier) wzmacniacz sterowany napięciowo VCF - (ang. Voltage Controlled Filter) - filtr sterowany napięciowo

wprowadzenie - obwiednia dźwięku

rodzaje syntetyzerów: wprowadzenie rodzaje syntetyzerów: polifoniczne monofoniczne jednobrzbieniowe wielobrzmieniowe (ang. multitimbral)

metody syntezy dźwięku wprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne sampling metoda tablicowa

przetwarzanie zapisu - schemat samplera

przetwarzanie zapisu Jaka różnica? syntetyzer tablicowy sampler syntetyzer tablicowy = sampler bez możliwości nagrywania dźwięków i ich edycji

przetwarzanie zapisu zaleta: wysoka wierność brzmień wady: wymagane duże pojemności pamięci małe możliwości artykulacyjne

metody syntezy dźwięku plan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda subtraktywna metoda addytywna

metody widmowe - metoda subtraktywna

metody widmowe - metoda subtraktywna

metody widmowe - metoda subtraktywna ak i br - współczynniki filtru, u(n) - wymuszenie (ciąg innowacji), x(n) - n-ta próbka sygnału syntetycznego, G - wzmocnienie filtru.

metody widmowe - metoda subtraktywna

metody widmowe - metoda subtraktywna zalety: mała złożoność obliczeniowa interesujące brzmienia możliwość zastosowania do syntezy mowy wady: niezadowalająca wierność brzmień

metody widmowe - metoda addytywna

metody widmowe - metoda addytywna

metody widmowe - metoda addytywna x(n) - sygnał syntetyczny w chwili „nT” T - okres próbkowania Ak(n) - wartość amplitudy n-tej próbki k-tej składowej, pojawiającej się z okresem T, 2 nTFk(n) - nieliniowa poprawka fazy, M - liczba składowych, 1 - pulsacja składowej podstawowej

metody widmowe - metoda addytywna

metody widmowe - metoda addytywna PV ang. Phase Vocoder fn = nf1 MQ McAulay i Quatieri fn nie musi być = nf1

sposoby kompresji danych: metody widmowe - metoda addytywna sposoby kompresji danych: aproksymacja łamanymi synteza addytywna grupowa

metody widmowe - metoda addytywna grupowa

metody widmowe - metoda addytywna efekty dodatkowe: kompresja lub ekspansja czasowa dźwięku transpozycja dźwięku redukcja szumu

metody widmowe - metoda addytywna zaleta: wysoka wierność brzmienia wady: duża złożoność obliczeniowa trudność w doborze widm bazowych (w przypadku metody addytywnej grupowej)

metody syntezy dźwięku plan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne FM metoda przekształcania fali algorytmy oparte na zjawiskach chaosu

częstotliwość modulująca algorytmy abstrakcyjne - FM amplituda częstotliwość nośna okres próbkowania częstotliwość modulująca indeks modulacji

algorytmy abstrakcyjne - FM

algorytmy abstrakcyjne - FM

Jn - funkcja Bessela n-tego rzędu algorytmy abstrakcyjne - FM Jn - funkcja Bessela n-tego rzędu

algorytmy abstrakcyjne - FM

algorytmy abstrakcyjne - FM zaleta: mała złożoność obliczeniowa wady: zła wierność brzmienia trudność w doborze parametrów

algorytmy abstrakcyjne - przekształcanie fali

algorytmy abstrakcyjne - przekształcanie fali

wielomiany Czebyszewa: algorytmy abstrakcyjne - przekształcanie fali wielomiany Czebyszewa: własność:

algorytmy abstrakcyjne - przekształcanie fali Widmo dźwięku fagotu o wysokości a1 (440 Hz) w stanie quasi-ustalonym: (a) dźwięk oryginalny; (b) dźwięk syntetyczny uzyskany metodą przekształcania fali. Podczas syntezy uwzględniono dwadzieścia harmonicznych

algorytmy abstrakcyjne - przekształcanie fali

algorytmy abstrakcyjne - przekształcanie fali zaleta: mała złożoność obliczeniowa możliwość analitycznego obliczenia funkcji przekształcającej wada: trudność generacji widma ewolucyjnego trudność generacji widma nieharmonicznego

algorytmy abstrakcyjne - fraktale funkcja Weierstrassa: samopodobieństwo gdy M  ,   to a więc

algorytmy abstrakcyjne - fraktale Przykład niezmienności fraktali: (a) wykres oryginalnej funkcji Weierstrassa w(t); (b) wykres przeskalowanej funkcji Weierstrassa w(t / 2). Jak widać, wykresy te są jakościowo podobne do siebie. Ze względu na ich podobieństwo, słuchowo percypowana wysokość dźwięku jest taka sama, natomiast występuje nieznaczna różnica brzmienia. W przypadku klasycznych funkcji dźwięki te różniłyby się o oktawę, tzn. dźwięk reprezentowany na wykresie dolnym byłby oktawę niższy. Przy wykreślaniu powyższych funkcji oraz podczas syntezy dźwięku założono następujące parametry:  = 1,  = 2, M = 7. Ze względu na wykorzystanie funkcji Weierstrassa do syntezy dźwięku w obu przypadkach oryginalne równanie (8-9) dodatkowo przeskalowano o czynnik 2  f1, gdzie f1 = 50 Hz. Fraktale można z powodzeniem zastosować do generowania znanych z psychoakustyki tonów Sheparda i Risseta

algorytmy abstrakcyjne - fraktale Widma dźwięków uzyskanych na podstawie funkcji wykreślonych na rys. 8-15: (a) funkcja Weierstrassa w(t); (b) przeskalowana funkcja Weierstrassa w(t / 2). Postrzegana słuchowo wysokość powyższych dźwięków jest taka sama, różnica występuje jedynie w ich barwie (dźwięk z rysunku (b) posiada barwę „ciemniejszą”)

algorytmy abstrakcyjne - fraktale zaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

n - ta próbka generowanego sygnału algorytmy abstrakcyjne - generatory chaotyczne współczynniki n - ta próbka generowanego sygnału

algorytmy abstrakcyjne - generatory chaotyczne generator Chua

algorytmy abstrakcyjne - generatory chaotyczne zaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

plan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda matematyczna metoda falowodowa

modelowanie fizyczne - metoda matematyczna instrument muzyczny model matematyczny dźwięk

modelowanie fizyczne - metoda matematyczna instrument muzyczny model matematyczny dźwięk

modelowanie fizyczne - metoda matematyczna

modelowanie fizyczne - metoda matematyczna zaleta: aspekt poznawczy możliwość efektywnego symulowania artykulacji wady: duża złożoność obliczeniowa mała wierność brzmień

modelowanie fizyczne - metoda falowodowa ang. waveguide synthesis (waveguide modeling) J.O. Smith (Uniwersytet w Stanford) początek lat 90-tych duża popularność metody zastosowania w instrumentach i w komputerowych kartach dźwiękowych

modelowanie fizyczne - metoda falowodowa równanie falowe: rozwiązanie ogólne: fale bieżące

modelowanie fizyczne - metoda falowodowa fale bieżące po spróbkowaniu:

modelowanie fizyczne - metoda falowodowa

modelowanie fizyczne - metoda falowodowa modelowanie sztywnych zakończeń

modelowanie fizyczne - metoda falowodowa wypadkowe wychylenie struny (linia ciągła) fale bieżące (linie przerywane)

modelowanie fizyczne - metoda falowodowa warunki początkowe (pobudzenie szarpnięciem oraz młoteczkiem)

modelowanie fizyczne - metoda falowodowa

modelowanie fizyczne - metoda falowodowa model Karplusa - Stronga (KS)

modelowanie fizyczne - metoda falowodowa model Karplusa - Stronga (KS) z filtrem wszechprzepustowym

modelowanie fizyczne - metoda falowodowa

modelowanie fizyczne - metoda falowodowa

modelowanie fizyczne - metoda falowodowa

model falowodowy

modelowanie fizyczne - metoda falowodowa zaleta: możliwość efektywnego symulowania artykulacji oszczędność obliczeniowa wady: trudność opracowywania modeli mała wierność dźwięku w stanie ustalonym