Metody syntezy dźwięku

Prezentacja na temat: "Metody syntezy dźwięku"— Zapis prezentacji:

1 Metody syntezy dźwięku
Sławomir K. Zieliński Politechnika Gdańska Wydział Elektroniki, Telekomunikacji i Informatyki Katedra Inżynierii Dźwięku

2 zastosowanie syntezy dźwięku
wprowadzenie zastosowanie syntezy dźwięku elektroniczne instrumenty muzyczne komputerowe karty dźwiękowe systemy multime-dialne systemy telekomunika-cyjne

3 metody syntezy dźwięku
wprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne

4 wprowadzenie - schemat syntetyzera

5 główne elementy torów syntezy:
wprowadzenie główne elementy torów syntezy: EG (ang. Envelope Generator) - generator obwiedni LFO (ang. Low Frequency Oscillator) generator wolnych przebiegów - VCA - (ang. Voltage Controlled Amplifier) wzmacniacz sterowany napięciowo VCF - (ang. Voltage Controlled Filter) - filtr sterowany napięciowo

6 wprowadzenie - obwiednia dźwięku

7 rodzaje syntetyzerów:
wprowadzenie rodzaje syntetyzerów: polifoniczne monofoniczne jednobrzbieniowe wielobrzmieniowe (ang. multitimbral)

8 metody syntezy dźwięku
wprowadzenie metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne sampling metoda tablicowa

9 przetwarzanie zapisu - schemat samplera

10 przetwarzanie zapisu Jaka różnica? syntetyzer tablicowy sampler syntetyzer tablicowy = sampler bez możliwości nagrywania dźwięków i ich edycji

11 przetwarzanie zapisu zaleta: wysoka wierność brzmień wady: wymagane duże pojemności pamięci małe możliwości artykulacyjne

12 metody syntezy dźwięku
plan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda subtraktywna metoda addytywna

13 metody widmowe - metoda subtraktywna

14 metody widmowe - metoda subtraktywna

15 metody widmowe - metoda subtraktywna
ak i br - współczynniki filtru, u(n) - wymuszenie (ciąg innowacji), x(n) - n-ta próbka sygnału syntetycznego, G - wzmocnienie filtru.

16 metody widmowe - metoda subtraktywna

17 metody widmowe - metoda subtraktywna
zalety: mała złożoność obliczeniowa interesujące brzmienia możliwość zastosowania do syntezy mowy wady: niezadowalająca wierność brzmień

18 metody widmowe - metoda addytywna

19 metody widmowe - metoda addytywna

20 metody widmowe - metoda addytywna
x(n) - sygnał syntetyczny w chwili „nT” T  okres próbkowania Ak(n) - wartość amplitudy n-tej próbki k-tej składowej, pojawiającej się z okresem T, 2 nTFk(n) - nieliniowa poprawka fazy, M - liczba składowych, 1 - pulsacja składowej podstawowej

21 metody widmowe - metoda addytywna

22 metody widmowe - metoda addytywna
PV ang. Phase Vocoder fn = nf1 MQ McAulay i Quatieri fn nie musi być = nf1

23 sposoby kompresji danych:
metody widmowe - metoda addytywna sposoby kompresji danych: aproksymacja łamanymi synteza addytywna grupowa

24 metody widmowe - metoda addytywna grupowa

25 metody widmowe - metoda addytywna
efekty dodatkowe: kompresja lub ekspansja czasowa dźwięku transpozycja dźwięku redukcja szumu

26 metody widmowe - metoda addytywna
zaleta: wysoka wierność brzmienia wady: duża złożoność obliczeniowa trudność w doborze widm bazowych (w przypadku metody addytywnej grupowej)

27 metody syntezy dźwięku
plan wykładu metody syntezy dźwięku przetwarzanie zapisu metody widmowe algorytmy abstrakcyjne modelowanie fizyczne FM metoda przekształcania fali algorytmy oparte na zjawiskach chaosu

28 częstotliwość modulująca
algorytmy abstrakcyjne - FM amplituda częstotliwość nośna okres próbkowania częstotliwość modulująca indeks modulacji

29 algorytmy abstrakcyjne - FM

30 algorytmy abstrakcyjne - FM

31 Jn - funkcja Bessela n-tego rzędu
algorytmy abstrakcyjne - FM Jn - funkcja Bessela n-tego rzędu

32 algorytmy abstrakcyjne - FM

33 algorytmy abstrakcyjne - FM
zaleta: mała złożoność obliczeniowa wady: zła wierność brzmienia trudność w doborze parametrów

34 algorytmy abstrakcyjne - przekształcanie fali

35 algorytmy abstrakcyjne - przekształcanie fali

36 wielomiany Czebyszewa:
algorytmy abstrakcyjne - przekształcanie fali wielomiany Czebyszewa: własność:

37 algorytmy abstrakcyjne - przekształcanie fali
Widmo dźwięku fagotu o wysokości a1 (440 Hz) w stanie quasi-ustalonym: (a) dźwięk oryginalny; (b) dźwięk syntetyczny uzyskany metodą przekształcania fali. Podczas syntezy uwzględniono dwadzieścia harmonicznych

38 algorytmy abstrakcyjne - przekształcanie fali

39 algorytmy abstrakcyjne - przekształcanie fali
zaleta: mała złożoność obliczeniowa możliwość analitycznego obliczenia funkcji przekształcającej wada: trudność generacji widma ewolucyjnego trudność generacji widma nieharmonicznego

40 algorytmy abstrakcyjne - fraktale
funkcja Weierstrassa: samopodobieństwo gdy M  ,   to a więc

41 algorytmy abstrakcyjne - fraktale
Przykład niezmienności fraktali: (a) wykres oryginalnej funkcji Weierstrassa w(t); (b) wykres przeskalowanej funkcji Weierstrassa w(t / 2). Jak widać, wykresy te są jakościowo podobne do siebie. Ze względu na ich podobieństwo, słuchowo percypowana wysokość dźwięku jest taka sama, natomiast występuje nieznaczna różnica brzmienia. W przypadku klasycznych funkcji dźwięki te różniłyby się o oktawę, tzn. dźwięk reprezentowany na wykresie dolnym byłby oktawę niższy. Przy wykreślaniu powyższych funkcji oraz podczas syntezy dźwięku założono następujące parametry:  = 1,  = 2, M = 7. Ze względu na wykorzystanie funkcji Weierstrassa do syntezy dźwięku w obu przypadkach oryginalne równanie (8-9) dodatkowo przeskalowano o czynnik 2  f1, gdzie f1 = 50 Hz. Fraktale można z powodzeniem zastosować do generowania znanych z psychoakustyki tonów Sheparda i Risseta

42 algorytmy abstrakcyjne - fraktale
Widma dźwięków uzyskanych na podstawie funkcji wykreślonych na rys. 8-15: (a) funkcja Weierstrassa w(t); (b) przeskalowana funkcja Weierstrassa w(t / 2). Postrzegana słuchowo wysokość powyższych dźwięków jest taka sama, różnica występuje jedynie w ich barwie (dźwięk z rysunku (b) posiada barwę „ciemniejszą”)

43 algorytmy abstrakcyjne - fraktale
zaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

44 n - ta próbka generowanego sygnału
algorytmy abstrakcyjne - generatory chaotyczne współczynniki n - ta próbka generowanego sygnału

45 algorytmy abstrakcyjne - generatory chaotyczne
generator Chua

46 algorytmy abstrakcyjne - generatory chaotyczne
zaleta: oszczędność obliczeniowa wada: trudność identyfikacji parametrów mała wierność dźwięków

47 plan wykładu metody syntezy dźwięku przetwarzanie zapisu
metody widmowe algorytmy abstrakcyjne modelowanie fizyczne metoda matematyczna metoda falowodowa

48 modelowanie fizyczne - metoda matematyczna
instrument muzyczny model matematyczny dźwięk

49 modelowanie fizyczne - metoda matematyczna
instrument muzyczny model matematyczny dźwięk

50 modelowanie fizyczne - metoda matematyczna

51 modelowanie fizyczne - metoda matematyczna
zaleta: aspekt poznawczy możliwość efektywnego symulowania artykulacji wady: duża złożoność obliczeniowa mała wierność brzmień

52 modelowanie fizyczne - metoda falowodowa
ang. waveguide synthesis (waveguide modeling) J.O. Smith (Uniwersytet w Stanford) początek lat 90-tych duża popularność metody zastosowania w instrumentach i w komputerowych kartach dźwiękowych

53 modelowanie fizyczne - metoda falowodowa
równanie falowe: rozwiązanie ogólne: fale bieżące

54 modelowanie fizyczne - metoda falowodowa
fale bieżące po spróbkowaniu:

55 modelowanie fizyczne - metoda falowodowa

56 modelowanie fizyczne - metoda falowodowa
modelowanie sztywnych zakończeń

57 modelowanie fizyczne - metoda falowodowa
wypadkowe wychylenie struny (linia ciągła) fale bieżące (linie przerywane)

58 modelowanie fizyczne - metoda falowodowa
warunki początkowe (pobudzenie szarpnięciem oraz młoteczkiem)

59 modelowanie fizyczne - metoda falowodowa

60 modelowanie fizyczne - metoda falowodowa
model Karplusa - Stronga (KS)

61 modelowanie fizyczne - metoda falowodowa
model Karplusa - Stronga (KS) z filtrem wszechprzepustowym

62 modelowanie fizyczne - metoda falowodowa

63 modelowanie fizyczne - metoda falowodowa

64 modelowanie fizyczne - metoda falowodowa

65 model falowodowy

66 modelowanie fizyczne - metoda falowodowa
zaleta: możliwość efektywnego symulowania artykulacji oszczędność obliczeniowa wady: trudność opracowywania modeli mała wierność dźwięku w stanie ustalonym