Ryszard Gubrynowicz Ryszard.Gubrynowicz@pjwstk.edu.pl Dwięk w multimediach Ryszard Gubrynowicz Ryszard.Gubrynowicz@pjwstk.edu.pl Wykład 7
Jak stany emocjonalne znajdują swoje odbicie w mowie ?
Interpretacja aktorska happy sad angry interested bored
Funkcje emocjonalne cech prozodycznych Słuchacz na ogół kontroluje w wypowiedzi swój stan emocjonalny. W jego wyrażeniu posługuje się przede wszystkim tempem mówienia, głośnością, wprowadzaniem dodatkowych pauz, przedłużaniem niektórych dźwięków, a także modulowaniem melodii. W wypowiedziach nacechowanych emocjonalnie wahania melodii są znacznie większe, niż w wypowiedziach o charakterze neutralnym. Neutralne – 3-4 tony, z dużym ładunkiem emocjonalnym - > 1 oktawy.
Przykład opozycji szczęśliwy – smutny w konturze melodycznym
Przykład opozycji szczęśliwy – gniewny w konturze melodycznym
Przykład z dialogu typu HMIHY – How may I help you ? Very Frustrated Somewhat Frustrated
Trudności w określaniu emocji Nadanie wypowiedzi określonego typu emocji jest zadaniem bardzo złożonym. Osoby określające typ wypowiedzi pod względem emocji rzadko są zgodne w swych ocenach, z wyjątkiem krańcowych, lub wyraźnie kontrastowych typów emocji Słuchacze w swojej ocenie głównie opierają się na cechach prozodycznych, zwłaszcza na iloczasach i stylizowanym przebiegu F0.
Interkorelacje między emocjami Emotion sad angry bored frust anxs friend conf happy inter encour 0.44 0.26 0.22 -0.27 -0.32 -0.42 -0.33 0.70 0.21 -0.41 -0.37 -0.09 0.14 -0.14 -0.28 -0.17 frustrated 0.32 -0.43 -0.47 -0.16 -0.39 anxious -0.25 friendly 0.77 0.59 0.75 confident 0.45 0.51 0.58 0.73 interested 0.62 encouraging (p < 0.001)
Cechy emocji w sygnale mowy Prozodia nie uwzględnia jakości głosu, która może również nieść informację o stanie emocjonalnym osoby mówiącej (chrypka, krzyk, szept itp.) czy stylu mówienia (hyperartykulacja, wstawianie wydłużonych pauz…) Wydaje się, że cechy akustyczne emocji mogą być specyficzne dla języka Trudności w jednoznacznym określaniu emocji w sygnale mowy – często niesie równolegle szereg emocji jednocześnie, o podobnym charakterze
Emocje w płaszczyźnie subiektywnej
Emocje kontrastowe w płaszczyźnie akustycznej Strach/złość zwiększona prędkość i głośność wypowiedzi podwyższone F0 zwiększony zakres F0 zaburzony rytm mowy dokładniejsza artykulacja zwiększona energia w zakresie wyższych częstotliwości Smutek/odprężenie zmniejszona prędkość i głośność wypowiedzi obniżone F0 zmniejszony zakres F0 wyrównany rytm mowy, płynna mowa niedokładna artykulacja obniżona energia w zakresie wyższych częstotliwości
Miary akustyczne emocji F0: zakres zmian, wartość średnia, nachylenie konturu (w górę/w dół), kształt konturu na sylabach akcentowanych Struktura harmoniczna sygnału: udział szumów przydechowych, laryngalizacja (zwężone impulsy krtaniowe, duża zmienność okresu tonu krtaniowego) Jasność brzmienia: stosunek energii w górnym zakresie częstotliwości do energii w dolnym zakresie Głośność: zakres zmian, wartość średnia, kontur, plozji Iloczasy: pauz, wyrazów, samogłoska/spółgłoska,
Wpływ emocji na głos i mowę
Cechy mowy emocjonalnej
Udział cech mowy w detekcji stanu emocjonalnego - radość Dla języka niemieckiego F0śred :+50% Zakres zmian F0 :+100% Tempo : +30% Jakość głosu = normalny lub napięty, wskaźnik rozchylenia warg F1/F2:+10%
Cechy istotne w detekcji stanu emocjonalnego – złość Dla języka BE F0śred :+10 Hz Zakres zmian F0 : 9 półtonów Zmiana tempa mowy: +30 słów/min Głośność: +6 dB Jakość głosu: laryngalizacja (+78%) Inne: wzrost F0 na akcentowanych sylabach zależnie od stopnia emocji - 10,20 i 40% (podkreślona)
Cechy istotne w detekcji stanu emocjonalnego – smutek Wg skali oceny subiektywnej – język AE F0śred : „0” linia odniesienia - „-1”, końcowe obniżenie, co najmniej „-5” Zakres zmian F0 : „-1 -5” Zmiana tempa mowy : „-10”, pauzy niezbyt długie „+5”, wahania (pauzy) „+10” Głośność: „-5” Jakość głosu: przydechowy „+10”, jasność „-9” Inne: podniesienie częstotliwości na sylabie akcentowanej „+1”, dokładność artykulacji „-5”
Cechy istotne w detekcji stanu emocjonalnego – zdziwienie Wg skali oceny subiektywnej – język AE F0śred : „0” linia odniesienia - „-8” Zakres zmian F0 : „+8”, skokowe zmiany konturu melodycznego Zmiana tempa mowy : „+4”, pauzy wydłużone „-510” Głośność: „+5” Jakość głosu: jasność „-3”
Ranking cech akustycznych emocji SFFS- Sekwencyjna selekcja podzbioru cech Cecha akustyczna SFFS-Rank Single Perf. F0, maksymalne nachylenie 1 31.5 FO, standardowe odchylenie odległości między przeciwstawnymi sobie punktami 2 23.0 F0, wartość średnia 3 25.6 Sygnał, gęstość przejść przez zero 4 16.9 F0, odchylenie standardowe 5 27.6 Iloczas pauz, wartość średnia 6 17.5 Iloczas głosek dźwięcznych, wartość średnia 7 18.5 Energia, średnia czasu opadania 8 17.8 Energia, średnia odległość między przeciwstawnymi sobie punktami 9 19.0 Energia, średnia czasu narastania 10 17.6
Synteza mowy emocjonalnej http://emosamples.syntheticspeech.de/#big4
Mechanizm percepcji dźwięków
Układ akustyczny odbiornik - ośrodek - źródło Trzy zasadnicze działy tematyczne będące przedmiotem wykładów DSM: akustyka mowy (z podstawami akustyki), propagacja dźwięku w otoczeniu (ośrodku), budowa narządu słuchu i percepcja dźwięku.
Narząd słuchu W systemie percepcji dźwięków można wyróżnić 2 zasadnicze – układ peryferyjny słuchu i układ nerwowy tego narządu poprzez który dokonywane jest przetwarzanie bodźców na wyższych piętrach układu nerwowego (w mózgu). W narządzie słuchu dokonywane jest przetwarzanie zmian ciśnienia akustycznego na rozkład drgań na błonie podstawnej, który jest przekształcany na odpowiednie serie impulsów pobudzających nerw słuchowy. Informacje o odbieranych sygnałach docierających do narządu słuch są ekstrahowane na różnych poziomach układu nerwowego.
Anatomia narządu słuchu
Zasadnicze elementy narządu słuchu
Schemat funkcjonalny organu słuchu
Charakterystyka częstotliwościowa ucha zewnętrznego Charakterystyka małżowiny – kąt 450
Ucho środkowe (przekrój) 1 – młoteczek 2 – kowadełko 3 – strzemiączko 4 – błona bębenkowa 5 – okienko okrągłe 6 – trąbka Eustachiusza (łączy z częścią gardłowo-nosową)
Ucho środkowe (od wewnątrz) 1 – młoteczek, 2 – jego ścięgno 3 – kowadełko, 4 – jego ścięgno 6 – stopa strzemiączka, 5 – mięsień strzemiączka 7 – błona bębenkowa Układ kosteczek słuchowych (1,3,6) jest układem mechanicznym dopasowującym drgania w powietrzu do drgań w płynie którym jest wypełnione ucho wewnętrzne. Bez tego układu 98% energii akustycznej uległoby odbiciu.
Funkcje kosteczek słuchowych swoistego rodzaju układ przekładni mechanicznej dopasowujący drgania w powietrzu do drgań w cieczy. Zamienia duży ruch tłoka o dużej powierzchni (błona bębenkowa) na mały ruch tłoka o małej powierzchni (podstawa strzemiączka w okienku owalnym). Wzmocnienie siły wynosi 27 razy. Transmisja dźwięków jest najskuteczniejsza w przedziale częstotliwości 500-4000 Hz. układ zabezpieczający – powyżej 90 dB(<1-2 kHz), następuje wzrost napięcia mięśni usztywniających układ kosteczek, w wyniku czego następuje ograniczenie przepływu energii akustycznej (odruch strzemiączkowy). Odruch ten jest zbyt wolny by chronić ucho przed hałasem impulsowym, np. wystrzał z broni palnej, gwałtowne pęknięcie ABS.
Jak działa ucho środkowe ? Niska częstotliwość fali docierającej do ucha Wysoka częstotliwość fali docierającej do ucha Strzemiączko jest tłokiem umieszczonym w ścianie kostnej ucha wewnętrznego (w okienku owalnym). Tłok pobudza do drgań nieściśliwą ciecz wypełniającą przestrzenie ucha wewnętrznego.
Praca układu kosteczek ucha środkowego
Wzmocnienie w uchu środkowym Występują tu dwa efekty – efekt wzmocnienia tłokowego (S1 /S2 ) ≈ 20 . S1 = 0.6 cm2 Efekt dźwigni (kosteczki) - d1/d2=1.3 Łączne wzmocnienie = 26 (28 dB)
Charakterystyka transmitancji ucha środkowego
Funkcje transmitancji ucha zewnętrznego i środkowego Zewnętrzny przewód słuchowy (o długości 2-3 cm, średnica 1 cm) ma skomplikowaną geometrię, co powoduje, że w jego charakterystyce transmitancji występuje szereg rezonansów (ok. 6) w zakresie od 3 do 12 kHz. Małżowina uszna wspomaga kierunkowe słyszenie dźwięków. Funkcja transmitancji ucha środkowego ma jeden dominujący rezonans w pobliżu 1 kHz. Razem, obie części narządu słuchu kształtują częstotliwościową charakterystykę czułości słuchu z szerokim maksimum położonym w pobliżu 3 kHz.
Porównanie charakterystyki czułości słuchu z łączną charakterystyką ucha zewnętrznego i środkowego Ucho wewnętrzne działa jak swoistego rodzaju detektor poziomu o stałym poziomie detekcji
Budowa ślimaka 1 – kanał ślimakowy, 2 – schody przedsionka 3 – schody bębenka, 4 – zwój nerwowy 5 – nerw słuchowy 5 mm Ślimak płodu (5 mies) – 2,5 zwojów o – okienko owalne, r – okienko okrągłe (struktura kostna usunięta)
The organ of Corti Compte aquesta ampliació: està al revés que la de la pantalla anterior!! Al clicar sobre la membrana tectòria surt el text Al clicar sobre la membrana basilar surt el text i la diapo següent Al clicar sobre les cèl.lules ciliades (en groc) apareix la diapo 4. Basilar membrane: it moves according to the pressure wave induced by the movement of the eardrum on the oval window Auditory nerve axons VIII cranial nerve
Hair cells Two groups of hair cells: 1 row of Inner Hair Cells (IHC)and 3 rows of Outer Hair Cells (OHC) Hair cells have stereocilia or “hairs” at their top. Their height increases progressively along the cell. The longest is called “kinocilium” AL clicar en les cèl.lules del dibuixet de l’organ de corti surtirà la part del mig amb les cèl.lules ampliades Al clicar a les internes o externes, surt el text d’abaix amb la funció Quan es cliqui a sobre de qualsevol cili (els pèls): pantalla següent inner outer IHC connect to 90-95% of afferent auditory fibers OHC are mostly efferent: top-down information modulates their response
1. Movement of basilar membrane Dynamics of hair cells 2. Hair cell movement: increasing tension opens the ionic channels in the hair cells. An ionic exchange happens 1. Movement of basilar membrane 3. Receptor potential. Depolarization because of the entry of Potassium ions (K+) and subsequent entry of Calcium ions (Ca++) Anar afegint cada pas. El dels canals de K+ ha ser sortir després del pas 3. Després del punt 4, sortirà en detall en la següent pantalla 4. Synaptic vesicles release a neurotransmitter (glutamate), triggering the nervous impulse
Długość membrany podstawnej – ~35mm Pobudzanie ślimaka Długość membrany podstawnej – ~35mm
Drgania membrany podstawnej Przebieg sinusoidalny niskiej częstotliwości Przebieg sinusoidalny o wysokiej częstotliwości Membrana tu drga niemal na całej swej długości Tu membrana drga tylko do określonego miejsca
Rozkład drgań na membranie podstawnej – 100 Hz
Rozkład drgań na membranie podstawnej – 400 Hz
Rozkład drgań na membranie podstawnej – 1200 Hz
Rozkład drgań na membranie podstawnej – 4800 Hz
Drgania membrany podstawnej przy pobudzeniu tonem sinusoidalnym podstawa osklepek Dźwięki o różnych częstotliwościach wywołują maksymalny ruch membrany w jej różnych miejscach. W ten sposób powstaje przełożenie częstotliwości dźwięku na miejsce i dalej na odpowiednio zróżnicowanej odpowiedzi neuronów.
Pobudzanie membrany podstawnej przez dźwięk złożony
Przekrój zwoju ślimaka
Przekrój zwoju ślimakowego Schody przedsionka Organ Cortiego Schody bębenka 4 – błona Reisnera, 5 – membrana podstawna, 6 – błona pokrywkowa
Schemat organu Cortiego 1- wewnętrzne komórki rzęskowe 2- zewnętrzne komórki rzęskowe 3- tunel Cortiego 4- membrana podstawna 5- błona siateczkowata 6- błona pokrywkowa 7- komórki Deitersa 8- przestrzeń Nuela 9- komórki Hensena Drgający ruch struktur organu Cortiego wywołuje pobudzenie neuronów, co powoduje, że słyszymy dźwięk
Organ Cortiego i włókna nerwowe Graeme Clark The Bionic Ear Institute Zewnętrzne k. rz. Wewnętrzne k. rz. Każda komórka rzęskowa pobudza około 20 neuronów. Odśrodkowe nerwy słuchowe mózg Blona podstawna
Płyny w ślimaku 3 zwoje ślimaka są wypełnione płynami – endolimfą i perylimfą. Mają one zasadnicze znaczenie dla działania komórek rzęskowych, które wytwarzają impulsy elektryczne Różnice w składzie jonowym endolimfy i perylimfy powoduje powstanie między nimi różnicy napięć około 80 mV.
Komórki rzęskowe zewnętrzne i wewnętrzne W ślimaku jest 3 500 wewnętrznych komórek rzęskowych i 12 000 zewnętrznych. Jest to znikoma ilość w porównaniu z receptorami narządu wzroku
Funkcje komórek rzęskowych Komórki rzęskowe wewnętrzne są przymocowane do doprowadzających włókien nerwu ślimakowego i ich funkcją jako „rzeczywistych komórek słuchowych” jest zamiana informacji akustycznej na sygnały nerwowe. Komórki rzęskowe zewnętrzne są w przeważającym stopniu stymulowane przez włókna odprowadzające nerwu ślimakowego i często są opisywane jako „silnik” ślimakowego wzmacniacza. Ich zadaniem jest spowodowanie, aby maksymalne uwypuklenie błony podstawnej było bardziej wyraźne tak, aby komórki rzęskowe wewnętrzne to zarejestrowały. Tak więc komórki rzęskowe zewnętrzne służą jedynie do tego by wzmocnić wędrującą falę, podczas gdy komórki rzęskowe wewnętrzne zamieniają bodźce mechaniczne na potencjał bioelektryczny.
Efekt współdziałania zewnętrznych i wewnętrznych komórek rzęskowych Tylko dzięki współdziałaniu i wzajemnym oddziaływaniu komórek rzęskowych wewnętrznych i zewnętrznych ucho posiada tak niski próg słyszenia (= podwyższenie amplitudy wędrującej fali) i taką czułość w rozróżnianiu częstotliwości(=strome przesunięcie wędrującej fali).
Uszkodzona komórka rzęskowa zewnętrzna zewnętrzne wewnętrzne Uszkodzona komórka rz.
Przestrzenny rozkład drgań w błonie podstawnej osklepek podstawa Okienko owalne Kierunek rozchodzenia się fali bieżącej
Rozkład komórek rzęskowych na błonie podstawnej type 1 Tonotopy type 2
Nerwy słuchowe w uchu wewnętrznym Ludzki włos Zewnętrzne k.rz. 60 µm Wewnętrzne k.rz. Błona siateczkowata Spiralny zwój nerwowy 20 µm Wise et al, The Bionic Ear Institute, 2003.
Mechaniczne i elektryczne własności komórek rzęskowych Przy podstawie (bliżej okienka owalnego) komórki rzęskowe rozmieszczone wzdłuż błony podstawnej są odpowiednio dostrojone częstotliwościowo elektrycznie jak i mechanicznie. Rzęski przy okienku owalnym są krótsze i sztywniejsze, te bardziej oddalone są dłuższe i bardziej elastyczne. Jednocześnie własności komórek rzęskowych, decydujące o częstotliwości wyładowań elektrycznych własnych, są zgodne z rozmieszczeniem komórek wzdłuż membrany podstawnej. Częstotliwość wyładowań jest zgodna z rozkładem rezonansów błony podstawnej. A każdy neuron ma swoją „częstotliwość charakterystyczną”.
Schemat działania organu Cortiego Rzęski zaczynają wychylać się w dwie strony (wychylenie czubków – 0.3 nm). W tym samym czasie dochodzi do zamykania się i otwierania kanałów jonowych . Dzięki nim z endolimfy ślimaka do wnętrza rzęsek napływają jony potasu. W ten sposób zostają wywołane chwilowe zmiany potencjału. Na zmiany te reagują zakończenia komórek nerwowych, które powstałe pobudzenie przekazują dalej do wyższych pięter układu słuchowego.
Rozkłady drgań na błony podstawnej w funkcji częstotliwości Poziom => głośny cichy f= 1000 Hz f= 8000 Hz f= 1000 Hz i 8000 Hz
Synchronizacja fazowa Komórki rzęskowe rozmieszczone wzdłuż błony podstawnej są odpowiednio dostrojone częstotliwościowo elektrycznie, jak i mechanicznie.
Synchronizacja fazowa
Odpowiedź neuronu słuchowego na dźwięki o niskiej częstotliwości Odpowiedź pozostaje zsynchronizowana dla dużego zakresu intensywności
Synchronizacja fazy z pobudzeniem sinusoidalnym Dla częstotliwości < 5 kHz, impulsy nerwowe pojawiają się z określoną fazą zgodnie z cyklem sygnału pobudzającego. Wyładowania te nie pojawiają się w każdym cyklu pobudzenia. Jednakże odległość między pojedynczymi impulsami może wynosić 2,3 lub więcej cykli.
Schemat synchronizacji pobudzeń Schemat pobudzenia neuronu
Zsynchronizowana odpowiedź słuchowa In response to low-frequency (< 5 kHz) pure tones, spike discharges tend to occur at a particular phase within the stimulus cycle. However, spikes do not always occur on every cycle, i.e. there can be 2, 3, or more cycles between consecutive spikes. • Phase locking can be quantified using period histograms, which display the distribution of spikes within a stimulus cycle. With perfect phase locking, the period histogram would be an impulse. Period histograms of AN fibers for low-frequency pure tones are nearly sinusoidal at near-threshold level, and become more peaky at moderate and high levels. • Alternatively, phase locking can be visualized from interspike interval histograms, where it shows up as modes at integer multiples of the stimulus period, i.e. at 1/f, 2/f, 3/f, etc for a pure tone of frequency f. This analysis is appealing from the viewpoint of central auditory processing because, unlike period histograms, it does not require an absolute time reference locked to each stimulus cycle. Zsynchronizowana odpowiedź słuchowa Włókna nerwowe synchronizują swoją odpowiedź w celu jej wyostrzenia w zakresie niskich częstotliwości i wygładzenia obwiedni w zakresie wysokich częstotliwości Synchroniczność odgrywa istotną rolę w procesie lokalizacji źródeł dźwięków
Zakres dynamiczny słyszenia Im większa jest liczba impulsów/s tym większe wrażenie głośności Im większa jest liczba pobudzonych zakończeń nerwowych, tym dźwięk jest odbierany jako głośniejszy
Częstotliwościowa czułość słuchu Pomiar dla pojedynczego nerwu. Charakterystyka jest symetryczna w skali log f.
Odpowiedź włókna nerwowego na 2 tony Pojawienie się tonu w strefie zakreskowanej powoduje zmniejszenie się liczby impulsów odpowiadającej tonowi testowemu, co zwiększa lokalny kontrast częstotliwości.
Częstotliwościowa zależność poziomu progowego włókien nerwowych Szerokość pasma zależy od częstotliwości środkowej . Częstotliwościowe zakresy odpowiedzi są asymetryczne.
Membrana podstawna – rozkład częstotliwości Od osklepka (szczytu) w kierunku podstawy błony podstawnej rozkład miejsc pobudzeń zmienia się proporcjonalnie do logarytmu częstotliwości
Membrana podstawna – rozkład częstotliwości pobudzeń Znaczna część długości błony podstawnej reaguje na niższy zakres częstotliwości (zakres F1 w mowie), przy czym większość odpowiedzi neuronów jest w zakresie poniżej środkowych częstotliwości (2-3 kHz).
Słuch, mowa w korze mózgowej Ośrodek Wernickego – słuchowy ośrodek mowy Obszar Broca – okolica ruchowa mowy
Kodowanie częstotliwości w mózgu Graeme Clark The Bionic Ear Institute 20 10 5 2 pole słuchowe 5 kHz 2 kHz 10 kHz ślimak 20 kHz
Implant ślimakowy – część zewnętrzna 1. mikrofon 2. przewód doprowadzający 3. procesor mowy 4 cewka odbiorcza 5. cewka odbiorcza wysyłająca poprzez skórę sygnały FM do implantowanego odbiornika pobudzającego 6. odbiornik pobudzający 7. elektrody pobudzające zakończenia nerwu słuchowego w ślimaku 8. nerw słuchowy
Implant ślimakowy – część wewnętrzna
Elektrody implantu ślimakowego
Wymiary elektrod 0.45mm 0.3mm
Powierzchnia elektrod Procedura SPEAK 20-kanałowy zestaw filtrów pasmowych Sygnał mowy /a/ Powierzchnia elektrod podstawa osklepek 6 maksymalnych napięć Widmo chwilowe
Symulacja działania implantu ślimakowego From herrick_uedamodel/script_demo1: best 6 of 16 channels, 250 Hz pulserate, 16 kHz sampling H/U filterbank
Wpływ liczby kanałów pobudzających na zrozumiałość mowy 1 2 4 8 16