Multimedialny system wspomagania wykładowcy i prelegenta Józef Kotus1, Kuba Łopatka1, Andrzej Czyżewski1, Henryk Krawczyk2 1: PG, WETI, Katedra Systemów Multimedialnych, 2: PG, WETI, Katedra Architektury Systemów Komputerowych, ul. Narutowicza 11/12, 80-233 Gdańsk

Plan prezentacji Wprowadzenie Budowa systemu Algorytmy przetwarzania dźwięku Kalibracja systemu Baza danych Wyniki Wnioski

Wprowadzenie Przedmiotem opracowania jest zastosowanie technologii wektorowych czujników akustycznych do lokalizowania źródeł dźwięku Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej w ramach realizacji projektu MAYDAY EURO 2012

Wprowadzenie Wykrywanie mówców i zdarzeń impulsowych na widowni Automatyczne nakierowanie kamery na źródło dźwięku Audytorium imituje trybunę podczas imprezy masowej

Budowa systemu

Budowa systemu Wektorowy czujnik akustyczny Kamera obrotowa i nieruchoma

Przetwarzanie sygnałów Budowa systemu Czujnik akustyczny Serwer RTSP 4 kanały System KASKADA ciśnienie akustyczne 1 kanał p x y z Przetwarzanie sygnałów prędkość cząsteczek (x,y,z) 3 kanały

Budowa systemu

Miejsce zamontowania czujnika audio

ALGORYTMY PRZETWARZANIA DŹWIĘKU

Algorytmy przetwarzania dźwięku Detekcja wybranych zdarzeń akustycznych Lokalizacja źródła dźwięku Wzmacniacz sygnału z czujnika wektorowego Karta dźwiękowa Komputer jednopłytowy Czujnik wektorowy Serwer RTSP Odbiór strumienia RTSP KASKADA Detekcja Lokalizacja Buforowanie sygnału Sterowanie kamerą PTZ Wizualizacja

Detekcja zdarzeń dźwiękowych Detektor mowy Parametr PVD – peak valley difference – miara tonalności sygnału. X(k) – widmo mocy sygnału P(k) – wektor określający położenie maksimów w widmie

Detekcja zdarzeń dźwiękowych Detekcja dźwięków impulsowych: porównanie poziomu dźwięku z adaptacyjnie dostrajanym progiem N – długość ramki, Lnorm – poziom odpowiadający pełnemu wysterowaniu sygnału, x(n) – wartość chwilowa sygnału dla próbki n. Adaptacja progu detektora do warunków akustycznych przez zastosowanie uśredniania wykładniczego T(i) to wartość progu w chwili i, α – stała uśredniania wykładniczego, tu α=0,001, natomiast Ti to chwilowa wartość progu wynikająca z poziomu dźwięku w aktualnie przetwarzanej ramce

Lokalizacja źródeł dźwięku Pojedynczy wektorowy czujnik akustyczny jest zbudowany z dwóch rezystancyjnych drucików podgrzewanych do temperatury około 200°C. Ruch powietrza prowadzi do spadku temperatury. Spadek temperatury jest proporcjonalny do kwadratu prędkości cząstek.

Lokalizacja źródeł dźwięku Pojedyncza sonda USP umożliwia: Pomiar prędkości cząstek 3D oraz ciśnienia akustycznego Pomiar natężenia dźwięku 3D Możliwość lokalizacji źródła dźwięku 3D Możliwość określenia rozkładu energii akustycznej 3D Możliwość pomiaru impedancji akustycznej

Lokalizacja źródeł dźwięku płaszczyzna podłogi Ax+By+Cz+D=0 Źródło dźwięku Współrzędne źródła dźwięku wyznaczamy według wzorów: wektor natężenia dźwięku [Ix Iy Iz] I z położenie sondy [x y z] = [0 0 H] y Prosta wyznaczająca kierunek dźwięku x

Kalibracja systemu

Kalibracja systemu Pomiar – 5 wystrzałów z iglicy pistoletu hukowego z każdego miejsca w audytorium. Stworzenie opisu odniesienia Obliczenie błędów lokalizacji Opracowanie funkcji korygujących

Kalibracja systemu

Kalibracja systemu Mierzone wielkości odchylenie obliczonych współrzędnych (x,y) od rzeczywistego położenia odchylenie obliczonych kątów azymutu i elewacji (φ,θ) od rzeczywistych kątów. GT – Ground Truth

Kalibracja systemu

Kalibracja systemu

Kalibracja systemu Odwzorowania korygujące

Baza danych

Baza danych Baza danych umożliwia połączenie układów współrzędnych czujnika AVS oraz zestawu kamer w jeden system azymut, elewacja Współrzędne xyz punktu w pomieszczeniu Rząd i miejsce w audytorium Ustawienia kamery obrotowej (p,t,z) Możliwość pokazania każdego miejsca Współrzędne miejsc przeliczone na piksele w obrazie z kamery stacjonarnej Korekta danych pomiarowych

Wyniki pomiarów

Detekcja zdarzeń akustycznych Detekcja zdarzeń o charakterze impulsowym

Lokalizacja dźwięków impulsowych

Detekcja zdarzeń akustycznych Detekcja sygnału mowy

Lokalizacja mówcy

Przykładowe wyniki lokalizacji Źródło dźwięku o charakterze impulsowym znajdowało się kolejno na pozycji każdego miejsca siedzącego w pierwszym rzędzie w audytorium

Wnioski Zastosowanie pojedynczego wektorowego czujnika akustycznego umożliwia lokalizowanie wybranych źródeł dźwięku w warunkach sali wykładowej Opracowane w drodze kalibracji systemu odwzorowania korygujące umożliwiają lokalizację źródeł dźwięku z większą dokładnością Faza narastania zdarzenia akustycznego zawiera najdokładniejszą informację o pozycji źródła dźwięku Zaprezentowany system może również znaleźć zastosowanie podczas ochrony imprez masowych, do ciągłego monitorowania zdarzeń zachodzących na trybunach kibiców.

Podziękowanie Badania zostały dofinansowane w ramach projektu POIG.02.03.03-00-008/08, zatytułowanego: "MAYDAY EURO 2012: Superkomputerowa platforma kontekstowej analizy strumieni danych multimedialnych do identyfikacji wyspecyfikowanych obiektów lub niebezpiecznych zdarzeń". Projekt dofinansowany przez Europejski Fundusz Rozwoju Regionalnego oraz z budżetu Państwa Polskiego.

Dziękuję za uwagę