Multimedialny system wspomagania wykładowcy i prelegenta

Prezentacja na temat: "Multimedialny system wspomagania wykładowcy i prelegenta"— Zapis prezentacji:

1 Multimedialny system wspomagania wykładowcy i prelegenta
Józef Kotus1, Kuba Łopatka1, Andrzej Czyżewski1, Henryk Krawczyk2 1: PG, WETI, Katedra Systemów Multimedialnych, 2: PG, WETI, Katedra Architektury Systemów Komputerowych, ul. Narutowicza 11/12, Gdańsk

2 Plan prezentacji Wprowadzenie Budowa systemu
Algorytmy przetwarzania dźwięku Kalibracja systemu Baza danych Wyniki Wnioski

3 Wprowadzenie Przedmiotem opracowania jest zastosowanie technologii wektorowych czujników akustycznych do lokalizowania źródeł dźwięku Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej w ramach realizacji projektu MAYDAY EURO 2012

4 Wprowadzenie Wykrywanie mówców i zdarzeń impulsowych na widowni
Automatyczne nakierowanie kamery na źródło dźwięku Audytorium imituje trybunę podczas imprezy masowej

5 Budowa systemu

6 Budowa systemu Wektorowy czujnik akustyczny
Kamera obrotowa i nieruchoma

7 Przetwarzanie sygnałów
Budowa systemu Czujnik akustyczny Serwer RTSP 4 kanały System KASKADA ciśnienie akustyczne 1 kanał p x y z Przetwarzanie sygnałów prędkość cząsteczek (x,y,z) 3 kanały

8 Budowa systemu

9 Miejsce zamontowania czujnika audio

10 ALGORYTMY PRZETWARZANIA DŹWIĘKU

11 Algorytmy przetwarzania dźwięku
Detekcja wybranych zdarzeń akustycznych Lokalizacja źródła dźwięku Wzmacniacz sygnału z czujnika wektorowego Karta dźwiękowa Komputer jednopłytowy Czujnik wektorowy Serwer RTSP Odbiór strumienia RTSP KASKADA Detekcja Lokalizacja Buforowanie sygnału Sterowanie kamerą PTZ Wizualizacja

12 Detekcja zdarzeń dźwiękowych
Detektor mowy Parametr PVD – peak valley difference – miara tonalności sygnału. X(k) – widmo mocy sygnału P(k) – wektor określający położenie maksimów w widmie

13 Detekcja zdarzeń dźwiękowych
Detekcja dźwięków impulsowych: porównanie poziomu dźwięku z adaptacyjnie dostrajanym progiem N – długość ramki, Lnorm – poziom odpowiadający pełnemu wysterowaniu sygnału, x(n) – wartość chwilowa sygnału dla próbki n. Adaptacja progu detektora do warunków akustycznych przez zastosowanie uśredniania wykładniczego T(i) to wartość progu w chwili i, α – stała uśredniania wykładniczego, tu α=0,001, natomiast Ti to chwilowa wartość progu wynikająca z poziomu dźwięku w aktualnie przetwarzanej ramce

14 Lokalizacja źródeł dźwięku
Pojedynczy wektorowy czujnik akustyczny jest zbudowany z dwóch rezystancyjnych drucików podgrzewanych do temperatury około 200°C. Ruch powietrza prowadzi do spadku temperatury. Spadek temperatury jest proporcjonalny do kwadratu prędkości cząstek.

15 Lokalizacja źródeł dźwięku
Pojedyncza sonda USP umożliwia: Pomiar prędkości cząstek 3D oraz ciśnienia akustycznego Pomiar natężenia dźwięku 3D Możliwość lokalizacji źródła dźwięku 3D Możliwość określenia rozkładu energii akustycznej 3D Możliwość pomiaru impedancji akustycznej

16 Lokalizacja źródeł dźwięku
płaszczyzna podłogi Ax+By+Cz+D=0 Źródło dźwięku Współrzędne źródła dźwięku wyznaczamy według wzorów: wektor natężenia dźwięku [Ix Iy Iz] I z położenie sondy [x y z] = [0 0 H] y Prosta wyznaczająca kierunek dźwięku x

17 Kalibracja systemu

18 Kalibracja systemu Pomiar – 5 wystrzałów z iglicy pistoletu hukowego z każdego miejsca w audytorium. Stworzenie opisu odniesienia Obliczenie błędów lokalizacji Opracowanie funkcji korygujących

19 Kalibracja systemu

20 Kalibracja systemu Mierzone wielkości
odchylenie obliczonych współrzędnych (x,y) od rzeczywistego położenia odchylenie obliczonych kątów azymutu i elewacji (φ,θ) od rzeczywistych kątów. GT – Ground Truth

21 Kalibracja systemu

22 Kalibracja systemu

23 Kalibracja systemu Odwzorowania korygujące

24 Baza danych

25 Baza danych Baza danych umożliwia połączenie układów współrzędnych czujnika AVS oraz zestawu kamer w jeden system azymut, elewacja Współrzędne xyz punktu w pomieszczeniu Rząd i miejsce w audytorium Ustawienia kamery obrotowej (p,t,z) Możliwość pokazania każdego miejsca Współrzędne miejsc przeliczone na piksele w obrazie z kamery stacjonarnej Korekta danych pomiarowych

26 Wyniki pomiarów

27 Detekcja zdarzeń akustycznych
Detekcja zdarzeń o charakterze impulsowym

28 Lokalizacja dźwięków impulsowych

29 Detekcja zdarzeń akustycznych
Detekcja sygnału mowy

30 Lokalizacja mówcy

31 Przykładowe wyniki lokalizacji
Źródło dźwięku o charakterze impulsowym znajdowało się kolejno na pozycji każdego miejsca siedzącego w pierwszym rzędzie w audytorium

32 Wnioski Zastosowanie pojedynczego wektorowego czujnika akustycznego umożliwia lokalizowanie wybranych źródeł dźwięku w warunkach sali wykładowej Opracowane w drodze kalibracji systemu odwzorowania korygujące umożliwiają lokalizację źródeł dźwięku z większą dokładnością Faza narastania zdarzenia akustycznego zawiera najdokładniejszą informację o pozycji źródła dźwięku Zaprezentowany system może również znaleźć zastosowanie podczas ochrony imprez masowych, do ciągłego monitorowania zdarzeń zachodzących na trybunach kibiców.

33 Podziękowanie Badania zostały dofinansowane w ramach projektu POIG /08, zatytułowanego: "MAYDAY EURO 2012: Superkomputerowa platforma kontekstowej analizy strumieni danych multimedialnych do identyfikacji wyspecyfikowanych obiektów lub niebezpiecznych zdarzeń". Projekt dofinansowany przez Europejski Fundusz Rozwoju Regionalnego oraz z budżetu Państwa Polskiego.

34 Dziękuję za uwagę