Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Multimedialny system wspomagania wykładowcy i prelegenta Józef Kotus 1, Kuba Łopatka 1, Andrzej Czyżewski 1, Henryk Krawczyk 2 1: PG, WETI, Katedra Systemów.

Podobne prezentacje


Prezentacja na temat: "Multimedialny system wspomagania wykładowcy i prelegenta Józef Kotus 1, Kuba Łopatka 1, Andrzej Czyżewski 1, Henryk Krawczyk 2 1: PG, WETI, Katedra Systemów."— Zapis prezentacji:

1 Multimedialny system wspomagania wykładowcy i prelegenta Józef Kotus 1, Kuba Łopatka 1, Andrzej Czyżewski 1, Henryk Krawczyk 2 1: PG, WETI, Katedra Systemów Multimedialnych, 2: PG, WETI, Katedra Architektury Systemów Komputerowych, ul. Narutowicza 11/12, Gdańsk

2 Plan prezentacji Wprowadzenie Budowa systemu Algorytmy przetwarzania dźwięku Kalibracja systemu Baza danych Wyniki Wnioski

3 Wprowadzenie Przedmiotem opracowania jest zastosowanie technologii wektorowych czujników akustycznych do lokalizowania źródeł dźwięku Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej w ramach realizacji projektu MAYDAY EURO 2012

4 Wprowadzenie Wykrywanie mówców i zdarzeń impulsowych na widowni Automatyczne nakierowanie kamery na źródło dźwięku Audytorium imituje trybunę podczas imprezy masowej

5 BUDOWA SYSTEMU

6 Budowa systemu Wektorowy czujnik akustyczny Kamera obrotowa i nieruchoma

7 Budowa systemu ciśnienie akustyczne 1 kanał prędkość cząsteczek (x,y,z) 3 kanały Serwer RTSP 4 kanały Czujnik akustyczny System KASKADA p x y z Przetwarzanie sygnałów

8 Budowa systemu

9 Miejsce zamontowania czujnika audio

10 ALGORYTMY PRZETWARZANIA DŹWIĘKU

11 Algorytmy przetwarzania dźwięku Detekcja wybranych zdarzeń akustycznych Lokalizacja źródła dźwięku Wzmacniacz sygnału z czujnika wektorowego Karta dźwiękowa Komputer jednopłytowy Czujnik wektorowy Serwer RTSP Odbiór strumienia RTSP KASKADA DetekcjaLokalizacja Buforowanie sygnału Sterowanie kamerą PTZ Wizualizacja

12 Detekcja zdarzeń dźwiękowych Detektor mowy Parametr PVD – peak valley difference – miara tonalności sygnału. X(k) – widmo mocy sygnału P(k) – wektor określający położenie maksimów w widmie

13 Detekcja zdarzeń dźwiękowych Detekcja dźwięków impulsowych: porównanie poziomu dźwięku z adaptacyjnie dostrajanym progiem N – długość ramki, L norm – poziom odpowiadający pełnemu wysterowaniu sygnału, x(n) – wartość chwilowa sygnału dla próbki n. Adaptacja progu detektora do warunków akustycznych przez zastosowanie uśredniania wykładniczego T(i) to wartość progu w chwili i, α – stała uśredniania wykładniczego, tu α=0,001, natomiast T i to chwilowa wartość progu wynikająca z poziomu dźwięku w aktualnie przetwarzanej ramce

14 Lokalizacja źródeł dźwięku Pojedynczy wektorowy czujnik akustyczny jest zbudowany z dwóch rezystancyjnych drucików podgrzewanych do temperatury około 200°C. Ruch powietrza prowadzi do spadku temperatury. Spadek temperatury jest proporcjonalny do kwadratu prędkości cząstek.

15 Lokalizacja źródeł dźwięku Pojedyncza sonda USP umożliwia: Pomiar prędkości cząstek 3D oraz ciśnienia akustycznego Pomiar natężenia dźwięku 3D Możliwość lokalizacji źródła dźwięku 3D Możliwość określenia rozkładu energii akustycznej 3D Możliwość pomiaru impedancji akustycznej

16 Lokalizacja źródeł dźwięku x y z położenie sondy [x y z] = [0 0 H] płaszczyzna podłogi Ax+By+Cz+D=0 wektor natężenia dźwięku [I x I y I z ] Źródło dźwięku I Prosta wyznaczająca kierunek dźwięku Współrzędne źródła dźwięku wyznaczamy według wzorów:

17 KALIBRACJA SYSTEMU

18 Kalibracja systemu Pomiar – 5 wystrzałów z iglicy pistoletu hukowego z każdego miejsca w audytorium. Stworzenie opisu odniesienia Obliczenie błędów lokalizacji Opracowanie funkcji korygujących

19 Kalibracja systemu

20 Mierzone wielkości -odchylenie obliczonych współrzędnych (x,y) od rzeczywistego położenia -odchylenie obliczonych kątów azymutu i elewacji (φ,θ) od rzeczywistych kątów. GT – Ground Truth

21 Kalibracja systemu

22

23 Odwzorowania korygujące

24 BAZA DANYCH

25 Baza danych Baza danych umożliwia połączenie układów współrzędnych czujnika AVS oraz zestawu kamer w jeden system azymut, elewacja Korekta danych pomiarowych Współrzędne xyz punktu w pomieszczeniu Rząd i miejsce w audytorium Ustawienia kamery obrotowej (p,t,z) Możliwość pokazania każdego miejsca Współrzędne miejsc przeliczone na piksele w obrazie z kamery stacjonarnej

26 WYNIKI POMIARÓW

27 Detekcja zdarzeń o charakterze impulsowym Detekcja zdarzeń akustycznych

28 Lokalizacja dźwięków impulsowych

29 Detekcja sygnału mowy Detekcja zdarzeń akustycznych

30 Lokalizacja mówcy

31 Przykładowe wyniki lokalizacji Źródło dźwięku o charakterze impulsowym znajdowało się kolejno na pozycji każdego miejsca siedzącego w pierwszym rzędzie w audytorium

32 Wnioski Zastosowanie pojedynczego wektorowego czujnika akustycznego umożliwia lokalizowanie wybranych źródeł dźwięku w warunkach sali wykładowej Opracowane w drodze kalibracji systemu odwzorowania korygujące umożliwiają lokalizację źródeł dźwięku z większą dokładnością Faza narastania zdarzenia akustycznego zawiera najdokładniejszą informację o pozycji źródła dźwięku Zaprezentowany system może również znaleźć zastosowanie podczas ochrony imprez masowych, do ciągłego monitorowania zdarzeń zachodzących na trybunach kibiców.

33 Podziękowanie Badania zostały dofinansowane w ramach projektu POIG /08, zatytułowanego: "MAYDAY EURO 2012: Superkomputerowa platforma kontekstowej analizy strumieni danych multimedialnych do identyfikacji wyspecyfikowanych obiektów lub niebezpiecznych zdarzeń". Projekt dofinansowany przez Europejski Fundusz Rozwoju Regionalnego oraz z budżetu Państwa Polskiego.

34 DZIĘKUJĘ ZA UWAGĘ


Pobierz ppt "Multimedialny system wspomagania wykładowcy i prelegenta Józef Kotus 1, Kuba Łopatka 1, Andrzej Czyżewski 1, Henryk Krawczyk 2 1: PG, WETI, Katedra Systemów."

Podobne prezentacje


Reklamy Google