Analiza zachowania tłumu Ocena jakości działania algorytmu zliczania osób; algorytm wykrywania zatoru Krzysztof Kopaczewski kkop@sound.eti.pg.gda.pl

Plan prac w projekcie Mayday Mayday nr zadania 4.3.1 I kwartał 2011: Opracowanie metodyki i algorytmów predykcji wybranych zdarzeń złożonych, polegających na gromadzeniu się tłumu, przygotowanie algorytmów do automatycznej klasyfikacji zachowań zbiorowości, wykrywania na tej podstawie agresji bądź paniki, zamiarów napaści lub ucieczki, detekcja akustyczna stanu wzburzenia tłumu II kwartał 2011: Ocena jakości działania algorytmów przy wykorzystaniu materiału zawartego w zbudowanym repozytorium benchmarkowym z zastosowaniem badania wyników w sposób obiektywny przy pomocy metodyki ground thruth i dokumentacja techniczna algorytmów w formie biblioteki oraz projektu interfejsu programowania aplikacji API

Algorytm zliczania osób „wirtualna bramka” - teoria

Graficzny interfejs użytkownika - zawartość Algorytm: Virtual_Gate Opis algorytmu: Algorytm zliczania osób przechodzących przez "wirtualną bramkę" przy pomocy zmodyfikowanego modułu Dense Optical Flow. Realizacja zliczania w obie strony bramki w zadanym przedziale kątowym ruchu osób/tłumu. Warunki: dobre oświetlenie sceny, kąt patrzenia kamery jak najbardziej z góry, jak najwyższa jakość obrazu i duży FPS. W przypadku małego FPS rzędu 15 i mniej, zalecane zmniejszenie rozdzielczości.

Graficzny interfejs użytkownika - zawartość Parametry Algorytmu: (tylko parametry „wyższego poziomu abstrakcji”, parametry tj.: dot.Optical Flow obliczane są automatycznie) 0) Rozdzielczość obrazu 1) Współrzędne początku wirtualnej bramki (lewy górny narożnik x,y) (pionowej lub poziomej) 2) Szerokość bramki poziomej (lub szerokość dla bramki pionowej w tym przypadku szerokość człowieka w obrazie) 3) Wysokość bramki poziomej, w tym przypadku wysokość człowieka w obrazie (lub wysokość dla bramki pionowej) 4) Szerokość człowieka w obrazie dla bramki poziomej (wysokość człowieka dla bramki pionowej) 5) Odstęp między modułami zliczania (wielkości człowieka 3) i 4) dla bramki poziomej, lub 2) i 4) dla bramki pionowej); domyślnie 10 pikseli (zalecany przedział od 5 do 15 pikseli) 6) Próg procentowy zliczania osoby w modułach wirtualnej bramki; domyślnie 65 (zalecane od 40 do 95) 7) Kierunek zliczania wirtualnej bramki (0 lub 1) 8) Kąt przepływu masy ludzi przez bramkę, domyślnie = 0 (zalecane od 0 do 60 stopni) 9) Przedział odchylenia od kąta przepływu, domyślnie = 50 (zalecane od 10 do 90 stopni)

Graficzny interfejs użytkownika - zawartość Usługa: Usluga_Zliczania_Osob (proste i złożona) Opis Usługi: Realizacja zliczania osób w przestrzeni otwartej za pomocą algorytmu Virtual_Gate. Możliwe jest szacowanie liczby osób udających się w kierunku imprezy masowej za pomocą wielu kamer rozmieszczonych w miejscach przepływu osób. Warunki: Warunki takie jak w algorytmie Virtual_Gate. Ważne jest zrealizowanie algorytmu na wszystkich możliwych wej./wyj. z obszaru aby uniknąć „przecieku”. Parametry usł. Złożónej (XML): (par. usł. prostej tj. w algorytmie) 1) Liczba bramek, powiązania między nimi 2) Opcjonalnie: próg wykrywania zatoru

Przykładowe graficzne przedstawienie powiązania usług prostych (usługa_zliczania_osób) w złożoną

Realizacja zliczania osób w przestrzeni otwartej przy użyciu wielu kamer lub multimegapikselowej

Ocena jakości algorytmów Algorytm zliczania osób: TP – osoba policzona FP – osoba policzona podwójnie FN – osoba niepoliczona ∑ - rzeczywista liczba osób Uwaga: liczba osób policzona przez algorytm = TP + FP TP FP FN ∑ 133 31 23 165

Problemy i rozwiązania Typowe problemy analizy obrazu: -jakość/kompresja, oświetlenie, balans bieli, ostrość, rozdzielczość, fps,ustawienie kamer Typowe problemy Optical Flow: a) niejednoznaczność (pozorne ruchy) b) teksturowanie c) zachodzenie obiektów na siebie d) jednolita barwa lub przeźroczystość /odbicia e) problem szczelinowy (aperture problem) błędne określenie ruchu w przypadku lokalnych zmian jasności obrazu o jednowymiarowym charakterze Założenia Optical Flow: -jasność niezmienna w czasie ruchu -niewielkie przesunięcia pomiędzy klatkami - spójność przestrzenna Potencjalne przyczyny błędnego działania metody: 1) Niestałość oświetlenia (jasności punktów na scenie) 2) punkt nie porusza się wraz z całym sąsiedztwem (zbyt duże okno?) 3) zbyt duży zakres ruchu (zbyt małe FPS) (przesunięcia nie powinny przekraczać 1-5 pikseli) Rozwiązanie 3) = zmniejszyć rozdzielczość!

Problemy i rozwiązania Ad d) jednolita barwa: Problem: (szum na poziomie 10-35%) metoda: filtracja wektorów ze względu na kierunek. Pozostawienie tych, w których spodziewany jest ruch w wirtualnej bramce. rozwiązanie: (szum na poziomie 0-5%)

Ocena jakości algorytmów Algorytm wykrywania zatoru:

Repozytorium benchmarkowe opis ground thruth Ponowne wyselekcjonowanie nagrań zgodnie z nowymi szczegółowymi definicjami scen. definicje: metodologia: 1.) Opisywane są zdarzenia wyłącznie dla grup z udziałem aktorów, przypadkowe osoby pojawiające się w kadrze nie są brane pod uwagę. 2a.) warunkiem koniecznym czasowego startu i końca opisu sceny następuje w momencie gdy w obszarze prostokąta A (opis współrzędnych) znajduje się liczba aktorów powyżej lub równej 30-50% liczby osób-aktorów występujących w scenie (początek sceny gdy w obszar A wejdzie >= 30-50% aktorów; koniec sceny gdy już tylko 30-50% aktorów zostaje w obszarze A) 2b.) warunek wystarczający czasowego startu i końca opisu sceny zależy od konkretnej sceny i zachowania tłumu 3.) moment czasowy w którym następuje zmiana zachowania normalnego w anormalne definiowana jest jako pierwsza klatka, w której następuje znacząca zmiana ruchu aktorów. Uwaga: obecność osoby w obszarze A definiuje się jako obecność całego obrazu przedstawiającego tą osobę w obszarze.

Repozytorium benchmarkowe opis ground thruth Szczegółowy opis nagrań, statystyki: Suma: 346 90782 35 Np.: „upadek osoby w tłumie”, „szybkie zejście/rozejście się tłumu” ( panika, gromadzenie ), „ wiwat tłumu”, „ rzut przedmiotem”, „ normalna aktywność tłumu”, „kierunkowe przemieszczenie się tłumu”, „ bójka, szamotanina”, „kradzież” … Publikacja: INFOBAZY 2011 – wysłana. Scen Klatek Rodzajów scen Normal 165 68418 17 Abnormal 181 22364 18

Dziękuję za uwagę