KINECT – czyli z czym to się je?

Prezentacja na temat: "KINECT – czyli z czym to się je?"— Zapis prezentacji:

1 KINECT – czyli z czym to się je?

2 O czym będziemy mówić? Co to jest i jak działa Kinect?
Jak przygotować komputer do pracy z Kinectem? Kinect SDK rzut oka. Kinect jako nietypowa kamera internetowa. Świat nie jest płaski – wkraczamy w 3D. Sekcja zwłok – zabawy szkieletem. Kinect jako nietypowy mikrofon.

3 Co to jest i jak działa Kinect?

4 SENSOR 3D KAMERA MIKROFON WIELOPŁASZCZYZNOWY KONTROLER NACHYLENIA

5 3 słowa o mikrofonach

6 Jak to działa? – semantyczna segmentacja obrazu w czasie rzeczywistym

7 Jak to działa? - prawdopodobieństwo

8 Jak to działa? – drzewa decyzyjne, uczenie maszynowe

9 Jak przygotować komputer do pracy z Kinectem?

10 Wymagania sprzętowe: Komputer z procesorem co najmniej dual-core 2.66-GHz 2 GB RAM (rekomendowane 4 GB) Karta graficzna kompatybilna z Windows 7 i wspierająca DirectX 9.0c

11 Wymagania użytkownika:
Kubek kawy Kontroler Kinect wraz z zasilaczem Silne nerwy ;d Dużo……dużo czasu ;D Opcjonalnie – ktoś do cenzurowania otoczenia

12 Pobierz i zainstaluj następujące rzeczy:
Microsoft® Visual Studio® 2010 Express lub dowolną inną wersję Visual Studio 2010 .NET Framework 4.0 Gdy korzystamy z kodu niezarządzanego (C++): Microsoft DirectX® SDK - June 2010 lub wersję późniejszą Runtime for Microsoft DirectX® 9 Gdy chcemy korzystać z funkcji rozpoznawania mowy: Microsoft Speech Platform Runtime, version 10.2 (x86 edition) Microsoft Speech Platform - Software Development Kit, version 10.2 (x86 edition) Kinect for Windows Runtime Language Pack, version 0.9

13 Pobierz i zainstaluj następujące rzeczy:
Oficjalne SKD z dnia

14 Jak Kinect widoczny jest w systemie?

15 Kinect SDK rzut oka.

16 Biblioteka SDK dostępna z menu start>Microsoft Kinect>KinectSDK

17 Kinect jako nietypowa kamera internetowa.

18 Jakie informacje otrzymujemy z kamery?

19 Kąty widzenia obiektywów
Zakres działania 1,2 – 3,5 metra od kontrolera Kąty widzenia obiektywów 43° pionowo 57° poziomo Nachylenie kontrolera w zakresie ±28°

20 Kamera Czujnik głębokości 640x480, 30 klatek na sekundę

21 Świat nie jest płaski – wkraczamy w 3D.

22 Dane z kamery - przypomnienie

23 Bufor głebokości ImageFrame.Image.Bits
Tablica bajtów public byte[] Bits; punkt startu – lewy górny róg obrazka, zapis danych – od lewej do prawej, a potem krok w dół, mówi nam o odległości każdego piksela.

24 Jak obliczyć odległość piksela?
2 bajty per piksel (16 bitów) Depth – odległość każdego piksela Distance (0,0) = (int)(Bits[0] | Bits[1] << 8); DepthAndPlayer Index – odległość dla każdego playera Distance (0,0) =(int)(Bits[0] >> 3 | Bits[1] << 5);

25 Definicja odległości Zakres: od 850 mm do 4000 mm
Odległość = 0 oznacza odległość nieznaną Indeks playera 0 – brak gracza 1 – gracz 0 2 – gracz 1

26 Sekcja zwłok – zabawy szkieletem.

27 Skeleton API

28 Dane o szkielecie

29 Kości Nazewnictwo w języku polskim Można śledzić na raz dwóch graczy
Każdy gracz ma określone wartości <x, y, z> dla każdej kości Każda kość ma przypisany jeden ze stanów: Tracked, Not tracked, Inferred Inferred – kość jest zasłonięta przez inną lub jakiś przedmiot itp. Not Tracked – raczej nie występuje, ale trzeba to sprawdzać

30 DEMO

31 Kinect jako nietypowy mikrofon.

32 Cechy mikrofonu Format dźwięku Cztery mikrofony
16-kHz, 16-bit mono pulse code modulation (PCM) Cztery mikrofony 24 bitowy konwerter analog-cyfra Sprzętowa redukcja szumów i echa

33 Audio API

34 DEMO

35 Bonus – gdzie szukać informacji
Dokumentacja SDK