KINECT – czyli z czym to się je?. O czym będziemy mówić? Obecna oferta rynkowa. Co to jest i jak działa Kinect? Jak przygotować komputer do pracy z Kinectem?

Prezentacja na temat: "KINECT – czyli z czym to się je?. O czym będziemy mówić? Obecna oferta rynkowa. Co to jest i jak działa Kinect? Jak przygotować komputer do pracy z Kinectem?"— Zapis prezentacji:

1 KINECT – czyli z czym to się je?

2 O czym będziemy mówić? Obecna oferta rynkowa. Co to jest i jak działa Kinect? Jak przygotować komputer do pracy z Kinectem? Kinect SDK rzut oka. Kinect jako nietypowa kamera internetowa. Świat nie jest płaski – wkraczamy w 3D. Sekcja zwłok – zabawy szkieletem. Kinect jako nietypowy mikrofon.

3 Obecna oferta rynkowa.

4 Co oferuje rynek?

5 Co to jest i jak działa Kinect?

6 KAMERA MIKROFON WIELOPŁASZCZYZNOWY KONTROLER NACHYLENIA SENSOR 3D

7 3 słowa o mikrofonach

8 Jak to działa? – semantyczna segmentacja obrazu w czasie rzeczywistym

9 Jak to działa? - prawdopodobieństwo

10 Jak to działa? – drzewa decyzyjne, uczenie maszynowe

11 Jak przygotować komputer do pracy z Kinectem?

12 Wymagania sprzętowe: Komputer z procesorem co najmniej dual-core 2.66-GHz 2 GB RAM (rekomendowane 4 GB) Karta graficzna kompatybilna z Windows 7 i wspierająca DirectX 9.0c Kontroler Kinect wraz z zasilaczem

13 Pobierz i zainstaluj następujące rzeczy: Microsoft® Visual Studio® 2010 Express lub dowolną inną wersję Visual Studio 2010 Microsoft® Visual Studio® 2010 Express.NET Framework 4.0 Gdy korzystamy z kodu niezarządzanego (C++): Microsoft DirectX® SDK - June 2010 lub wersję późniejszą Runtime for Microsoft DirectX® 9 Microsoft DirectX® SDK - June 2010 Runtime for Microsoft DirectX® 9 Gdy chcemy korzystać z funkcji rozpoznawania mowy: Microsoft Speech Platform Runtime, version 10.2 (x86 edition) Microsoft Speech Platform - Software Development Kit, version 10.2 (x86 edition) Kinect for Windows Runtime Language Pack, version 0.9 Microsoft Speech Platform Runtime, version 10.2 Microsoft Speech Platform - Software Development Kit, version 10.2 Kinect for Windows Runtime Language Pack, version 0.9

14 Pobierz i zainstaluj następujące rzeczy: http://research.microsoft.com/en- us/um/redmond/projects/kinectsdk/defau lt.aspx

15 Jak Kinect widoczny jest w systemie?

16 Kinect SDK rzut oka.

17 DEMO

18 Kinect jako nietypowa kamera internetowa.

19 Jakie informacje otrzymujemy z kamery?

20 DEMO

21 Świat nie jest płaski – wkraczamy w 3D.

22 Dane z kamery - przypomnienie

23 Bufor głebokości ImageFrame.Image.Bits Tablica bajtów public byte[] Bits; – punkt startu – lewy górny róg obrazka, – zapis danych – od lewej do prawej, a potem krok w dół, – mówi nam o odległości każdego piksela.

24 Jak obliczyć odległość piksela? 2 bajty per piksel (16 bitów) Depth – odległość każdego piksela – Distance (0,0) = (int)(Bits[0] | Bits[1] << 8); DepthAndPlayer Index – odległość dla każdego playera – Distance (0,0) = (int)(Bits[0] >> 3 | Bits[1] << 5);

25 Definicja odległości Zakres: od 850 mm do 4000 mm Odległość = 0 oznacza odległość nieznaną Indeks playera – 0 – brak gracza – 1 – gracz 0 – 2 – gracz 1

26 DEMO

27 Sekcja zwłok – zabawy szkieletem.

28 Skeleton API

29 Dane o szkielecie

30 Kości Nazewnictwo w języku polskim Można śledzić na raz dwóch graczy Każdy gracz ma określone wartości dla każdej kości Każda kość ma przypisany jeden ze stanów: – Tracked, Not tracked, Inferred Inferred – kość jest zasłonięta przez inną lub jakiś przedmiot itp. Not Tracked – raczej nie występuje, ale trzeba to sprawdzać

31 DEMO

32 Kinect jako nietypowy mikrofon.

33 Audio API

34 DEMO

35 Bonus – gdzie szukać informacji http://research.microsoft.com/en- us/um/redmond/projects/kinectsdk http://research.microsoft.com/en- us/um/redmond/projects/kinectsdk Dokumentacja SDK http://channel9.msdn.com/

36