KINECT Jakub Hossa Microsoft Student Partner

O czym będziemy mówić? Co to jest Kinect? Jak działa? Jak przygotować komputer do pracy z Kinectem? Kilka słów o kamerze i mikrofonie Sekcja zwłok – zabawy szkieletem SDK v1.5, co nowego? Demo Q&A

Co to jest i jak działa Kinect?

SENSOR 3D KAMERA MIKROFON WIELOPŁASZCZYZNOWY KONTROLER NACHYLENIA

Jak to działa? – semantyczna segmentacja obrazu w czasie rzeczywistym

Jak to działa? - prawdopodobieństwo

Jak to działa? – drzewa decyzyjne, uczenie maszynowe

Jak przygotować komputer do pracy z Kinectem?

Wymagania sprzętowe: Komputer z procesorem co najmniej dual-core 2.66-GHz 2 GB RAM (rekomendowane 4 GB) Karta graficzna kompatybilna z Windows 7 i wspierająca DirectX 9.0c Kontroler Kinect wraz z zasilaczem

Pobierz i zainstaluj następujące rzeczy: Microsoft® Visual Studio® 2010 Express lub dowolną inną wersję Visual Studio 2010 .NET Framework 4.0 (zainstalowany z Visual Studio 2010) Gdy chcemy korzystać z funkcji rozpoznawania mowy: Microsoft Speech Platform Software Development Kit (Version 11) Gdy chcemy korzystać z Avateering’u i XNABasics: Microsoft XNA Game Studio 4.0

Pobierz i zainstaluj następujące rzeczy: Kinect for Windows SDK v1.5 Kinect for Windows Developer Toolkit Dostępne na: http://www.kinectforwindows.org

Jak Kinect widoczny jest w systemie?

Kilka słów o kamerze

Jakie informacje otrzymujemy z kamery?

Definicja odległości Zakres: od 80 cm do 4 m Near Mode: 40 cm do 3 m Odległość = 0 oznacza odległość nieznaną Śledzenie do 6 osób – dwie w trybie aktywnym Indeks playera 0 – brak gracza 1 – gracz 0 2 – gracz 1

DEMO

Kinect jako nietypowy mikrofon.

3 słowa o mikrofonach

Audio API

DEMO

Sekcja zwłok – zabawy szkieletem.

Dane o szkielecie

Skeleton API

Kości Każdy gracz ma określone wartości <x, y, z> dla każdej kości W trybie śledzenia dwóch graczy Kinect widzi punkty dla każdego osobno! Każda kość ma przypisany jeden ze stanów: Tracked, Not tracked, Inferred Inferred – kość jest zasłonięta przez inną lub jakiś przedmiot, itp. Not Tracked – raczej nie występuje, ale trzeba to sprawdzać

SDK v1.5, co nowego? Seated mode skeletal tracking – śledzenie górnych części ciała (10 punktów) Ulepszone śledzenie szkieletowe Face tracking! Developer toolkit Kinect Studio Więcej języków, więcej dialektów

DEMO

Bonus – gdzie szukać informacji http://www.kinectforwindows.org Dokumentacja SDK http://msdn.microsoft.com/en-us/library/hh855347 http://channel9.msdn.com/

DEMO

Q&A Jakub Hossa jakub.hossa@studenpartner.com http://facebook.com/jakub.hossa http://kod.prz.edu.pl http://facebook.com/skni.kod