Sieć neuronowa w inteligentnym pojeździe Na podstawie pracy Mike’a Foedischa i Aya Takeuchi Adaptive Real-Time Road Detection Using Neural Networks Tomasz.

Prezentacja na temat: "Sieć neuronowa w inteligentnym pojeździe Na podstawie pracy Mike’a Foedischa i Aya Takeuchi Adaptive Real-Time Road Detection Using Neural Networks Tomasz."— Zapis prezentacji:

1 Sieć neuronowa w inteligentnym pojeździe Na podstawie pracy Mike’a Foedischa i Aya Takeuchi Adaptive Real-Time Road Detection Using Neural Networks Tomasz Kozakiewicz, Wrocław, 17.05.2005

2 Sieć neuronowa w inteligentnym pojeździe, Tribolite – autonomous vacuum cleaner from Electrolux

3 Cel: Określenie czy określony obszar jest drogą (betonową) czy nie. Główne cechy:  wykorzystuje kamerę (przechwytującą obraz z punktu widzenia kierowcy),  działa w czasie rzeczywistym,  niezależny od linii itp. oznaczeń drogowych.

4 Podstawowe kroki działania: 1.krótki krok inicjalizacyjny – zebranie próbek danych, 2.trening sieci neuronowej, 3.zastosowanie sieci do detekcji drogi.

5 Postać danych - obraz jest w postaci RGB, - cechy: + 3 x 8 bitów na kolory, + wartości współrzędnych x i y rozważanych punktów (znormalizowane). Każdy wektor jest następnie ręcznie oznaczany jako droga lub nie-droga.

6 Trening sieci

7 Detekcja drogi

8 Przykładowy wynik

9 Zastrzeżenie do algorytmu Mimo, że detekcja drogi przez otrzymaną sieć odbywa się automatycznie i może być wykonywana w czasie rzeczywistym, to trenowanie wymaga ręcznych oznaczeń wprowadzanych przez człowieka  Obniża to nieco możliwości wykorzystywania tego rozwiązania w czasie rzeczywistym ;-)

10 przy podstawowych założeniach systemu bez zmian… Adaptacyjne podejście rzeczywiście dla czasu rzeczywistego

11 Dodatkowa obserwacja

12 Bazując na oczekiwanych obszarach wg poprzedniego obrazka, bierzemy punkty z tych obszarów i automatycznie oznaczamy je jako droga lub nie-droga. A nieco dokładniej określamy to nie dla pojedynczych punktów a dla pewnych obszarów / okien…

13

14 Wykorzystanie okien z poprzedniego slajdu (wraz z oznaczeniami droga czy nie-droga) jako filtrów

15 Dlaczego nie powinno się cały czas uczyć sieci w ten sposób, czyli np. zakręt

16 Post processing, aby zwiększyć precyzję… 1.szumy są redukowane filtrami graficznymi erosion & dilationm, 2.jeśli droga na 2 kolejnych obrazach nie różni się znacznie, informacje z poprzednich obrazków o segmentacji mogą być wykorzystywane.

17 Implementacja – strona techniczna Dell Latitude laptop 2,2GHz, z Red Hatem 9, Unibrain Fire-i (320x240 pixels) firewire camera (30 klatek / sek.), aplikacja napisana w C++.

18 Implementacja – sieć neuronowa 26 inputs (24 bitów RGB + koordynaty x i y) sieć trzywarstwowa: - dwie pierwsze warstwy zawierają po 4 neurony, - ostatnia warstwa złożona z 1 neuronu zwraca wynik, wykorzystuje wsteczną propagację.

19 Implementacja c.d. Dla umożliwienia działania w czasie rzeczywistym: każdy obrazek jest zmniejszany z 320x240 do 160x120, wybierany jest co trzeci piksel wraz z otoczeniem o rozmiarach 7x7 (więc nachodzą te okna na siebie trzema pikselami z każdej strony), Aktualnie czas segmentacji drogi wynosi ok. 60 ms / ramkę

20 Wyniki testy na różnych rodzajach dróg, 4-sekundowe sekwencje wideo, wykresy błędów pokazują co 25 klatkę.

21 Test 1, prosta droga, wyniki

22 Test 2, droga z cieniami, wyniki

23 Test 3, łuk drogi, lekka zmiana otoczenia, wyniki

24 Test 4, duża zmiany otoczenia i drogi, wyniki

25 Podsumowanie wyników

26 Uwagi, pomysły, plany na przyszłość trening sieci zajmuje aktualnie ok. 600 ms, nowe dane – bufor FIFO, rozwiązanie dla dynamicznych zmian, wykorzystywanie informacji o ruchu pojazdu, zastosowanie algorytmów dla detekcji nadjeżdżających pojazdów.

27 Co jeszcze się dzieje w kierunku intelligent vehicles? n.p. kilka skrótów: CC - (Cruise Control) system stabilizacji prędkości jazdy iCCS - system utrzymujący stałą odległość od poprzedzającego pojazdu DAS - system identyfikujący pasy ruchu, znaki drogowe i przeszkody DSC - układ kontroli stabilności pojazdu DTC - układ dynamicznej kontroli trakcji) EOBD - (European On- Board Diagnostic) układ ten stanowi centrum gromadzenia wszelkich funkcji diagnostycznych ICC (Intelligent Cruise Control)- inteligentny system stabilizacji prędkości jazdy ICS - zespolony system kontroli układów samochodowych PTS - system ułatwiający parkowanie (wyposażony w czujniki odległości) RDW - system informujący o zmianie ciśnienia w oponach SRS - system bezpieczeństwa pasażerów TPMS - układ monitorujący ciśnienie powietrza w ogumieniu

28 Czym to grozi?

29 Czym więc jeździć?

30 Wykorzystane materiały: [1] Mike Foedisch, Aya Takeuchi, Adaptive Real-Time Road Detection Using Neural Networks, Waschington DC, 3- 6.10.2004. [2] Albert Schmidt, A Modular Neural Network Architecture with Additional Generalization Abilities for High Dimensional Input Vectors, Manchester Metropolitan University, Department of Computing, September 1996. [3] Materiały informacyjne firmy Electrolux, m.in. www.electrolux.pl www.electrolux.pl [4] słowniczek ze strony http://motoryzacja.fazi.pl/http://motoryzacja.fazi.pl/ [5] BT Exact Technologies, Technology timeline, http://www.cs.uu.nl/people/jan/BT2002.pdf http://www.cs.uu.nl/people/jan/BT2002.pdf

31 koniec dziękuję za uwagę