Going deeper with convolutions Przegląd cech modelu GoogLeNet

ILSVRC Large Scale Visual Recognition Challenge Klasyfikacja i rozpoznawanie obiektów w obrazach z http://image-net.org/ Coroczny konkurs, otwarty dla wszystkich (jeszcze 3 dni żeby zgłosić się do tegorocznej edycji :) ) Wyniki edycji 2014 - http://image-net.org/challenges/LSVRC/2014/results

Konwolucyjne sieci neuronowe Konwolucja Korzysta ze specjalnej (dwuwymiarowej) struktury obrazka Szuka cech w różnych miejscach obrazka Zasady działania konwolucyjnych sieci neuronowych https://www.youtube.com/watch?v=rxKrCa4bg1I - Neural networks [9.1] : Computer vision Convolutional neural network - Wikipedia

Konwolucyjne sieci neuronowe Konwolucyjna sieć neuronowa Warstwy konwolucyjne - nakładanie filtrów na fragmenty obrazka, dzięki czemu uzyskiwane są cechy Warstwy ukryte - bardziej standardowe, „rozumieją” co oznaczają cechy wytworzone w warstwach konwolucyjnych Max pooling (metoda subsamplingu) – zmniejszanie ilości cech przez wybranie maksymalnej wartości ze wszystkich cech w pewnym obszarze

GoogLeNet model Zwycięzca poprzedniej edycji ILSVRC (2014) Wykrywanie obiektów z dodatkowymi danymi treningowymi (pre-trening z pomocą danych z ILSVRC12) Głęboka konwolucyjna sieć neuronowa We propose a deep convolutional neural network architecture codenamed Inception, which was responsible for setting the new state of the art for classification and detection in the ImageNet Large-Scale Visual Recognition Challenge 2014 (ILSVRC14).

GoogLeNet model - idee Większe (głębsze i szersze) sieci dają lepsze rezultaty Nadmierne dopasowanie (overfitting) Duże wymagania obliczeniowe – a jeżeli wagi na połączeniach między neuronami są bliskie zeru, sporo mocy obliczeniowej się marnuje The most straightforward way of improving the performance of deep neural networks is by increasing their size. This includes both increasing the depth – the number of levels – of the network and its width: the number of units at each level. This is as an easy and safe way of training higher quality models, especially given the availability of a large amount of labeled training data. However this simple solution comes with two major drawbacks. Bigger size typically means a larger number of parameters, which makes the enlarged network more prone to overfitting, especially if the number of labeled examples in the training set is limited. This can become a major bottleneck, since the creation of high quality training sets can be tricky and expensive, especially if expert human raters are necessary to distinguish between fine-grained visual categories like those in ImageNet (even in the 1000-class ILSVRC subset). Another drawback of uniformly increased network size is the dramatically increased use of computational resources. For example, in a deep vision network, if two convolutional layers are chained, any uniform increase in the number of their filters results in a quadratic increase of computation. If the added capacity is used inefficiently (for example, if most weights end up to be close to zero), then a lot of computation is wasted. Since in practice the computational budget is always finite, an efficient distribution of computing resources is preferred to an indiscriminate increase of size, even when the main objective is to increase the quality of results.

GoogLeNet model - idee Zamiast stosować w pełni połączone ze sobą warstwy, można skorzystać z połączeń rzadkich Pozwala w łatwiejszy sposób zaprojektować optymalny kształt kolejnych warstw sieci – analizując wyjścia poprzedniej warstwy, można znaleźć i połączyć skorelowane neurony[1] Brak efektywnego sposobu na wykonywanie obliczeń na rzadkich strukturach danych (mnożenie macierzy jest bardzo szybkie na GPU) Their main result states that if the probability distribution of the data-set is representable by a large, very sparse deep neural network, then the optimal network topology can be constructed layer by layer by analyzing the correlation statistics of the activations of the last layer and clustering neurons with highly correlated outputs. [1] Sanjeev Arora, Aditya Bhaskara, Rong Ge, and Tengyu Ma. Provable bounds for learning some deep representations. CoRR, abs/1310.6343, 2013.

GoogLeNet model - idee Połączenie obu sposobów Aproksymacja rzadkiej sieci neuronowej za pomocą mniejszej, gęstej sieci

Architektura Sieć składa się z modułów nazywanych „Inception” Jeden moduł zawiera pewną liczbę konwolucji o rozmiarach 1x1, 3x3 oraz 5x5 – większe konwolucje częściej znajdywane w wyższych warstwach Na wejściu i wyjściu modułu informacja jest skompresowana

Architektura Podczas trenowania dodano pomocnicze klasyfikatory na wyjściach pośrednich warstw Standardowa propagacja wsteczna błędu w tak głębokiej sieci jest problematyczna Zalety Zmniejszenie wymiarowości na warstwach łączących moduły Inception pozwala na złożenie sieci z dużej ich liczby bez znacząco zwiększonych wymagań obliczeniowych (sieć zgłoszona w ILSVRC14 jest głęboka na 27 warstw)

Trenowanie sieci Czas potrzebny na wyuczenie sieci GoogLeNet na „kilku high-endowych GPU” oceniany jest na mniej niż tydzień Skorzystano z optymalizacji stochastycznej (stochastic gradient descent)

Zastosowanie Wytrenowana sieć GoogLeNet jest dostępna w Caffe – frameworku dla głębokich sieci neuronowych (http://caffe.berkeleyvision.org/) Przykładowe zastosowanie w poście „How I Made a Neural Network Web Application in an Hour” - http://www.exaptive.com/blog/how-i-made-a-neural- network-web-application-in-an-hour