Programowanie sieciowe Laboratorium 3 Zadania klasyfikacji

Plan 1. Dane mnist 2. Perceptron wielowarstwowy z jedną warstwą ukrytą do zadania klasyfikacji 3. Serwis www.kaggle.com

Dane mnist http://yann.lecun.com/exdb/mnist/

Klasyfikacja wieloklasowa Kodowanie wyjścia hot-one n-ta klasa => [0 0 … 1 … 0] n-ta pozycja Model perceptronu wielowarstowego z jedną warstwą ukrytą do zadania klasyfikacji Funkcja softmax na wyjściu sieci dla klasyfikacji wieloklasowej https://corochann.com/mnist-training-with-multi-layer-perceptron-1149.html https://scikit-learn.org/stable/modules/neural_networks_supervised.html

Cross-entropia logistyczna jako funkcja celu https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.html https://datascience.stackexchange.com/questions/9302/the-cross-entropy-error- function-in-neural-networks

Algorytmy uczenia punkt startowy optymalizacji class sklearn.neural_network.MLPClassifier(hidden_layer_sizes=(100, ), activation=’relu’, solver=’adam’, alpha=0.0001, batch_size=’auto’, learning_rate=’constant’, learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10) Konfiguracja algorytmów szukania minimum funkcji błędu Wielokrotne starty optymalizacji GridSearchCV https://scikit- learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV .html#sklearn.model_selection.GridSearchCV

Algorytmy uczenia perceptronu wielowarstwowego 'adam', 'lbfgs', 'sgd' solver : {‘lbfgs’, ‘sgd’, ‘adam’}, default ‘adam’ The solver for weight optimization. ‘lbfgs’ is an optimizer in the family of quasi-Newton methods. ‘sgd’ refers to stochastic gradient descent. ‘adam’ refers to a stochastic gradient-based optimizer proposed by Kingma, Diederik, and Jimmy Ba

Przegląd zupełny przestrzeni hiper-parametrów Liczba neuronów Współczynnik uczenia Użyty algorytm do treningu

Sposób budowy klasyfikatora 1. Robimy skanowanie skanowanie przestrzenie parametrów takich jak algorytm, liczba neuronów 10:10:300, oraz parametr uczenie 0.1,0.01,0.001, 0.0001. Skanowanie może zostać wykonane za pomocą polecenia GridSearchCV albo zaimplementowane w 3 zagnieżdżonych pętlach. 1.1 Dla każdego zestawu parametrów trenujemy sieć za pomocą MLPClassfier i sprawdzamy jego dzialanie na zbiorze walidacyjnym (tzn danych, które nie były użyte do treningu ani do wyliczania funkcji celu). 2. Pętla, w której dzielimy zbiór danych treningowych na część treningową i testową w stosunku 70% dane treningowe, 30% dane testowe za pomocą polecenia https://scikit- learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html Pętla ma wykonać 100 iteracji – ma więc wygenerować 100 różnych podziałów zbioru treningowego. 2. Dla każdego podziału i dla aktualnego modelu zbieramy wartość funkcji celu oraz błąd na zbiorze walidacyjnym. 3. Rozwiązaniem jest ten klasyfikator, który ma najmniejszy średni błąd na zbiorze walidacyjnym.

Drugie zadanie Kaggle.com - klasyfikacja