Programowanie sieciowe Laboratorium 3

Prezentacja na temat: "Programowanie sieciowe Laboratorium 3"— Zapis prezentacji:

1 Programowanie sieciowe Laboratorium 3
Zadanie regresji

2 Plan 1. Dane ze wskaźnikami giełdowymi
2. Perceptron wielowarstwowy z jedną warstwą ukrytą do zadania regresji

3 Dane ze wskaźnikami giełdowymi

4 Budowa zbioru danych Kodowanie danych
xi = [yi, yi+1, yi+2,... ,yi+k] yi =yn(i)+k i=1,..,N-(k+1) Model perceptronu wielowarstowego z jedną warstwą ukrytą do zadania klasyfikacji Funkcja tgh lub sigmoid w warstwie ukrytej i funkcja liniowa na wyjściu

5 Algorytmy uczenia punkt startowy optymalizacji
class sklearn.neural_network.MLPRegressor(hidden_layer_sizes=(100, ), activation=’relu’, solver=’adam’, alpha=0.0001, batch_size=’auto’, learning_rate=’constant’, learning_rate_init=0.001, power_t=0.5, max_iter=200, shuffle=True, random_state=None, tol=0.0001, verbose=False, warm_start=False, momentum=0.9, nesterovs_momentum=True, early_stopping=False, validation_fraction=0.1, beta_1=0.9, beta_2=0.999, epsilon=1e-08, n_iter_no_change=10 Konfiguracja algorytmów szukania minimum funkcji błędu Wielokrotne starty optymalizacji GridSearchCV learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV .html#sklearn.model_selection.GridSearchCV

6 Algorytmy uczenia perceptronu wielowarstwowego
'adam', 'lbfgs', 'sgd' solver : {‘lbfgs’, ‘sgd’, ‘adam’}, default ‘adam’ The solver for weight optimization. ‘lbfgs’ is an optimizer in the family of quasi-Newton methods. ‘sgd’ refers to stochastic gradient descent. ‘adam’ refers to a stochastic gradient-based optimizer proposed by Kingma, Diederik, and Jimmy Ba

7 Przegląd zupełny przestrzeni hiper-parametrów
Liczba neuronów Współczynnik uczenia Użyty algorytm do treningu

8 Sposób budowy regresora
1. Robimy skanowanie skanowanie przestrzenie parametrów takich jak algorytm, liczba neuronów 10:10:300, oraz parametr uczenie 0.1,0.01,0.001, Skanowanie może zostać wykonane za pomocą polecenia GridSearchCV albo zaimplementowane w 3 zagnieżdżonych pętlach. 1.1 Dla każdego zestawu parametrów trenujemy sieć za pomocą MLPClassfier i sprawdzamy jego dzialanie na zbiorze walidacyjnym (tzn danych, które nie były użyte do treningu ani do wyliczania funkcji celu). 2. Pętla, w której dzielimy zbiór danych treningowych na część treningową i testową w stosunku 70% dane treningowe, 30% dane testowe za pomocą polecenia learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html Pętla ma wykonać 100 iteracji – ma więc wygenerować 100 różnych podziałów zbioru treningowego. 2. Dla każdego podziału i dla aktualnego modelu zbieramy wartość funkcji celu oraz błąd na zbiorze walidacyjnym Rozwiązaniem jest ten klasyfikator, który ma najmniejszy średni błąd na zbiorze walidacyjnym.