Sztuczne Sieci Neuronowe Wstęp Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, WFAiIS Laboratorium Neurokognitywne ICNT Uniwersytet Mikołaja Kopernika.

Prezentacja na temat: "Sztuczne Sieci Neuronowe Wstęp Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, WFAiIS Laboratorium Neurokognitywne ICNT Uniwersytet Mikołaja Kopernika."— Zapis prezentacji:

1 Sztuczne Sieci Neuronowe Wstęp Wykład 1 Włodzisław Duch Katedra Informatyki Stosowanej, WFAiIS Laboratorium Neurokognitywne ICNT Uniwersytet Mikołaja Kopernika Google: W. Duch

2 Sprawy formalne Wykład 30 g + Lab 30 g Strona WWW zawiera informacje na temat formy zaliczenia. http://www.is.umk.pl/~duch/Wyklady/NN_plan.html Rejestracja w USOS do 7.08.2016 Inne podobne przedmioty: Uczenie maszynowe, algorytmy i systemy datamining. Logika rozmyta. Bioinformatyka. Sieci neuronowe i uczenie maszynowe to najbardziej obecnie zaawansowane dziedziny informatyki. Wszystkie duże firmy inwestują w te technologie i szukają pracowników! Kursy sieci neuronowych Google i Microsoft.

3 Co to jest ? Informatyka: definicja Association for Computing Machinery The systematic study of algorithmic processes that describe and transform information: their theory, analysis, design, efficiency, implementation, and application … Denning, et al. 1988 Co z zagadnieniami, dla których nie ma efektywnych algorytmów? Lub nie ma żadnych algorytmów? Tam, gdzie mózgi radzą sobie z łatwością metody klasycznej informatyki były najsłabsze. Ale to się szybko zmienia …

4 Inteligencja obliczeniowa Computational Intelligence (CI) Zajmuje się rozwiązywaniem problemów, które nie są efektywnie algorytmizowalne. Nie ma efektywnego algorytmu? Drobna zmiana może wymagać całkiem innego programu! Nie można przewidzieć wszystkich zmian. Rozwiązanie wymaga inteligencji; jeśli szukamy rozwiązania za pomocą obliczeń to jest to „inteligencja obliczeniowa”. Jeśli znane są przykłady dobrych rozwiązań można się na ich podstawie próbować nauczyć działać podobny sposób.

5 Problemy efektywnie niealgorytmizowalne Problemy NP-trudne – to klasyczne zagadnienia informatyki. Liczba kroków algorytmu dla złożonych sytuacji rośnie w sposób szybszy niż jakikolwiek wielomian liczby elementów (złożoności specyfikacji problemu). Teoria złożoności obliczeniowej. Przykład: problem komiwojażera. Dla 100 miejsc mamy 100!=10 158 możliwości. Problemy praktyczne: gry planszowe, układanie planu, upakowanie towarów, optymalizacja procesów, kolejkowanie, badania operacyjne.

6 Problemy niealgorytmizowalne Przykłady problemów niealgorytmizowalnych całkowcie lub częściowo niealgorytmizowalnych: rozumienie sensu zdań, rozwiązywanie nietypowych problemów, działania twórcze, decyzje intuicyjne; rozpoznawanie twarzy i obrazów, rozpoznawanie pisma ręcznego, rozpoznawanie mowy i sygnałów, percepcja, sterowanie robotem, nieliniowymi układami, diagnostyka medyczna, planowanie terapii. Wiele tego typu problemów nie ma natury kombinatoryczej podobnie jak problemy optymalizacyjne.

7 CI i sztuczna inteligencja Perspektywa kognitywistyczna: CI: percepcja i sterowanie: zachowania sensomotoryczne – sieci neuronowe i uczenie maszynowe; AI: wyższe czynności poznawcze: logika, język, rozumowanie, rozwiązywanie problemów. AI to część CI posługująca się symboliczną reprezentacją wiedzy, zajmuje się rozumowaniem, tworzeniem systemów ekspertowych. Jednak często nazwa „sztuczna inteligencja” używana jest na określenie wszystkiego, co się kojarzy z inteligencją maszyn. CI: automatyzacja procesów akwizycji wiedzy. CI-AI: niewielkie nakrywanie, trochę systemów hybrydowych. Przykład: iOmniscientiOmniscient: Neural Networks and Heuristic Algorithms

8 CI: problemy 1 Kilka problemów do rozwiązania których potrzebne są metody inteligencji obliczeniowej: Klasyfikacja struktur: rozpoznawanie obrazów, mowy, pisma, struktur chemicznych, zachowań człowieka lub maszyny, stanu zdrowia, sensu wyrazów i zdań … Odkrywanie wiedzy w bazach danych, zrozumienie struktury danych, konstrukcja wyjaśniających teorii. Selekcja cech - na co warto zwrócić uwagę, co jest niepotrzebne; redukcja wymiarowości problemu. Inteligentne szukanie z uwzględnieniem semantyki pytania – szukarki, Information Retrieval (IR).

9 CI: problemy 2 Inteligentne wspomaganie decyzji: diagnozy medyczne, decyzje menedżerskie. Gry strategiczne: uczenie się na własnych i cudzych błędach. Kontrola: jakości produktów, ostrości obrazu kamery, dostrojenia aparatury. Sterowanie: pociągu, samochodu, urządzeń technicznych, fabryk, społeczeństwa... Planowanie: budowa autostrad, wieżowców, optymalizacja działań i organizacji, planów działania. Optymalne spełnianie ograniczeń, optymalizacja wielokryterialna, dopełnianie brakującej wiedzy.

10 CI: problemy 3 Detekcja regularności, analiza interesujących skupień, samoorganizacja, uczenie spontaniczne, geny, białka. Separacja sygnałów z wielu źródeł: oczyszczanie obrazów z szumów, oddzielanie artefaktów, separacja sygnałów akustycznych, sygnałów. Prognozowanie: wskaźników ekonomicznych, pogody, plam na Słońcu, decyzji zakupu, intencji człowieka. Askrypcja danych: łączenie informacji z kilku źródeł. Wizualizacja informacji ukrytej w bazach danych. Zrozumienie umysłu: doświadczeń psychologicznych, sposobu rozumowania i kategoryzacji, poruszania się i planowania, procesów uczenia.

11 CI: inspiracje 1 CI czerpie inspiracje z różnych źródeł, w tym z : Neurobiologii: jak robią to mózgi? Sztuczne sieci neuronowe – duża dziedzina, sieci wszelkich rodzajów, modele hierarchiczne, samoorganizujące, wielowarstwowe. Część bliska neurobiologii – computational cognitive neurosciences, szczegółowe modele neuronów. Część bliska statystyki i rozpoznawania wzorców (pattern recognition). Część pośrednia: różne modele inspirowane przez działanie neuronów, CMAC (Cerebellar Model Arithmetic Computer); SDM (Sparse Distributed Memory) ec

12 CI: inspiracje 2 Psychologii: jak robią to umysły? Modele koneksjonistyczne: sieci i rozproszone przetwarzanie równoległe, ale węzły nie działają jak neurony – sieci Bayesowskie, modele graficzne, uczenie się przez porcjowanie, mechanizmy uwagi. Inne inspiracje: Biologii: algorytmy ewolucyjne, genetyczne, rojowe, mrówkowe. Medycyny: działanie układu immunologicznego. Logiki: uwzględnianie informacji niepewnej, logika rozmyta (fuzzy), logika przybliżona (rough), teoria wiarygodności Dempstera-Shafera (posybilistyczna), logika wielowartościowa.

13 CI: inspiracje 3 Z uczenia maszynowego: szukanie reguł symbolicznych, automatyczna akwizycja wiedzy. Metody oparte na ocenie podobieństwa do sąsiadów, np. NNC (Nearest Neighbor Classifiers), k-NN Metody oparte na śladach pamięci (memory-based methods, memory- based reasoning), szukania interesujących prototypów. Statystyki: statystyka wielowymiarowa, klasyfikatory Bayesowskie, sieci probabilistyczne, klasteryzacja, kwantyzacja wektorowa. Teorii wnioskowania: podejmowanie decyzji, metody probabilistyczne, ocena ryzyka, drzewa decyzji.

14 CI: inspiracje 4 Teorii informacji: maksymalizacji entropii, wartości oczekiwanych, informacji wzajemnej... Matematyki stosowanej: teoria optymalizacji, estymacji, badań operacyjnych, taksonomia numeryczna, teoria aproksymacji, regresji wielu zmiennych, falek... Metod wizualizacji wielowymiarowych danych. Informatyki: współbieżne systemy programowania. Fizyki: fizyka statystyczna, metody Monte Carlo, stopniowe studzenie, funkcje potencjalne, układy dynamiczne, teoria chaosu, synergetyka. Nauk technicznych: teorii sterowania, automatyki, robotyki.

15 Inteligencja Obliczeniowa Computational Intelligence Data + Knowledge Artificial Intelligence AI, ES Logika rozmyta Pattern Recognition Uczenie maszynowe Metody probabilistyki Statystyka wielowymiarowa Wizuali- zacja ND Algorytmy ewolucyjne Sieci neuronowe

16 Cel dalekosiężny AI: test Turinga, czyli maszyna nieodróżnialna od człowieka przy zdalnej konwersacji. Wymaga nie tylko zdolności lingwistycznych, ale i budowania modeli umysłowych, szerokiej wiedzy o świecie, zrozumienia stanów emocjonalnych... Nie da się udawać, chociaż oszukać naiwnych nie jest trudno (np. w konkursach chatterbotów o nagrodę Loebnera). CI: sztuczny szczur? Przetrwanie autonomicznego organizmu we wrogim środowisku, wymaga percepcji, kontroli, pamięci skojarzeniowej, planowania, antycypacji … Praktyczne: autonomiczny pojazd, robot domowy, żołnierz.

17 Adaptacja Cecha wielu systemów CI: rozwiązywanie zadań na podstawie znanych przykładów, uczenie się z empirycznych danych zamiast programowania rozwiązania. Systemy adaptujące: zmieniają wewnętrzną strukturę dostosowując się do sytuacji (np. mózgi, społeczeństwa). Adaptacja to cecha inteligencji. Szeroka klasa, obejmująca sieci neuronowe i uczenie maszynowe. Na tym wykładzie skupimy się na modelach sieci neuronowych. Systemy adaptujące się są zwykle nieliniowe, często rozproszone, składające się z wielu elementów oddziaływujących w trudny do przewidzenia sposób. 3 podstawowe rodzaje uczenia się w takich układach: uczące się pod nadzorem, z krytykiem i samodzielnie, bez nadzoru.

18 Uczenie bez nadzoru Znajdź interesujące struktury w danych. Uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych, korelacja zachowań systemu ze zmianą tych struktur – dominuje w okresie niemowlęcym (również budowa teorii). Podstawowa metoda to klasteryzacja oparta na jakiejś mierze podobieństwa, szukanie struktur. Unsupervised learning

19 Uczenie z nadzorem Zadaj pytanie – pokaż opis obiektu (wektor własności), przypisz mu etykietę lub jakieś wartości liczbowe, porównaj odpowiedź z pożądaną. Uczenie nadzorowane przez nauczyciela – szkolne. Zmiana parametrów wewnętrznych – adaptacja tak, by w przyszłości zrobić jak najmniej błędów. Celem nie jest uczenie „na pamięć”, lecz generalizacja. Supervised learning.

20 Uczenie z krytykiem Optymalizacja zysków na dłuższą metę. Np. wykonanie sekwencji czynności przez robota, lub gry z przeciwnikiem - krytyką jest przegrana lub wygrana na końcu partii a nie pojedynczych ruchów. Uczenie z krytykiem lub z „wzmocnieniem” (reinforcement) pożądanych zachowań po dłuższym okresie. Uczenie dojrzałe (nabieranie „mądrości”). Reinforcement learning.

21 LiteraturaLiteratura Korbicz J, Obuchowicz A, Uciński D, Sztuczne sieci neuronowe. Podstawy i zastosowania. Akademicka Oficyna Wydawnicza, Warszawa, 1994 Stanisław Osowski Sieci neuronowe w ujęciu algorytmicznym Wydawnictwa Naukowo-Techniczne 1996 J. Żurada, M. Barski, W. Jędruch Sztuczne sieci neuronowe Wydawnictwo Naukowe PWN 1996 Ryszard Tadeusiewicz, Tomasz Gąciarz, Barbara Borowik, Bartosz Lepe, Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#. Polska Akademia Umiejętności 2008 Tadeusiewicz R, Korbicz J, Rutkowski L, Duch W (Eds), Sieci neuronowe w inżynierii biomedycznej. Wyd. Exit, Warszawa 2013, str 775.Sieci neuronowe w inżynierii biomedycznej Duch W, Korbicz J, Rutkowski L, Tadeusiewicz R (Eds), Biocybernetyka i Inżynieria Biomedyczna 2000. Tom 6: Sieci neuronowe. Akademicka Oficyna Wydawnicza EXIT, Warszawa 2000, str 850Biocybernetyka i Inżynieria Biomedyczna 2000. Tom 6: Sieci neuronowe.

22 Materiały, tutoriale AI/NN/ML Tutorials G. Hinton – tutoriale Pełny tekst książki: Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C# Programy do książki Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C# (MS Visual Studio)Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C#Odkrywanie właściwości sieci neuronowych przy użyciu programów w języku C# O głębokim uczeniu: Jak głębokie uczenie zmieni świat Google Deep Learning courseGoogle Deep Learning course (6h/tydz 3 mc) MS Deep Learning tutorial Materiały do Deep LearningMateriały do Deep Learning (KDD) Deep LearningDeep Learning – Wiki

23 Co dalej? Sieci bez wag Inne proste modele binarne Sieci Hopfielda Sieci Hebbowskie i modele mózgu Perceptrony proste Perceptrony wielowarstwowe

24 Koniec wykładu 1