SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE WYKŁAD 8 METODY ROZPOZNAWANIA OBRAZÓW Dr hab. inż. Barbara Dębska, prof. PWSZ KROSNO Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Atrybut Klasa KNN LLM Macierz odległości MLC WYKAZ UŻYWANYCH SKRÓTÓW I POJĘĆ W SYSTEMACH KLASYFIKACJI I ROZPOZNAWANIA OBRAZÓW Atrybut – składowa wektora opisująca badany obiekt. Klasa – zbiór obiektów mających taką samą wartość atrybutu decyzyjnego. KNN – metoda K – tego najbliższego sąsiada (ang. K – Nearest Neighbor). LLM – algorytm uczącej się maszyny (ang. Linear Learning Machine). Macierz odległości – macierz o rozmiarach n  n, której elementami są wartości odległości pomiędzy obiektami, należącymi do badanego zbioru. MLC – moduł systemu SCANKEE, jego skrót pochodzi od słów: Multistrategy Learning Classifier, czyli Podsystem Uczenia Komputera wykorzystujący w tym celu algorytmy rozpoznawania obrazów. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Obiekt Obraz Zbiór testowy Zbiór treningowy WYKAZ UŻYWANYCH SKRÓTÓW I POJĘĆ W SYSTEMACH KLASYFIKACJI I ROZPOZNAWANIA OBRAZÓW c.d. Obiekt – badany element zbioru, związek, materiał (wyrób), któremu przypisuje się cechy (właściwości, atrybuty). Obraz – zbiór wartości cech opisujących jeden obiekt. Zbiór testowy – stanowi plik zawierający nowe, nie znane obiekty służące do sprawdzania poprawności procesu „uczenia się” komputera.  Zbiór treningowy – zbiór przykładów stanowiących bazę danych wykorzystywanych w procesie „uczenia się” komputera. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Metody rozpoznawania obrazów Ogólnie, celem rozpoznawania obrazów jest pogrupowanie obiektów do poszczególnych klas, na podstawie zaobserwowanych danych. W związku z tym proces rozpoznawania obrazów (ang. pattern recognition) musi obejmować: wykrycie, percepcję i rozpoznawanie prawidłowości w zbiorze parametrów, opisujących obiekt lub zdarzenie. Nazwa systemy „uczące się” rozpoznawania obrazów, obejmuje grupę systemów informatycznych wykorzystujących metodę rozpoznawania obrazów, i pochodzi ona od wzrastającej zdolności poprawnej klasyfikacji obiektów w miarę wzrostu doświadczenia systemu. Sposób działania oparty jest o tzw. uczenie nadzorowane, w którym badaniu podlega wewnętrzna struktura zbioru zdefiniowanych danych, która może być wykorzystana w procesie klasyfikacji. Systemy rozpoznawania obrazów składają się z trzech współzależnych bloków, są to: przetwornik, procesor i klasyfikator. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Ogólny schemat systemu rozpoznawania obrazów Dane wejściowe Przetwornik Procesor Klasyfikator Dane wyjściowe Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Wyznaczanie funkcji decyzyjnej to tzw. proces „uczenia się”. Przetwornik – przekształca źródłowe dane w postać czytelną dla komputera, najczęściej jest to n – elementowy wektor obrazu, gdzie n oznacza liczbę cech opisujących dany przedmiot lub zjawisko. Procesor – przygotowuje wektory obrazu do klasyfikacji. Klasyfikator – klasyfikuje przetworzone obiekty. Klasyfikacja odbywa się za pomocą funkcji decyzyjnej F(X), wyznaczonej na podstawie zbioru uczącego, zawierającego przetworzone wektory obrazów. Funkcja ta musi spełnić dwa warunki: F(X) > 0 dla X będących elementami klasy 1, F(X)  0 dla X będących elementami klasy 2. Wyznaczanie funkcji decyzyjnej to tzw. proces „uczenia się”. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Binarne klasyfikatory obrazów LLM (Linear Learning Machine) Obiekty dzieli się na dwie klasy (klasę (+) i klasę (–)) wyznaczając, tzw. liniową funkcję rozdzielającą, zwaną też funkcją wagową. Oblicza się iloczyn skalarny wektora wagowego i wektora obrazu: S = w1 x1 + w2 x2 + ... + wd xd Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Zasada klasyfikacji dwójkowej: Wektor obrazu charakteryzujący obiekt Klasyfikator dwójkowy Decyzja, do której klasy należy obiekt Schemat algorytmu uczenia i oceny klasyfikatora binarnego Zbiór obrazów o znanej przynależności do klas Zbiór uczący Zbiór testujący Klasa 1 Klasa 2 Klasa 1 Klasa 2 Uczenie Ocena Klasyfikator S = w * x = w * x* cos() Ocena klasyfikatora polegająca na określeniu jego zdolności przewidywania (procentu poprawnie sklasyfikowanych obrazów zbioru testującego) Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

INDEKSY OCENY KALSYFIKATORA N – liczba klasyfikowanych obiektów N1 – liczba obiektów należących do klasy 1 N2 – liczba obiektów należących do klasy 2 Poprawna klasyfikacja: N1cN1 – liczba obiektów należących do klasy 1 i zakwalifikowanych do klasy 1 N2cN2 – liczba obiektów należących do klasy 2 i zakwalifikowanych do klasy 2 Błędna klasyfikacja: N1cN2 – liczba obiektów należących do klasy 1 i zakwalifikowanych do klasy 2 N2cN1 – liczba obiektów należących do klasy 2 i zakwalifikowanych do klasy 1 GQ (Global Quality) – ogólny (globalny) indeks poprawnej klasyfikacji ERC (Error Classifier) – ogólny indeks błędnej klasyfikacji QI (Quality Index) – indeks poprawności Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

INDEKSY OCENY KALSYFIKATORA c.d. (Zachodzi: GQ + ERC = 100%) Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W procesie uczenia wektor wagowy poddawany jest korekcji: Od wartości iloczynu skalarnego S wektora wagowego W i wektora X obrazu zależy klasyfikacja obiektu: Jeżeli S > 0 to X należy do klasy 1. Jeżeli S  0 to X należy do klasy 2. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Liniowy podział z martwą strefą Gdy nie można dokonać jednoznacznego podziału zbioru na dwie klasy, wyznacza się tzw. wartość progową t. Jeśli: S > t to X należy do klasy 1, S  - t to X należy do klasy 2, - t< S < t to X należy do tzw. obszaru martwego i nie podlega klasyfikacji. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

KLASYFIKACJA METODĄ POMIARU ODLEGŁOŚCI OD ŚRODKA CIĘŻKOŚCI Jeżeli punkty odpowiadające obrazom pewnej klasy tworzą zwarte skupienia w przestrzeni obrazów, to klasę tę można przedstawić za pomocą obliczonego środka ciężkości c (c1 i c2). Nieznany obiekt x zalicza się do tej klasy, która ma najbliżej położony środek ciężkości. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

KLASYFIKACJA METODĄ KNN (K-Nearest Neighbour) Algorytm KNN (k-tego najbliższego sąsiada) jest metodą w której wyszukuje się K – przykładów (obiektów) należących do zbioru treningowego (K – jest zawsze nieparzyste), a obiektowi badanemu przypisuje się tę klasę, którą wykazuje ważona większość odszukanych, najbliżej położonych przykładów treningowych, zwanych często najbliższymi sąsiadami – jest tzw. metoda głosowania. Podstawową rolę w algorytmie najbliższego sąsiada odgrywa miara odległości pomiędzy obiektem nieznanym, a przykładami zbioru treningowego (uczącego). Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

KLASYFIKACJA METODĄ KNN (K-Nearest Neighbour) c.d. Niech X (x1,x2,x3, … ,xd), Z (z1, z2, z3, … ,zd) i U (u1, u2,u3, … , ud) będą punktami w d – wymiarowej przestrzeni przykładów. Dowolna funkcja D (X, Z) spełniająca następujące warunki: jest funkcją odległości. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

dla k = 2, wzór przedstawia, tzw. odległość Euklidesową, Miara odległości w d-wymiarowej przestrzeni obrazów wyraża się wzorem Minkowskiego: dla k = 2, wzór przedstawia, tzw. odległość Euklidesową, Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

dla k = 1 otrzymujemy, tzw. odległość City – Block (inaczej Manhatan): jeśli Xi oraz Zi są kodowane binarnie (0 lub 1), mamy odległość Hamminga: gdzie: XOR – to operacja logiczna, której wynikiem jest zero, jeśli xi = zi a jeden jeśli xi  zi Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

znormalizowana odległość Hamminga (zwana odległością Tanimoto), używana wtedy, gdy jedynie niewielka liczba współrzędnych wektorów x, z przyjmuje wartość jeden: gdzie: ‘AND’ – koniunkcja cech xi , zi, ‘OR” – alternatywa cech xi , zi, Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Moduł MLC systemu SCANKEE Zaimplementowano dwa algorytmy : LLM oraz KNN Reprezentacja wiedzy jest tutaj przedstawiona za pomocą formalizmu zwanego: asocjacją wiedzy. Powstał on z myślą rozwiązywania problemów klasyfikacji, w których można dokonać się logicznego podziału składowych opisujących obiekt na trzy rozłączne zbiory A, B i C: Przyczyna A Przyczyna B Rezultat C Potrzeby i doświadczenie badacza określają, które atrybuty (składowe wektora opisującego pojedynczy przykład) należy umieścić w zbiorach A, B i C. Gdy podział atrybutów na zbiory A i B nie odgrywa wyraźnej roli, można trójelementową asocjację uprościć do dwuelementowej: Przyczyna A i Przyczyna B Rezultat C daje Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Stosowanie trójelementowej asocjacji może być jednak w szczególności ważne dla przypadków w których, np. gdy zmieniają się wartości atrybutów w zbiorze B (podczas gdy wartości atrybutów w zbiorze A są stałe) w efekcie otrzymujemy różny rezultat C: Przyczyna B Przyczyna A Rezultat C Moduł MLC umożliwia budowanie baz i przetwarzanie wiedzy zgromadzonej w bazach danych analitycznych. Bazy te opisują parametry badanego procesu i mogą być z łatwością aktualizowane i rozszerzane (MLC ma własny edytor). Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W procesie przetwarzania danych, zarówno algorytm LLM jak i KNN wykorzystuje specjalnie tworzone dla jego potrzeb kopie danych zwane zbiorami roboczymi, które zawierają skompresowane i skompilowane dane pobrane z bazy wiedzy. Podczas tworzenia zbioru roboczego obliczane są dodatkowo parametry statystyczne oraz wyszukiwane są korelacje pomiędzy poszczególnymi atrybutami, w efekcie czego mogą być usuwane atrybuty lub przykłady Ważną cechą procesu przetwarzania wiedzy w module KNN jest możliwość wędrowania (termin ang.: walk) w obu kierunkach: od lewej do prawej (klasyfikacja) lub z prawej do lewej (predykcja), stąd też wywodzi się nazwa omawianego algorytmu „patrz – w – przód – i – wstecz – KNN”. Algorytm ten wywodzi się z klasycznej metody jednego sąsiada. Przyjęty formalizm wiedzy umożliwia prowadzenie badań w dwóch kierunkach: w przód – czyli odpowiedź na pytanie: do jakiej klasy będzie należał nieznany obiekt (przykład), wstecz – czyli odpowiedź na pytanie: jakie powinny być wartości atrybutów opisujących nieznany obiekt (przykład), by warunkowały klasę do której powinien należeć. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Algorytm ten może mieć szczególne znaczenie w rozwiązywaniu zagadnień klasyfikacji, dla których nie poznano modelu matematycznego, lub – gdy opracowanie takiego modelu jest zbyt skomplikowane. Wnioskowanie, oparte na logice asocjacyjnej, ma szczególne znaczenie w technologii materiałowej, jak: metalurgia, przemysł szkła, ceramiki, przemysł gumowy, czy technologia tworzyw sztucznych – tam, gdzie poszukuje się związków pomiędzy składem mieszaniny i parametrami procesu technologicznego, a właściwościami wyrobów. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Algorytmy przetwarzające dane w module MLC: klasyfikacja metodą LLM, klasyfikacja metodą KNN, obsługa bazy danych, kreowanie zbioru roboczego, obsługa zbioru roboczego utworzonego dla metody LLM, obsługa zbioru roboczego utworzonego dla metody KNN. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Zakładanie nowej bazy danych wymaga w pierwszej kolejności zdefiniowania cech typu A, B oraz C lub tylko cech A i C. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Należy również dokładnie zdefiniować każdą z cech: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Każdy z obiektów wprowadzany jest oddzielnie przez podanie wartości atrybutów definiujących wektory danych typu A, B oraz C: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W ten sposób definiowane są kolejne asocjacje bazy danych: Utworzony zbiór przykładów stanowi tzw. bazę źródłową. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Na jej podstawie kreowane są zbiory robocze odrębne dla metody LLM oraz KNN na których przeprowadza się uczenie komputera. Mogą być automatyczne weryfikowane metodami statystycznymi umożliwiającymi krytyczną ocenę danych, wykrycie błędów, redundantnych parametrów oraz zbędnych danych. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Trzeba zadać liczbę najbliższych sąsiadów badanego obiektu. Wybrane z okna podmenu klasyfikacji powoduje wyświetlenie danych klasyfikowanego wektora. Trzeba zadać liczbę najbliższych sąsiadów badanego obiektu. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Zbiorcze wyniki klasyfikacji w postaci listy „najbliższych sąsiadów”: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Szczegółowe wyniki klasyfikacji - właściwości produktu obliczone jako średnia ważona, wyznaczona na podstawie listy najbliższych sąsiadów: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Można również zobaczyć położenie klasyfikowanego obiektu na tle zbioru treningowego (uczącego): Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W procesie predykcji zadaje się oczekiwane wartości cech produktu, czyli współrzędne wektora typu C: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W rezultacie otrzymuje się przedziały zmienności cech określających wartości współrzędnych wektorów typu A i B, czyli np. proponowany skład mieszaniny surowców i parametry procesu produkcji: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dziękuję za uwagę Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno