SZTUCZNA INTELIGENCJA ARTIFICIAL INTELLIGENCE WYKŁAD 5 SYSTEMY EKSPERTOWE Dr hab. inż. Barbara Dębska, prof. PWSZ KROSNO Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

WNIOSKOWANIE DOKŁADNE Wszystkie systemy ekspertowe dotychczas omawiane korzystały z logiki klasycznej dwuwartosciowej, arystotelowskiej: wnioskowanie operowało tylko dwoma stałymi logicznymi: prawda i nieprawda Dla szeregu zastosowań wnioskowanie takie okazuje się mało przydatne. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

POTRZEBA WNIOSKOWANIA PRZYBLIŻONEGO dla szeregu ważnych dziedzin zastosowań systemów ekspertowych jak medycyna i finanse, zdania ekspertów są częstokroć różne; jeżeli reguły stosowane przez ekspertów nie są całkowicie pewne i jeżeli eksperci różnią się w ocenie tego, czy coś jest czy nie jest faktem, wyprowadzane przez nich wnioski oczywiście nie mogą być całkowicie pewne; ponieważ jednak w oparciu o te wnioski trzeba częstokroć podejmować trudne i odpowiedzialne decyzje, dobrze jest umieć oszacować stopień pewności owych wniosków; dlatego zasadnym jest postulat, by niepewność ekspertów znalazła odzwierciedlenie w systemach ekspertowych korzystających z wiedzy owych ekspertów. Przybliżony charakter reguł, modeli i faktów może być właściwym i użytecznym odbiciem skomplikowanej rzeczywistości Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

“prawda” i “nieprawda”, ISTOTA WNIOSKOWANIA PRZYBLIŻONEGO Wnioski i warunki nie przyjmują wartości ze zbioru stałych logicznych: “prawda” i “nieprawda”, lecz wartości ze zbioru współczynników pewności CF (Certainty Factor): -1  CF  1 Zmienne przyjmujące wartości ze zbioru współczynników pewności CF -1 < CF < 1 będziemy nazywać zmiennymi logicznymi niepewnymi Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE Każdemu warunkowi dopytywalnemu użytkownik przyporządkowuje współczynnik pewności warunku CF (Certainty Factor), będący liczbą z przedziału [-1, 1]: warunek_dopytywalny(CF) przy czym: CF=1  warunek dopytywalny jest prawdą CF= –1  warunek dopytywalny jest nieprawdą CF= 0  warunek dopytywalny jest nieokreślony CF= 0.5  warunek dopytywalny jest być może prawdą CF= –0.5  warunek dopytywalny jest być może nieprawdą Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

} WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE c.d. Każdej regule jest przyporządkowany współczynnik pewności reguły CF (Certainty Factor), będący liczbą z przedziału [-1, 1]: regula(Nr, Wniosek, Lista_warunków, CF) Współczynniki pewności reguł CF są elementami bazy reguł Współczynnik pewności listy warunków reguły jest najmniejszym z pośród współczynników pewności warunków tej listy: regula(Nr, Wniosek, [War1, War2, War3], CF_reguła) War1(CF1) War2(CF2) War3(CF3) } CF[War1, War2, War3] = Min (CF1, CF2, CF3) (zasada łańcucha) Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE c.d. Współczynnik pewności wniosku reguły jest iloczynem współczynnika pewności reguły i współczynnika pewności listy warunków tej reguły. regula(Nr, Wniosek, [War1, War2, War3], CF_Reguła) CF[War1, War2, War3] = Min (CF1, CF2, CF3) = CF_Warunki CF_Wniosek = CF_Reguła * CF_Warunki Współczynnik pewności reguły jest wzmocnieniem określającym wpływ pewności warunków reguły na pewność wniosku reguły. CF_Reguła CF_Warunki CF_Wniosek Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE c.d. CF = –0.5 oznacza regułę, której warunki w połowie osłabiają pewność wniosku swoją pewnością CF = 1 oznacza regułę, której warunki całkowicie wzmacniają (wspierają) pewność wniosku swoją pewnością CF = –1 oznacza regułę, której warunki całkowicie osłabiają pewność wniosku swoją pewnością CF = 0.5 oznacza regułę, której warunki w połowie wzmacniają (wspierają) pewność wniosku swoją pewnością CF = 0 oznacza regułę, której warunki nie mają wpływu na pewność wniosku Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

A(CF_A)  nie_A(– CF_A) WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE c.d. Jeżeli warunek dopytywalny A ma współczynnik pewności CF_A, to warunek dopytywalny nie_A ma wspólczynnik pewności CF_nie_A= – CF_A, i na odwrót: A(CF_A)  nie_A(– CF_A) Współczynnik pewności warunku dopytywalnego zanegowanego jest równy dopełnieniu do 0 współczynnika pewności tego warunku. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

DEFINICJA BAZY OGRANICZEŃ DOKŁADNYCH Zawiera listy warunków dokładnych wzajemnie wykluczających się. Tylko jeden warunek z listy warunków wykluczających się zawartej w bazie ograniczeń dokładnych może mieć CF = 1; dla pozostałych CF = –1. ograniczenie(3, [”Wiek <=30 lat”, ”30 lat <Wiek<40 lat”, ”40 lat<Wiek”] ) CF(”Wiek <=30 lat”) = -1 CF(”40 lat <=Wiek”) = -1 CF(”30 lat <Wiek < 40 lat”) = 1 Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

DEFINICJA BAZY OGRANICZEŃ DOKŁADNYCH c.d. Zawiera listy warunków wzajemnie wykluczających się w przybliżeniu Warunki z listy warunków wykluczających się w przybliżeniu, zawartej w bazie ograniczeń przybliżonych mogą mieć CF z przedziału [-1, 1] ograniczenie(2,[”niedostateczna znajomość angielskiego”, ”dostateczna znajomość angielskiego”,”dobra znajomość angielskiego”]) CF(”niedostateczna znajomość angielskiego”) = -0.8 CF(” dostateczna znajomość angielskiego”) = 0.6 CF(”dobra znajomość angielskiego”) = -0.8 Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

WNIOSKOWANIE ELEMENTARNE PRZYBLIŻONE W szczególnym przypadku wnioskowania elementarnego dokładnego (korzystającego z logiki arystotelowskiej): dla wszystkich reguł CF=1 dla wszystkich warunków CF=1 lub CF=-1 i przedstawione powyżej zasady wnioskowania elementarnego przybliżonego z współczynnikami pewności sprowadzają się do zasad stosowanych dla systemów ekspertowych elementarnych dokładnych. Skąd biorą się współczynniki pewności? 1. Z analizy problemu 3. Z analizy wyników decyzji 2. Z uśredniania opinii ekspertów Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

PRAKTYCZNA REALIZACJA SYSTEMÓW EKSPERTOWYCH DO PROGNOZOWANIA WŁAŚCIWOŚCI GROMADZĄCYCH WIEDZĘ W FORMIE REGUŁ Głównym stosowanym sposobem reprezentacji wiedzy są reguły składniowe (ang. producion rules). Informacje dotyczące określonego zagadnienia i pozyskane z bazy danych są gromadzone w specjalnej dwuczęściowej konstrukcji:  JEŻELI warunek 1 ORAZ warunek 2 ……………………… ORAZ warunek n  TO akcja 1 WZGLĘDNIE akcja 2 część warunkowa reguły część konkluzyjna reguły Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

warunkowej, konkluzyjnej. Wiedza zawarta w regułach jest zapisywana za pomocą tzw. słów kluczowych, będących elementami słownika języka bazy wiedzy. Zazwyczaj wystarczy około kilkudziesięciu słów kluczowych, aby wystarczająco opisać wiedzę (fakty, zjawiska, atrybuty i ich wartość oraz relacje pomiędzy nimi) za pomocą uproszczonego języka naturalnego. Słowa kluczowe dla przejrzystości pisane są dużymi literami. Służą one do wyodrębnienia części reguły, wskazania konieczności wykonania określonych czynności oraz czytelnej komunikacji z użytkownikiem. Każda reguła składniowa składa się z dwóch części: warunkowej, konkluzyjnej. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Część warunkowa (ang. Antecentend lub premise) zawiera zdania logiczne (warunki), które muszą być spełnione by postawić hipotezę, osiągnąć rozwiązanie, czy dojść do konkluzji – wymienionej w drugiej części reguły. Część warunkowa zaczyna się słowem kluczowym JEŻELI i może zawierać więcej niż jedno zdanie logiczne połączone operatorami ORAZ albo LUB. W tej części reguły dokonuje się opis wiedzy o badanym zjawisku, problemie itp., w sposób łatwy do przedstawienia i przetworzenia przez komputer. Wartość każdej opisanej cechy może mieć postać: numeryczną (opisywanie za pomocą wartości liczbowych), symboliczną( opisywanie za pomocą pojęć), lub binarną, gdzie np.: odpowiedź twierdząca przyjmuje wartość jeden, odpowiedź przecząca przyjmuje wartość zero. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Wszystkie w/w formy zapisu wartości atrybutów (cech) są dla systemów informatycznych jednakowo czytelne, dlatego sam użytkownik musi zdecydować, która forma zapisu jest najdogodniejsza dla opisywanego problemu (zagadnienia). Część warunkowa reguły kończy się po wyliczeniu wszystkich warunków prowadzących do podjęcia odpowiedniej decyzji. Część konkluzyjna stanowi część drugą reguły, w której dokonują się konkluzje, wnioski lub czynności podyktowane częścią warunkową. Część konkluzyjna rozpoczyna się słowem kluczowym TO (może być również WTEDY lub WÓWCZAS ). Jeżeli wszystkie warunki pierwszej części są spełnione, następuje jej uaktywnienie ang. triggering). Natomiast wykonanie czynności określonych w drugiej części to tzw. „odpalanie” (ang. firing). Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

odpalanie reguł w kolejności ustalonej intuicyjnie, W sytuacji, gdy jednocześnie są spełnione warunki logiczne większej liczby reguł, następuje ich uaktywnienie, ale nie są one „odpalane”. Istotnym problemem staje się wówczas kolejność odpalania aktywnych reguł. Istnieje wiele różnych strategii rozwiązywania tego typu konfliktów dotyczących reguł składniowych np.: odpalanie reguł w kolejności ustalonej intuicyjnie, dzielenie zbioru wszystkich reguł na mniejsze grupy, z których tylko niektóre z nich są aktywne w danym czasie, tzw. maskowanie reguł, polegające na ustaleniu określonej (dopuszczalnej) liczby odpaleń danej reguły w trakcie zadania. Skuteczność działania reguły składniowej zależy od charakteru (jakości) oraz konstrukcji zdań logicznych zawartych w pierwszej jej części. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Można wyróżnić dwa sposoby logicznego rozumowania : Sprawdzanie reguł składniowych może odbywać się w różnej kolejności. Proces sprawdzania odbywa się najczęściej poprzez specjalną procedurę łączenia (ang. chaining procedure), której zadaniem jest pamiętanie śladu dostępu do reguły. Dzięki temu w razie konieczności, można później odtworzyć tzw. linię rozumowania (ang. line of reasoning) systemu. Linia ta dokumentuje sposób w jaki system informatyczny osiągną ostateczną konkluzję, pokazując drogę od warunków do wniosków końcowych.  Można wyróżnić dwa sposoby logicznego rozumowania : w przód (ang. forward chaining, forward reasoning) – jeśli łączenie relacji między regułami rozpoczyna się od zbioru warunków i zmierza do określonej konkluzji, lub wstecz (ang. backward reasoning, backward chaining) – jeśli hipoteza (konkluzja) jest znana, lecz droga jej osiągnięcia nie jest wiadoma Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Wadą tego typu metod reprezentacji wiedzy może być: Kwestia wyboru sposobu realizacji reguł składniowych zależy od charakteru przestrzeni rozwiązań. Należy unikać łączenia obu sposobów by nie narazić się na „powtarzanie” w podczas przeszukiwania przestrzeni. Zaletą tego typu reprezentacji wiedzy jest łatwość uzupełniania wiedzy (tzn. powiększanie, uzupełnianie, wymienianie lub zmniejszanie zapasów wiedzy). Struktura reguły jest bardzo przejrzysta i umożliwia łatwe budowanie baz wiedzy wąsko-dziedzinowej, a to z kolei znacznie zwiększa efektywność wnioskowania. Wadą tego typu metod reprezentacji wiedzy może być: brak możliwości „uczenia się” systemu na podstawie poprzednich doświadczeń małe zdolności oceny problemu z różnych punktów widzenia (dla zadanych faktów prezentowana jest na ogół stale ta sama linia rozumowania) Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

w bardzo dużych systemach można spotkać się z : Wady c.d. w bardzo dużych systemach można spotkać się z : - nakładaniem się warunków logicznych, - trudnościami w śledzeniu linii rozumowania podczas rozwiązywania problemów (ang. backtracking), - małą efektywnością realizacji spowodowaną sekwencyjnym przetwarzaniem reguł składniowych. Ekstrakcja wiedzy z bazy danych i przedstawienie jej w postaci reguł składniowych została zaimplementowana w wykorzystanym programie LERS. System ten jest zdolny posługiwać się pojęciem niepewności (brakujące wartości atrybutów lub sprzeczne przykłady) w wejściowej tablicy decyzyjnej wyznaczając niższe i wyższe przybliżenie pojęcia. Na podstawie tych przybliżeń określa dwa zgodne zbiory reguł: reguły pewne i reguły możliwe (dopuszczalne). Wygenerowany zbiór reguł jest wykorzystywany w procesie klasyfikacji nowych (nieznanych wcześniej) obiektów. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Program LERS Program LERS (Learning from Examples based on Rough Sets) jest przeznaczony do: automatycznego generowania reguł na podstawie podanego przez użytkownika zbioru przykładów w formie tablicy decyzyjnej, oraz do klasyfikacji nowych przykładów za pomocą wygenerowanych przez system LERS reguł. Tablica decyzyjna reprezentuje zbiór danych zebranych z jakiejkolwiek dziedziny wiedzy, np.: chemii, medycyny, finansów i jest plikiem tekstowym (ASCII) o rozszerzeniu *.TAB. Program LERS należy do klasy systemów uczących się na przykładach. Jest zdolny posługiwać się pojęciem niepewności (brakujące wartości atrybutów lub sprzeczne przykłady) w wejściowej tablicy decyzyjnej, opierając się na teorii zbiorów przybliżonych. W teorii tej (wprowadzonej przez Z. Pawlaka w 1982 roku) niezgodności nie są pomijane w czasie rozważań. Zamiast tego, LERS określa dwa zbiory reguł: reguły pewne i reguły możliwe (dopuszczalne). Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

numerycznej (jak w tabeli), Tablica decyzyjna zbudowana jest ze zbioru wektorów (wektory reprezentowane są za pomocą n współrzędnych; w analizowanym przykładzie n=6), gdzie każdy wektor opisuje pojedynczy przykład. Tablicę taką tworzy się za pomocą zewnętrznego edytora. Symbole „a” i „d” stanowiące czołówkę bazy tzw. linię sterującą, oznaczającą odpowiednio współrzędne wektora stanowiące: atrybut (cechę) i decyzję. Cecha 1 … 5 – to symbole opisujące współrzędne wektora stanowiącego atrybuty, natomiast klasa – to symbol opisujący współrzędną wektora stanowiącą decyzję (klasę zapachu). Każdy atrybut posiada swoją wartość, która może być wyrażona w postaci: numerycznej (jak w tabeli), symbolicznej (zimno-ciepło, prawda-fałsz) lub binarnej - gdzie odpowiedź twierdząca przyjmuje wartość 1 (jeden), odpowiedź przecząca przyjmuje wartość 0 (zero). Dla systemu LERS wszystkie w/w formy zapisu tych wartości są jednakowo czytelne. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Ostatni atrybut d (równy 1 lub 2) n–elementowego wektora to decyzja, czyli określenie do której grupy (konceptu) należy dany przykład. Wszystkie przykłady z tą samą wartością decyzji należą do tego samego konceptu, np. (grupa 1): 1,503 1,317 1,475 1,530 1,221 1 1,501 1,315 1,471 1,540 Może się zdarzyć, że do bazy należą przykłady sprzeczne, mające takie same wartości wszystkich atrybutów i odmienne decyzje. 1,503 1,313 1,472 1,539 1,221 1 2 Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Algorytm wnioskowania w systemie LERS Niech U będzie niepustym zbiorem, zaś R stosunkiem równoważności w U. Para A=(U,R) jest nazwana przestrzenią przybliżenia. Dla jakiegokolwiek elementu x z U, klasa równoważności R zawierająca x będzie opisywana jako [x]R. Klasami równoważności R są nazywane elementarne zbiory w A. Jakakolwiek ograniczona klasa elementarnych zbiorów w A jest nazywana dającym się określić zbiorem w A. X zaś będzie podzbiorem U. Niższe przybliżenie X w A, jest największym definiowalnym zbiorem w A, zawierającym się w X. Niższe przybliżenie X w A, oznaczane jako RX, jest zbiorem: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Wyższe przybliżenie X w A oznaczone jako , jest zbiorem: Wyższym przybliżeniem X w A jest najmniejszy dający się określić zbiór w A, zawierający się w X. Wyższe przybliżenie X w A oznaczone jako , jest zbiorem: Zbiór przybliżony w A, jest rodziną wszystkich podzbiorów U mających te same niższe i te same wyższe przybliżenia w A. Niech x zawiera się w U. Mówimy, że x jest na pewno w X wtedy i tylko wtedy, gdy x  RX i, że x jest prawdopodobnie w X wtedy i tylko wtedy gdy x  Zbiór X możemy przedstawić przez reguły tylko wtedy, jeżeli X daje się określić w A. Jeśli nie, to nie możemy go przedstawić przez pojedynczy zbiór reguł. Zamiast tego, przez reguły możemy przedstawić zbiory i RX. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Miara przybliżenia reguły opisującej pojęcie X jest równa: Reguła wyprowadzona ze zbioru RX pozytywnych przykładów i zbioru U – RX przeczących przykładów jest pewna. Reguła wyprowadzana ze zbioru pozytywnych przykładów i zbioru U – przeczących przykładów jest możliwa. Miara przybliżenia reguły opisującej pojęcie X jest równa: gdzie: X – jest pojęciem, a Y – zbiorem wszystkich przykładów opisywanych przez regułę Miara przybliżenia reguły opisującej pojęcie X jest stosunkiem liczby wszystkich przykładów pojęcia X poprawnie opisywanych przez regułę, do liczby wszystkich przykładów opisanych przez regułę. Miara przybliżenia reguły pewnej jest równa 1 – im wyższa miara przybliżenia dla reguły możliwej, tym reguła ta jest bardziej godna zaufania. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Po przeprowadzonej analizie widać, że zbioru X nie możemy opisać pojedynczym zbiorem reguł (X – nie daje się określić w A tzn. że x4 i x5 stanowią przykłady sprzeczne, mające takie same wartości wszystkich atrybutów i odmienne decyzje). Zamiast tego LERS utworzył dla tej tablicy decyzyjnej reguły pewne opisujące zbiory i RX: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

oraz reguły możliwe opisujące zbiory i RX: Widzimy tutaj, że reguły wnioskowania wygenerowane przez program LERS nie zawierają słów kluczowych i mają bardzo uproszczoną postać. Z lewej strony zapisane są wyniki testów odpowiednich atrybutów (warunków i ich aktualnych wartości), które implikują decyzję umieszczoną po stronie prawej. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dodatkowo występują jeszcze znaki: ‘&’ będący odpowiednikiem słowa kluczowego ‘ORAZ’, albo ‘LUB’; ‘’ będący odpowiednikiem słowa kluczowego ‘TO’, ‘WTEDY’, lub ‘WÓWCZAS’. Powyższe reguły zostały wygenerowane dla z góry zadanej kolejności tworzenia reguł dla grup, czyli konceptów (tzw. metoda „dla konceptu”). Oznacza to, że najpierw były indukowane reguły dla konceptu – zapach_1, a dopiero później dla konceptu – zapach_2. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

W systemie LERS do tego celu służą dwa algorytmy: algorytm LEM1 – jest to algorytm globalny, tzn. pracujący na zbiorze wszystkich atrybutów. W tym algorytmie najpierw obliczane są podziały zbioru U (podziały zastępcze), na podstawie których obliczane są pojedyncze sekwencje dla każdego konceptu z uwzględnieniem priorytetów atrybutów. Obliczony w ten sposób zbiór reguł jest najczęściej niższej jakości niż zbiór reguł obliczany według algorytmu LEM2, jakkolwiek, użytkownik ma większą kontrolę nad tym jakie atrybuty będą używane do generowania reguł algorytm LEM2 – pracuje on na poziomie par atrybut-wartość, jest więc algorytmem lokalnym (miejscowym). W algorytmie tym lokalne sekwencje dla każdego konceptu (czyli zbioru przykładów o tej samej decyzji), są obliczane równolegle dla wszystkich atrybutów, co oznacza, że ignorowane są wszelkie priorytety. Działanie tego algorytmu sprowadza się do utworzenia bloków atrybutów koniecznych do indukcji reguł. Algorytm LEM2 może również pracować z uwzględnieniem priorytetów atrybutów. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Ekran głównego menu programu LERS: Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Opcja <About> dostarcza danych o aktualnej wersji używanego programu. Opcja <Learn New Rule Set> umożliwia generowanie zbioru reguł na podstawie wprowadzonej wcześniej tablicy decyzyjnej. Opcja <Apply Rules To Data> rozpoczyna proces rozumowania, czyli klasyfikacji nowych przykładów. Opcja <Build Explanation File> umożliwia tworzenie, na podstawie zbioru reguł, szkieletu zbioru objaśnień. Może być on uzupełniany przez użytkownika za pomocą zewnętrznego edytora. Służy do objaśniania osiągniętej decyzji dla poszczególnych przykładów. Opcja <Set Default Drive> może być wybrana, gdy użytkownik chce dokonać zmian w systemie (np. zmienić bazę). Opcja <Exit> powoduje zakończenie pracy i zamknięcie systemu LERS. Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno

Dziękuję za uwagę Dr hab. inż. Barbara Dębska, prof. PWSZ Krosno