ZPT Synteza logiczna w eksploracji danych jest dynamicznie rozwijającą się dziedziną informatyki o coraz szerszych zastosowaniach niemal w każdej dziedzinie.

Prezentacja na temat: "ZPT Synteza logiczna w eksploracji danych jest dynamicznie rozwijającą się dziedziną informatyki o coraz szerszych zastosowaniach niemal w każdej dziedzinie."— Zapis prezentacji:

1 ZPT Synteza logiczna w eksploracji danych jest dynamicznie rozwijającą się dziedziną informatyki o coraz szerszych zastosowaniach niemal w każdej dziedzinie życia bankowości lingwistyce marketing farmakologii telekomunikacji 1 Również w MEDYCYNIE Eksploracja danych (Data mining)

2 ZPT 2 Zastosowania

3 ZPT Zastosowania 3 LERS (Learning from Examples Based on Rough Sets) LERS J. Grzymała-Busse, et al., Melanoma Prediction Using Data Mining System LERS, Proc. 25th Ann. International Conference Computer Software and Applications (COMPSAC). Chicago (Illinois, USA), IEEE Comp. Soc., Los Alamitos (California, USA) 2001, pp. 615-620. J. Grzymała-Busse, LERS – a Data Mining System, in Data Mining and Knowledge Discovery Handbook, 2005, VIII, 1347-1351, DOI: 10.1007/0-387-25465-X_65Data Mining and Knowledge Discovery Handbook

4 ZPT 4 Potrafi zdiagnozować pacjenta Potrafi zdiagnozować pacjenta Potrafi podjąć decyzję o przyznaniu kredytu klientowi banku Potrafi podjąć decyzję o przyznaniu kredytu klientowi banku Potrafi wykryć anomalie w sieci Potrafi wykryć anomalie w sieci Potrafi przeprowadzić sondaż Potrafi przeprowadzić sondaż Eksploracja danych…. Nazywa się również odkrywaniem wiedzy w bazach danych (ang. knowledge discovery in databases). Eksploracja danych Przez eksplorację danych rozumie się proces automatycznego odkrywania znaczących i dotychczas nieznanych informacji z dużych baz danych, czyli informacji ujawniających ukrytą wiedzę o badanym przedmiocie.

5 ZPT Pozyskiwanie wiedzy z baz danych Redukcji atrybutów Generacji reguł decyzyjnych i wielu innych procedurach… na abstrakcyjnym poziomie algorytmów polega na 5 Są to algorytmy przetwarzające ogromne bazy danych…

6 ZPT Komputerowe systemy eksploracji danych 6 http://logic.mimuw.edu.pl/~rses/ Rough Set Toolkit for Analysis of Data: Biomedical Centre (BMC), Uppsala, Sweden. http://www.lcb.uu.se/tools/rosetta/ ROSETTA

7 ZPT WEKA, ROSE University of Waikato, Hamilton, New Zealand Preprocess - wczytanie i wstępne przetwarzanie danych, Classify-klasyfikacja danych, Cluster - klasteryzacja, inaczej analiza skupień, Associate - indukcja reguł asocjacyjnych, Select attributes selekcja cech znaczących, Visualize - wizualizacja danych.

8 ZPT 8 Znaczenie eksploracji danych abde 11011 21001 30000 41110 51122 62222 Klasyfikacja (Decyzja) W tablicach takich obiekty reprezentowane w poszczególnych wierszach opisywane są wartościami atrybutów a, b, d. Jednocześnie obiekty są klasyfikowane, kolumna e. ObiektyObiekty Wiele rzeczywistych zjawisk opisuje się tablicami danych

9 ZPT 9 Tablice i reguły decyzyjne U1: (a,1) (b,0) (d,1) (e,1) U5: (a,1) (b,1) (d,2) (e,2) abde 11011 21001 30000 41110 51122 62222 redukcja atrybutów redukcja (generacja) reguł decyzyjnych Tablice takie można również reprezentować za pomocą wyrażeń logicznych zwanych regułami decyzyjnymi:

10 ZPT 10 Generacja reguł Metoda uogólniania reguł decyzyjnych: Tworzy się macierz porównań M, Wyznacza minimalne pokrycie M, Atrybutami reguły minimalnej są atrybuty należące do minimalnego pokrycia M. Wyrażenia takie można upraszczać za pomocą metod stosowanych w syntezie logicznej. Np. metodą analogiczną do ekspansji można uogólniać (minimalizować) reguły decyzyjne.

11 ZPT 11 Przykład generacji reguł Uabcde 110011 210001 300000 411010 511022 622022 722222 Tablica decyzyjna abcde 10––1 0–––0 –1–10 –––22 Tablica reguł minimalnych

12 ZPT 12 Przykład: uogólniamy U 1 Uabcde 110011 210001 300000 411010 511022 622022 722222 Macierz M powstaje przez porównanie obiektów: (u 1, u 3 ), (u 1, u 4 ),..., (u 1, u 7 ). Wynikiem porównania są wiersze M. Dla takich samych wartości atrybutów odpowiedni m=0, dla różnych m=1. 1111 1011 1010 0010 1001 dcba M

13 ZPT 13 Przykład: uogólniamy U 1 Minimalne pokrycia są: {a,b} oraz {b,d}, 1111 1011 1010 0010 1001 dcba M a, b, c, d a, b, d b, d b a, d Wyznaczone na ich podstawie minimalne reguły: (a,1) & (b,0) (e,1) (b,0) & (d,1) (e,1) Uabcde 110011 210001 Uabcde 110--1 210001

14 ZPT 14 Przykład generacji reguł cd. Uabcde 110--1 210001 Po uogólnieniu obiektu u 1 u 2. u 2 można usunąć Uabcde 110--1 210001 300000 411010 511022 622022 722222

15 ZPT 15 Przykład generacji reguł c.d. Uabcde 110011 210001 300000 411010 511022 622022 722222 (a,0) (e,0) (b,1) & (d,1) (e,0) Dla obiektu u3Dla obiektu u4 Niestety po uogólnieniu ani u 3 nie pokrywa u 4, ani u 4 nie pokrywa u 3

16 ZPT 16 Przykład generacji reguł c.d. Uabcde 110011 210001 300000 411010 511022 622022 722222 (d,2) (e,2) Dla obiektu u5 u 6, u 7

17 ZPT 17 Reguły minimalne abcde 10––1 0–––0 –1–10 –––22 (a,1) & (b,0) (e,1) (a,0) (e,0) (b,1) & (d,1) (e,0) (d,2) (e,2) (a,1) & (b,0) (e,1) (a,0) (b,1) & (d,1) (e,0) (d,2) (e,2) w innym zapisie: Uogólnione reguły decyzyjne:

18 ZPT 18 Interpretacja reguł uogólnionych Uabcde 110011 210001 300000 411010 511022 622022 722222 Pierwotna tablica decyzyjna: zapisane są w niej dane zebrane do tej pory i już sklasyfikowane abcde 10––1 0–––0 –1–10 –––22 Takie metody stosuje się w przypadkach, gdy dysponuje się zbiorem obiektów, których przynależność do odpowiedniej klasy jest znana, a celem jest klasyfikacja nowych danych. a=1,b=1, c=1, d= 1 Na uogólnionych regułach jest to oczywiste! Ale pojawia się nowy zestaw danych Jaka decyzja? e = 0

19 ZPT 19 Przykładowa baza (tablica) danych Pacjenci Badanie 1 Badanie 2 Badanie 3 Badanie 4 Badanie 5 Badanie 6 Badanie 7 Badanie 8 Diagnoza P111111000D3 P201111101D3 P311210000D3 P401100000D1 P500010010D2 P601110100D3 P701210001D3 Wyniki badań i diagnozy 7 pacjentów Wyniki badań i symptomy choroby zapisane są symbolicznymi wartościami atrybutów Reguły decyzyjne (Bad_1=1)&(Bad_2=1)…&(Bad_5=1)…&(Bad_8=0)=>(Diagnoza=D3)

20 ZPT 20 Pacjenci Badanie 1 Badanie 2 Badanie 3 Badanie 4 Badanie 5 Badanie 6 Badanie 7 Badanie 8 Diagnoza P111111000D3 P201111101D3 P311210000D3 P401100000D1 P500010010D2 P601110100D3 P701210001D3 (Bad_2=1)&(Bad_4=1)=>(Diagnoza=D3) (Bad_4=1)&(Bad_7=0)=>(Diagnoza=D3) (Bad_1=0)&(Bad_3=1)&(Bad_6=0)=>(Diagnoza=D1) ( (Bad_3=1)&(Bad_5=0)&(Bad_6=0)=>(Diagnoza=D1) (Bad_2=0)=>(Diagnoza=D2) (Bad_1=0)&(Bad_4=1)&(Bad_6=0)&(Bad_8=0)=>(Diagnoza=D2) Reguły decyzyjne: Uogólnione reguły decyzyjne Reguły decyzyjne wygenerowane z pierwotnej bazy danych używane są do klasyfikowania nowych obiektów.

21 ZPT 21 Uogólnione reguły decyzyjne… (Bad_2=1)&(Bad_4=1)=>(Diagnoza=D3) (Bad_4=1)&(Bad_7=0)=>(Diagnoza=D3) (Bad_1=0)&(Bad_3=1)&(Bad_6=0)=>(Diagnoza=D1) (Bad_3=1)&(Bad_5=0)&(Bad_6=0)=>(Diagnoza=D1) (Bad_2=0)=>(Diagnoza=D2) (Bad_1=0)&(Bad_4=1)&(Bad_6=0)&(Bad_8=0)=>(Diagnoza=D2) …mogą być zastosowane do zdiagnozowania nowego pacjenta. Dla nowego pacjenta Diagnoza = D3 Bad1Bad2Bad3Bad4Bad5Bad6Bad7Bad8Diagnoza P111111000D3 P201111101D3 P311210000D3 P401100000D1 P500010010D2 P601110100D3 P701210001D3 Nowy pacjent 11111111???

22 ZPT 22 Redukcja atrybutów Bad1Bad2Bad3Bad4Bad5Bad6Bad7Bad8Diagnoza P111111000D3 P201111101D3 P311210000D3 P401100000D1 P500010010D2 P601110100D3 P701210001D3 Bad1Bad6Bad7Bad8Diagnoza P11000D3 P20101D3 P31000D3 P40000D1 P50010D2 P60100D3 P70001D3 Poszukiwanie takich podzbiorów atrybutów, które zachowują podział obiektów na klasy decyzyjne taki sam, jak wszystkie atrybuty { Bad_1 Bad_4 Bad_6 Bad_8 } { Bad_1 Bad_6 Bad_7 Bad_8 } { Bad_1 Bad_3 Bad_6 } { Bad_1 Bad_2 Bad_6 Bad_8 }

23 ZPT 23 UC Irvine Machine Learning Repository Breast Cancer Database Audiology Database Dermatology Database Wymagania na przetwarzanie coraz większych baz danych rosną, natomiast metody i narzędzia eksploracji danych stają się coraz mniej skuteczne Rosnące wymagania

24 ZPT Breast Cancer Database: Instancje (obiekty): 699 (dane poszczególnych pacjentów) Liczba atrybutów: 10 Klasyfikacja (2 klasy) Sources: Dr. WIlliam H. Wolberg (physician); University of Wisconsin Hospital ;Madison; Wisconsin; USA 1.Ocena spoistości masy nowotworowej 2.Ocena jednolitości rozmiaru komórek 3.Ocena jednolitości kształtu komórek …. 9. Występowanie podziałów komórkowych (mitoza) 24 Diagnostyka raka piersi

25 ZPT Breast Cancer Database (fragment) IDa1a2a3a4a5a6a7a8a9a10 10000255111213112 100294554457103212 10154253111223112 10162776881343712 10170234113213112 1017122810 87 9714 101809911112103112 10185612121213112 10330782111211152 4211212112 10352831111113112 10361722111212112 10418015333234414 10439991111233112 104457287510795544 10476307464614314 10486724111212112 10498154111213112 1050670107764 4124 10507186111213112 1054590732105 5444 25

26 ZPT RULE_SET breast_cancer RULES 35 (x9=1)&(x8=1)&(x2=1)&(x6=1)=>(x10=2) (x9=1)&(x2=1)&(x3=1)&(x6=1)=>(x10=2) (x9=1)&(x8=1)&(x4=1)&(x3=1)=>(x10=2) (x9=1)&(x4=1)&(x6=1)&(x5=2)=>(x10=2) ………………….. (x9=1)&(x6=10)&(x1=10)=>(x10=4) (x9=1)&(x6=10)&(x5=4)=>(x10=4) (x9=1)&(x6=10)&(x1=8)=>(x10=4) REDUCTS (27) { x1, x2, x3, x4, x6 } { x1, x2, x3, x5, x6 } { x2, x3, x4, x6, x7 } { x1, x3, x4, x6, x7 } { x1, x2, x4, x6, x7 } ……………. { x3, x4, x5, x6, x7, x8 } { x3, x4, x6, x7, x8, x9 } { x4, x5, x6, x7, x8, x9 }

27 ZPT 27 LERS Diagnostyka raka piersi (p8,1..1.5) & (p3,1..1.5) & (p4,1..1.5) -> (diagnoza.zdrowy) (p9,1..1.5) & (p6,1..1.5) & (p2,1.5..3.5) -> (diagnoza,zdrowy) (p7,1..2.5) & (p5,2.5..4.5) -> (diagnoza,zdrowy) (p5,1..2.5) & (p8,1..1.5) & (p2,1.5..3.5) -> (diagnoza,zdrowy) (p9,1..1.5) & (p8,5.5..10) & (p5,4.5..10) & (p1,1.5..3.5) -> (diagnoza,zdrowy) Reguły decyzyjne dla Breast Cancer Database (dla danych numerycznych) (p6,3.5..10) & (p8,1.5..5.5) & (p7,3.5..5.5) -> (diagnoza,rak) (p8,5.5..10) & (p4,1.5..2.5) -> (diagnoza,rak) (p6,3.5..10) & (p8,5.5..10) & (p3,1.5..3.5) -> (diagnoza,rak) (p9,1..1.5) & (p8,5.5..10) & (p1,7.5..11) -> (diagnoza,rak) (p6,3.5.. 10) & (p9,1.5..2.5) & (p8,1.5..5.5) -> (diagnoza,rak)

28 ZPT Audiology Database Number of instances: 200 training cases Number of attributes: 71 Classification (24 classes) Sources: (a) Original Owner: Professor Jergen at Baylor College of Medicine (b) Donor: Bruce Porter (porter@fall.cs.utexas.EDU) Dermatology Database Number of Instances: 366 Number of attributes: 34 Classification (6 classes) Source Information: Nilsel Ilter, M.D., Ph.D., Gazi University, School of Medicine 06510 Ankara, Turkey Phone: +90 (312) 214 1080 Inne bazy danych z zakresu medycyny 28

29 ZPT 29 UC Irvine Machine Learning Repository Breast Cancer Database Audiology Database Dermatology Database

30 ZPT 30 Porównanie Espresso i RSES RSES.i 7.o 1.type fr.p 9 1000101 0 1011110 0 1101110 0 1110111 0 0100101 1 1000110 1 1010000 1 1010110 1 1110101 1.e ESPRESSO TABLE extlbis ATTRIBUTES 8 x1 numeric 0 x2 numeric 0 x3 numeric 0 x4 numeric 0 x5 numeric 0 x6 numeric 0 x7 numeric 0 x8 numeric 0 OBJECTS 9 1 0 0 0 1 0 1 0 1 0 1 1 1 1 0 0 1 1 0 1 1 1 0 0 1 1 1 0 0 1 0 0 1 0 1 1 1 0 0 0 1 1 0 1 1 0 1 0 0 0 0 1 1 0 1 0 1 1 0 1 1 1 1 0 1 0 1 1 (x1=1)&(x5=1)&(x6=1)&(x2=1)=>(x8=0) (x1=1)&(x2=0)&(x5=1)&(x3=0)&(x4=0)&(x6=0)=>(x8=0) (x4=0)&(x1=1)&(x2=0)&(x7=0)=>(x8=1) (x2=1)&(x4=0)&(x5=1)&(x6=0)=>(x8=1)

31 ZPT 31 … co uzyskamy stosując RSES do realizacji sprzętu RSES ESPRESSO

32 ZPT Porównanie… Przykład sugeruje, że algorytmy stosowane w komputerowych systemach eksploracji danych nie są najskuteczniejsze. I być może warto je opracować na nowo korzystając z lepszych metod syntezy logicznej. Przykładem potwierdzającym tę tezę jest redukcja atrybutów, stosowana w RSES, ROSE, WEKA… 32

33 ZPT Inna metoda obliczania reduktów… Twierdzenie: Każdy wiersz i macierzy, stanowiącej uzupełnienie macierzy porównań M reprezentuje pokrycie kolumnowe M, gdzie j L wtedy i tylko wtedy, gdy Powyższe twierdzenie sprowadza proces obliczania reduktów do obliczania uzupełnienia jednorodnej funkcji boolowskiej. Procedura ta (nazwana UNATE_COMPLEMENT) została opracowana jako fragment procedury COMPLEMENT programu Espresso. Klasyczną metodę można znacznie usprawnić wykorzystując stosowaną w syntezie logicznej procedurę uzupełniania funkcji boolowskiej. 33 Nigdy nie była stosowana do obliczania reduktów

34 ZPT Przykład – metoda klasyczna (x 3 + x 4 ) x 1 x 2 x 4 x 3 x 4 x 1 x 2 x 1 x 4 (x 1 + x 2 + x 4 )(x 1 + x 2 ) (x 1 + x 4 ) = = x 1 x 3 + x 2 x 4 +x 1 x 4 To są wszystkie minimalne pokrycia kolumnowe macierzy M M: Pokrycie kolumnowe (przypomnienie) 34

35 ZPT x3x4x1x2x3x4x1x2 00011110 00 1 01 1 111111 10 11 M: 35 Przykład – metoda uzupełniania x 1 x 3 + x 2 x 4 +x 1 x 4 To samo co poprzednio!

36 ZPT Metoda obliczania reduktów… 36 jest równoważna obliczaniu Complementu (Uzupełnienia) funkcji boolowskiej, reprezentowanej Tablicą porównań. Espresso

37 ZPT databaseattr.inst.RSES/ROSETTA compl. method reducts house172321s187ms4 breast-cancer -wisconsin 106992s823ms27 KAZ223170min234ms5574 trains3310 out of memory (5h 38min) 6ms689 agaricus-lepiota -mushroom 23812429min4m 47s507 urology36500 out of memory (12h) 42s 741ms23437 audiology71200 out of memory (1h 17min) 14s 508ms37367 dermatology35366 out of memory (3h 27min) 3m 32s143093 lung-cancer5732 out of memory (5h 20min) 111h 57m3604887 37 Eksperymenty Bezwzględna przewaga metody uzupełniania!

38 ZPT 38 Funkcja KAZ.type fr.i 21.o 1.p 31 100110010110011111101 1 111011111011110111100 1 001010101000111100000 1 001001101100110110001 1 100110010011011001101 1 100101100100110110011 1 001100100111010011011 1 001101100011011011001 1 110110010011001001101 1 100110110011010010011 1 110011011011010001100 1 010001010000001100111 0 100110101011111110100 0 111001111011110011000 0 101101011100010111100 0 110110000001010100000 0 110110110111100010111 0 110000100011110010001 0 001001000101111101101 0 100100011111100110110 0 100011000110011011110 0 110101000110101100001 0 110110001101101100111 0 010000111001000000001 0 001001100101111110000 0 100100111111001110010 0 000010001110001101101 0 101000010100001110000 0 101000110101010011111 0 101010000001100011001 0 011100111110111101111 0.end 01010 1 10110 1 00100 1 01001 1 01000 1 11010 1 10011 0 01110 0 10100 0 11000 0 11011 0 10000 0 00010 0 01111 0 00011 0 11111 0 00000 0 01101 0 00110 0 Przed redukcją Jedno z wielu rozwiązań p o redukcji argumentów Ile jest takich rozwiązań Redukcja argumentów/atrybutów Po redukcji

39 ZPT 39 Funkcja KAZ.type fr.i 21.o 1.p 31 100110010110011111101 1 111011111011110111100 1 001010101000111100000 1 001001101100110110001 1 100110010011011001101 1 100101100100110110011 1 001100100111010011011 1 001101100011011011001 1 110110010011001001101 1 100110110011010010011 1 110011011011010001100 1 010001010000001100111 0 100110101011111110100 0 111001111011110011000 0 101101011100010111100 0 110110000001010100000 0 110110110111100010111 0 110000100011110010001 0 001001000101111101101 0 100100011111100110110 0 100011000110011011110 0 110101000110101100001 0 110110001101101100111 0 010000111001000000001 0 001001100101111110000 0 100100111111001110010 0 000010001110001101101 0 101000010100001110000 0 101000110101010011111 0 101010000001100011001 0 011100111110111101111 0.end Wszystkich rozwiązań: z minimalną i najmniejszą liczbą argumentów jest 35, z minimalną liczbą argumentów jest: 5574 Czas obliczeń RSES = 70 min. Czas obliczeń dla nowej metody= 234 ms. 18 tysięcy razy szybciej!

40 ZPT 40 Wprowadzenie metody uzupełniania funkcji boolowskich do procedury obliczania reduktów zmniejsza czas obliczeń o rząd, a niekiedy o kilka rzędów wielkości Wniosek

41 ZPT Podsumowanie Metody syntezy logicznej wypracowane dla potrzeb projektowania układów cyfrowych są skuteczne również w eksploracji danych Dają rewelacyjne wyniki Są proste w implementacji Są źródłem ciekawych prac dyplomowych 41

42 ZPT Wnioski 42 Są źródłem ciekawych prac dyplomowych WYŻSZA SZKOŁA INFORMATYKI STOSOWANEJ I ZARZĄDZANIA pod auspicjami Polskiej Akademii Nauk WYDZIAŁ INFORMATYKI STUDIA I STOPNIA (INŻYNIERSKIE) PRACA DYPLOMOWA Piotr Decyk Implementacja algorytmu obliczania reduktów wielowartościowych funkcji logicznych

43 ZPT Prace dyplomowe 43 WYŻSZA SZKOŁA INFORMATYKI STOSOWANEJ I ZARZĄDZANIA pod auspicjami Polskiej Akademii Nauk Konrad Królikowski IMPLEMENTACJA ALGORYTMU OBLICZANIA REDUKTÓW METODĄ UZUPEŁNIANIA FUNKCJI BOOLOWSKICH http://zpt2.tele.pw.edu.pl/luba/eksper.htm Andrzej Kisiel UOGÓLNIANIE REGUŁ DECYZYJNYCH BINARNYCH TABLIC DANYCH METODĄ UZUPEŁNIANIA FUNKCJI BOOLOWSKICH

44 ZPT journal homepage: www.elsevier.com/locate/eswa Hierarchical decision rules mining Qinrong Feng, Duoqian Miao, Yi Cheng Department of Computer Science and Technology, Tongji University, Shanghai 201804, PR China Expert Systems with Applications 37 (2010) 2081– 2091 Prace dyplomowe…