I EKSPLORACJA DANYCH Eksploracja danych: literatura Pyle D., Data preparation for Data Mining, Morgan Kaufmann Publishers, Academic Press, 1999 Larose.

Prezentacja na temat: "I EKSPLORACJA DANYCH Eksploracja danych: literatura Pyle D., Data preparation for Data Mining, Morgan Kaufmann Publishers, Academic Press, 1999 Larose."— Zapis prezentacji:

1 I EKSPLORACJA DANYCH Eksploracja danych: literatura Pyle D., Data preparation for Data Mining, Morgan Kaufmann Publishers, Academic Press, 1999 Larose D.T., Odkrywanie wiedzy z danych, Wydawnictwo Naukowe PWN, Warszawa 2006, Hand, D., Mannila H., Smyth P., Eksploracja danych, Wydawnictwo NT, Warszawa 2005 Witten I.H., Frank E., Data Mining. Practical Machine Learning Tools and Technics, Elsevier 2005 Han J., Kamber M., Data Mining. Concepts and Techniques, Morgan Kaufmann Publishers 2001 Hand, D., Mannila H., Smyth P., Principles of Data Mining, The MIT Press 2001

2 I EKSPLORACJA DANYCH Eksploracja danych: a może inaczej? drążenie danych odkrywanie wiedzy z baz danych (KDD) wydobywanie danych ekstrakcja danych pozyskiwanie wiedzy Explōrātiō [łac.] badanie nieznanych dziedzin lub terenów.

3 Definicja eksploracji danych: przeszukiwanie zbiorów (ogromnych) danych i wiele innych analiza w celu wykrycia nieoczekiwanych związków (synergia) proces wspomaganego odkrywania nietrywialnych, dotychczas nieznanych użytecznych reguł, wzorców, schematów wydobywanie wiedzy z danych zgromadzonych w zupełnie innym celu I EKSPLORACJA DANYCH

4 Definicja eksploracji danych: przeszukiwanie zbiorów (ogromnych) danych Za duże uznajemy takie zbiory danych, których człowiek nie jest w stanie objąć i wykorzystać bez pomocy komputera i specjalistycznego oprogramowania. Bardzo często w praktyce spotykamy się z sytuacją, gdy danych jest za dużo, a głównym zadaniem we wnioskowaniu z danych jest odsianie bezużytecznej informacji. Taką sytuację podsumowujemy stwierdzeniem, że toniemy w danych. I EKSPLORACJA DANYCH

5 Definicja eksploracji danych: przeszukiwanie zbiorów (ogromnych) danych Barclaycard operator kart płatniczych obsługuje 350 milionów transakcji rocznie [2000] WAL*MART sprzedawca detaliczny dokonuje ponad 7 miliardów transakcji rocznie [1994] i zbudował 11 terabajtową bazę danych transakcji z klientami [1998] AT&T operator telefoniczny łączy co roku 70 miliardów rozmów długodystansowych [1997] Mobil przechowuje ponad 100 terabajtów danych związanych z wydobyciem ropy naftowej [1993] NASA Earth Observing Project uruchomiony na przełomie wieków miał gromadzić 50 gigabajtów co godzinę [1996] I EKSPLORACJA DANYCH

6 Definicja eksploracji danych: przeszukiwanie zbiorów (ogromnych) danych I EKSPLORACJA DANYCH

7 Definicja eksploracji danych: wydobywanie wiedzy z danych zgromadzonych w zupełnie innym celu I EKSPLORACJA DANYCH

8 Definicja eksploracji danych: proces wspomaganego odkrywania nietrywialnych, dotychczas nieznanych użytecznych reguł, wzorców, schematów I EKSPLORACJA DANYCH

9 Definicja eksploracji danych: analiza w celu wykrycia nieoczekiwanych związków (synergia) I EKSPLORACJA DANYCH

10 Definicja eksploracji danych: analiza w celu wykrycia nieoczekiwanych związków (synergia) I EKSPLORACJA DANYCH

11 Cel eksploracji danych: wiedza zabawa władza bezpieczeństwo zysk I EKSPLORACJA DANYCH inne ?

12 Cel eksploracji danych: zysk I EKSPLORACJA DANYCH źródło Sieci neuronowe. Wykorzystanie do prognozowania WIG dr Kamila Migdał Najman dr Krzysztof Najman Katedra Statystyki Wydział Zarządzania Uniwersytet Gdański

13 Cel eksploracji danych: bezpieczeństwo zagrożenie dla bezpieczeństwa w gminie (osiedlu) stanowią: piraci drogowi 26,0 %, agresywnie zachowująca się młodzież 20,5 %, sprawcy rozbojów, napadów i pobić 20,5 %, wandale 10,6 %, włamywacze i złodzieje 7,6 %. I EKSPLORACJA DANYCH

14 Cel eksploracji danych: bezpieczeństwo oświetlanie w porze wieczorowo-nocnej miejsc uznanych za niebezpieczne, uruchamianie technicznych środków zabezpieczenia i monitorowania miejsc uznanych za niebezpieczne oraz zagrożonych obiektów, uruchomienie projektu "Sąsiedzka czujność", tworzenie "Bezpiecznych przestrzeni", pozyskiwanie opiekunów obiektów zagrożonych wandalizmem i włamaniami, niezwłoczne usuwanie śladów zniszczeń i dewastacji mienia, zapewnienie służby porządkowej na zawodach sportowych i imprezach organizowanych w gminie, stworzenie skutecznego systemu powiadamiania sąsiadów i policji o występujących zagrożeniach, prowadzenie działań edukacyjno-wychowawczych wobec osób dopuszczających się zamachów na osoby lub mienie, informowanie mieszkańców o możliwościach indywidualnej ochrony przed przemocą (dodatkowe zamki, alarmy, ubezpieczenia itp.), organizowanie lokalnych grup samoobrony, monitorowanie problematyki przemocy w rodzinie i patologii społecznych oraz podejmowanie działań eliminujących te zagrożenia, piętnowanie społecznie niepożądanych postaw w lokalnych mediach, wydawanie broszur i ulotek o charakterze informacyjno-edukacyjnym, I EKSPLORACJA DANYCH

15 Cel eksploracji danych: bezpieczeństwo I EKSPLORACJA DANYCH

16 Cel eksploracji danych: bezpieczeństwo …Someone also has to be accountable for making sure that we modernize information technology. Before we go round up all these people and profile them because they're Muslims or Arabs or wear turbans, it'd be good to know that the government has the same information, checked it on a weekly basis, that's already in the computers of every mass mailing company in the country on the rest of us. We're all in somebody's computer. They know where we live, they know where we pay our utility bills, they know how many credit cards we have. They know what our debt is. Mark is laughing because the biggest one of these companies is in Arkansas. My best childhood friend works for this company. He called me a couple of days after September 11th and said, we got four FBI agents here and we've already found five of these terrorists in our computers. Well you say, that's fine but could they have known before September 11th? You tell me. One of the men, who flew an airplane into the World Trade Center, had 30 credit cards, a quarter of a million of dollars in debt and a consolidated payout schedule of $9,800 a month. Now, since this information is already available on all of us, you could scan that once a week. If somebody if has been in this country for two years or less and they already have 30 credit cards and a quarter a million dollars in debt, they're either really rich or up to no good and it shouldn't be that hard to figure out which. Mohammed Atta, the ring leader, had 12 addresses, two places he lived and 10 safe houses, under the names Mohammed Atta, Mohammed J. Atta, J. Atta, and his middle initials spelled out. So if somebody has been here a couple years or less and they have 12 homes, they're either really rich or up to no good. It shouldn't be that hard to figure out which. That's more important than all that reorganization. That's what we ought to advocate. We ought to drive it home, that ought to be our homeland security position. It's a legitimate issue. … December 6, 2002 Former President Clinton The following is the part text of his speech to the Democratic Leadership Council. I EKSPLORACJA DANYCH

17 Cel eksploracji danych: władza nowodworski33,9 9,65 m. Sopot 5,0 6,74 białogardzki34,410,34 m. Szczecin12,0 8,32 koniński22,710,81 m. Poznań 4,9 9,24 chełmski24,510,30 m. Lublin10,8 9,04 brzozowski25,610,94 m. Krosno 6,8 5,65 stopa bezrobocia odsetek urodzin I EKSPLORACJA DANYCH

18 Cel eksploracji danych: zabawa I EKSPLORACJA DANYCH To miejsce czeka na Państwa propozycje