Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Wprowadzenie do budowy usług informacyjnych W. Bartkiewicz Wykład 7. Grupowanie dokumentów tekstowych.

Podobne prezentacje


Prezentacja na temat: "Wprowadzenie do budowy usług informacyjnych W. Bartkiewicz Wykład 7. Grupowanie dokumentów tekstowych."— Zapis prezentacji:

1 Wprowadzenie do budowy usług informacyjnych W. Bartkiewicz Wykład 7. Grupowanie dokumentów tekstowych

2 Grupowanie dokumentów Grupowanie (analiza skupień, klasteryzacja) – ang. clustering – proces podziału zbioru obiektów na klasy (grupy, skupienia, klastry, kategorie) obiektów podobnych. –Obiekty wewnątrz tej samej klasy powinny być jak najbardziej podobne. –Obiekty różnych klas powinny jak najbardziej różnić się między sobą. –W IR grupujemy zazwyczaj dokumenty lub termy, czasami zapytania. W przeciwieństwie do klasyfikacji jest to proces nienadzorowany – nie mamy zbioru przykładów ze wstępnie określonymi kategoriami. –Grupowanie polega na analizie zależności między obiektami w zbiorze surowych danych. Proces grupowania zazwyczaj opiera się na porównywaniu parami obiektów przy wykorzystaniu miar podobieństwa (odległości). –Porównywanie dokumentów, porównywanie prototypów (centroidów) skupień oraz dokumentów, porównywanie samych skupień (grup). –Stosowanych jest wiele różnych miar podobieństwa, zarówno ogólnych jak i specyficznych dla określonej dziedziny zastosowań.

3 Grupowanie dokumentów Główne obszary zastosowań Wspomaganie nawigacji/analizy w bazie dokumentów. –Lepsze interfejsy użytkownika. Poprawa kompletności procesu wyszukiwania. –Lepsze zbiory (rankingi) wynikowe wyszukiwania. Wspomaganie nawigacja w zbiorze wynikowym wyszukiwania. –Zwiększa praktyczną kompletność użytkownika procesu wyszukiwania. Przyśpieszanie procesu wyszukiwania w modelu wektorowym. –Szybsze wyszukiwanie.

4 Nawigacja w bazie dokumentów Hierarchie typu Yahoo Proces grupowania umożliwia również tworzenie hierarchii grup dokumentów, odpowiadających hierarchiom tematycznym w bazie dokumentów. dairy crops agronomy forestry AI HCI craft missions botany evolution cell magnetism relativity courses agriculturebiologyphysicsCSspace... … (30)

5 Nawigacja w bazie dokumentów Interfejsy typu Scatter/Gather Użytkownik wybiera jedną lub więcej najbardziej odpowiadających mu kategorii, aby rozwinąć następny poziom

6 Nawigacja w bazie dokumentów Wizualizacja bazy dokumentów Algorytmy grupowania wykorzystywane są do tworzenia map tematycznych baz dokumentów – wizualizacji polegającej na odwzorowaniu znalezionych kategorii tematycznych na płaszczyznę, tak aby podobne kategorie tematycznie znajdowały się blisko siebie.

7 Grupowanie dokumentów Poprawa kompletności wyszukiwania Opiera się ona na tzw. hipotezie grupowej (cluster hypothesis). –Dokumenty o podobnej zawartości są ze sobą związane tematycznie, tak więc są relewantne dla tych samych zapytań. Aby poprawić kompletność wyszukiwania należy więc: –Pogrupować z góry dokumenty w bazie. –Jeśli pewien dokument d odpowiada zapytaniu, zwrócić również inne dokumenty z kategorii do której należy dokument d. Dzięki temu mamy nadzieję, że zapytanie zawierające słowo kluczowe auto zwróci również dokumenty zawierające słowo kluczowe samochód. –Ponieważ w procesie klasteryzacji dokumenty zawierające słowo auto powinny zostać pogrupowane razem z dokumentami zawierającymi słowo samochód.

8 Grupowanie dokumentów Nawigacja w zbiorze wynikowym Zbiory wynikowe zapytań mogą być długie, co utrudnia użytkownikowi ich przeglądanie. Mogą więc być grupowane w podgrupy bardziej jednorodne tematycznie.

9 Grupowanie dokumentów Przyśpieszanie wyszukiwania Proces grupowania wykorzystywany jest również do przyśpieszania przetwarzania zapytania, zwłaszcza w wymagającym dużych nakładów obliczeniowych modelu wektorowym. –Zamiast obliczać podobieństwo zapytania do wszystkich dokumentów w kolekcji, może być ono wyznaczane jedynie dla centroidów poszczególnych skupień dokumentów. –W wyniku zapytania zwracane mogą być wszystkie dokumenty należące do podgrup, których centroidy sa najbardziej podobne do zapytania.

10 Grupowanie dokumentów Ogólne typy algorytmów grupowania Kilka podziałów na podstawie zależności między grypami, obiektami i atrybutami. W oparciu o zależności między właściwościami i skupieniami: –Grupowanie monotetyczne – wszystkie elementy grupy współdzielą te same właściwości. Na przykład wszystkim dokumentom należącym do określonej grupy tematycznej można przypisać jedno słowo kluczowe (frazę) określającą ich temat. –Grupowanie politetyczne – wszystkie elementy grupy współdzielą większość właściwości. Na przykład dokumenty należące do określonej grypy tematyczne współdzielą większość termów, ale są indywidualne różnice. Temat grupy musi być zazwyczaj opisany kilkoma słowami kluczowymi.

11 Grupowanie dokumentów Ogólne typy algorytmów grupowania W oparciu o zależności między obiektami i grupami: –Grupowanie rozłączne (ostre, twarde) – każdy z obiektów przydzielany jest jednoznacznie do jednej tylko grupy. Nie pozwala ono na wyrażenie niepewności przy przydziale dokumentu do grupy, oraz na przynależność dokumentu do kilku grup. –Grupowanie miękkie – pozwala na przynależność obiektu do kilku klas. Zazwyczaj dają one rozkłady prawdopodobieństwa (lub w przypadku rozmytym – możliwości) przynależności dokumentu do poszczególnych klas. W oparciu o zależności między grupami: –Podziałowe – wszystkie skupienia są niezależne od siebie, zazwyczaj rozłączne (w grupowaniu twardym). –Hierarchiczne - skupienia tworzą hierarchię, w której skupienia na niższym poziomie zawierają się w skupieniach na poziomie wyższym.

12 Grupowanie dokumentów Grupowanie podziałowe

13 Grupowanie dokumentów Grupowanie hierarchiczne Algorytmy grupowania hierarchicznego tworzą ze zbioru dokumentów drzewiastą taksonomię hierarchiczną (dendogram). Jednym ze sposobów może być rekurencyjne użycie algorytmu podziałowego –Zazwyczaj jednak stosuje się specjalne algorytmy. zwierzę kręgowiec ryba gad płaz ssak stawonóg owad skorupiak bezkręgowiec

14 Grupowanie dokumentów Grupowanie hierarchiczne Dendrogram jest drzewem definiującym hierarchię grup. –Obejmuje informacje o zawieraniu się grup na każdym z poziomów. Zbiór skupień otrzymywany jest zazwyczaj poprzez obcięcie dendogramu na pewnym określonym poziomie.

15 Grupowanie dokumentów Algorytmy grupowania podziałowego Ogólny schemat: –Określamy liczbę grup (skupień) k, jaką chcemy otrzymać. –Określamy zalążki początkowe prototypów skupień – k obiektów danych, po jednym dla każdego skupienia. –Przy wykorzystaniu zalążków określony jest początkowy podział obiektów na skupienia. –Iteracyjnie przemieszczamy obiekty między różnymi grupami, tak by poprawiać w każdym kroku jakość grupowania. –Algorytm kończy swoje działanie po osiągnięciu zbieżności (ustaleniu się skupień) lub po określonej liczbie iteracji.

16 Grupowanie dokumentów Algorytm k-środków Dokumenty reprezentowane są jako wektory rzeczywiste –Zazwyczaj są to znormalizowane wektory tf*idf. Poszczególne skupienia definiowane są przez swoje centroidy (środki ciężkości), tzn. średnie wektorów wszystkich dokumentów należących do grupy. Tak więc dla każdej grupy c centroidem jest wektor: Klasyfikacja dokumentu do danego skupienia oparta jest na odległości wektora opisującego dokument od bieżących centroidów poszczególnych grup –Metodą najbliższego sąsiada.

17 Grupowanie dokumentów Algorytm k-środków Typowe miary odległości: –Odległość Euklidesowa (norma L 2 ): –Norma L 1 : –Współczynnik cosinusów (transformowany do odległości, np. poprzez odjęcie od 1)

18 Grupowanie dokumentów Algorytm k-środków Niech d będzie miarą odległości między dokumentami. Wybierz losowo k dokumentów {s 1, s 2,… s k } jako zalążki. Powtarzaj dopóki proces grupowania nie osiągnie zbieżności lub do osiągnięcia innego kryterium zatrzymania: –Dla każdego dokumentu x i określ grupę do której on należy: Przydziel dokument x i do skupienia (grupy) c j, dla którego odległość d(x i, s j ) jest najmniejsza. –Zaktualizuj centroidy grup: Dla każdego skupienia c j : s j = (c j )

19 Grupowanie dokumentów Algorytm k-środków Określ zalążki Przydziel do skupień Oblicz centroidy grup x x Przydziel do skupień x x x x Oblicz centroidy grup Przydziel do skupień Zbieżność!

20 Grupowanie dokumentów Algorytmy grupowania hierarchicznego Rozdzielające (top – down) – rozpoczynają od jednego skupienia zawierającego cały zbiór danych, następnie iteracyjnie rozdzielają najmniej podobne obserwacje (dokumenty) na osobne grupy, dopóki każdy dokument nie znajdzie się w osobnej grupie. Aglomeracyjne (bottom – up) – rozpoczynają od tylu grup ile jest przykładów (dokumentów) w zbiorze danych, a następnie iteracyjne łączą je, tworząc coraz większe skupienia, aż do uformowania jednego wielkiego skupienia obejmującego wszystkie dane.

21 Grupowanie dokumentów Hierarchiczne grupowanie aglomeracyjne Hierarchiczne grupowanie aglomeracyjne (HAC – Hierarchical Agglomerative Clustering): –Rozpoczyna z każdym dokumentem w odrębnej grupie. Dopóki nie pozostanie wyłącznie jedno skupienie Wśród skupień jakie uformowane zostały w bieżącym kroku znajdź dwa skupienia najbardziej podobne c i, c j. Zastąp c i i c j jedną nową grupą c i c j.

22 Grupowanie dokumentów Podobieństwo grup Wiele metod określania podobieństwa skupień (grup): –Metoda pojedynczego połączenia (single-link) – podobieństwo dwu skupień równe jest podobieństwu pary najbardziej podobnych (najbliższych) obserwacji z obu grup. O podobieństwie grup decyduje jedna wybrana para obserwacji z obu skupień (pojedyncze połączenie). –Metoda całkowitego połączenia (complete-link) – podobieństwo dwu skupień równe jest podobieństwu pary najmniej podobnych (najdalszych) obserwacji z obu grup. O podobieństwie grup decydują wszystkie obserwacje z obu skupień (całkowite połączenie). –Metoda centroidu – podobieństwo dwu skupień równe jest podobieństwu ich centroidów (prototypów). –Metoda średniego połączenia (average-link) – podobieństwo dwu grup równe jest średniemu podobieństwu wszystkich możliwych par obserwacji z obu grup. Jako miarę podobieństwa w przypadku grupowania dokumentów przyjmuje się zazwyczaj współczynnik cosinusów.

23 Grupowanie dokumentów Metoda pojedynczego połączenia Wykorzystuje maksymalne podobieństwo par: Może dawać w efekcie długie i wąskie grupy, z powodu efektu łańcucha. Może to być zaletą jedynie w pewnych dziedzinach aplikacji. W każdym kroku musimy wyznaczyć podobieństwo nowo utworzonego skupienia (grupy) do wszystkich pozostałych. Po połączeniu grup c i i c j, podobieństwo powstałego skupienia do każdego z innych skupień c k, może być obliczone jako:

24 Grupowanie dokumentów Metoda pojedynczego połączenia

25 Grupowanie dokumentów Metoda całkowitego połączenia Wykorzystuje maksymalne podobieństwo par: Tworzy bardziej skupione, sferyczne grupy (skupienia), co zazwyczaj jest bardziej preferowane.. W każdym kroku musimy wyznaczyć podobieństwo nowo utworzonego skupienia (grupy) do wszystkich pozostałych. Po połączeniu grup c i i c j, podobieństwo powstałego skupienia do każdego z innych skupień c k, może być obliczone jako:

26 Grupowanie dokumentów Metoda całkowitego połączenia


Pobierz ppt "Wprowadzenie do budowy usług informacyjnych W. Bartkiewicz Wykład 7. Grupowanie dokumentów tekstowych."

Podobne prezentacje


Reklamy Google