Pobieranie prezentacji. Proszę czekać

Pobieranie prezentacji. Proszę czekać

Przetwarzanie dokumentów tekstowych w systemie BEATCA Michał Dramiński Krzysztof Ciesielski Instytut Podstaw Informatyki PAN.

Podobne prezentacje


Prezentacja na temat: "Przetwarzanie dokumentów tekstowych w systemie BEATCA Michał Dramiński Krzysztof Ciesielski Instytut Podstaw Informatyki PAN."— Zapis prezentacji:

1 Przetwarzanie dokumentów tekstowych w systemie BEATCA Michał Dramiński Krzysztof Ciesielski Instytut Podstaw Informatyki PAN

2 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Agenda Cel i motywacja projektu BEATCA Architektura systemu Wstępne przetwarzanie dokumentów Pojęcie mapy dokumentu Inicjalizacja tematyczna mapy Wyniki niektórych eksperymentów Prezentacja systemu

3 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Cel i motywacja Celem projektu jest stworzenie narzędzia do wspomagania eksploracji baz dokumentów tekstowych poprzez generowanie nawigowalnych map, na których odległość geometryczna odzwierciedla odległość konceptualną dokumentów, zaś trzeci wymiar odzwierciedla rozkład gęstości dokumentów. Specyfika analizowanych danych: Bardzo duża liczba obserwacji oraz wymiar przestrzeni. Dokumenty są połączone linkami (związki semantyczne). Zmienność danych w czasie (modyfikowane, usuwane, dodawane) Trudności ze zdefiniowaniem obiektywnej miary jakości wyników. Szum w dancyh (np. grupy dyskusyjne) Fizyczne rozproszenie danych.

4 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Architektura systemu BEATCA Architektura umożliwia wielofazowe przetwarzanie dokumentów tekstowych, jak również porównywanie poszczególnych metod tworzenia map, ich wizualizacji, tematycznego grupowania oraz etykietowania. Pająk ściąga dokumenty z Internetu na lokalny komputer Indekser wstępnie przetwarza dokumenty na postać wektorową. Moduł optymalizacji słownika ocenia termy pod względem dalszej przydatności Moduł wstępnego grupowania selekcjonuje termy potrzebne do inicjalizacji mapera. Maper tworzy etykietowaną mapę (lub mapy) dla zbioru dokumentów. Wyszukiwarka w odpowiedzi na zapytanie użytkownika prezentuje najlepszą (wedle pewnej miary podobieństwa do kwerendy) mapę oraz wskazuje szukane regiony.

5 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Architektura systemu BEATCA

6 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Indexer Usuwa tagi HTML z dokumentów (jeśli trzeba). Rozpoznaje język dokumentów (polski, angielski, niemiecki). Usuwa stop words. Ekstrahuje pojedyncze słowa. Stemuje słowa i zapamiętuje ich formę bazową. Buduje słownik termów. Oblicza częstotliwość wystąpień każdego słowa. Zapisuje potrzebne informacje do bazy danych. Potrafi budować w locie streszczenia dokumentów. Wyszukuje częste frazy.

7 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Rozpoznawanie języka Dla n (domyślnie 20) pierwszych słów z dokumentów zliczana jest liczba wystąpień charakterystycznych znaków dla danego języka. Zliczane z tą samą wagą są wystąpienia stop words dla każdego języka. Decyzja opiera się na wyborze języka, dla którego zanotowano największą wartość wystąpień wspomnianych przypadków.

8 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Stop words Częste termy charakterystyczne dla danego języka nie wnoszące informacji o rozkładzie stałym niezależnym od treści. Angielska lista stop words. xt.901/a90121/astopsu2.htm xt.901/a90121/astopsu2.htm Niemiecka lista stop words. xt.901/a90121/astopsu7.htm xt.901/a90121/astopsu7.htm An implementation of Finite State Automatons in Java, Dawid Weiss ex.xml?lang=en ex.xml?lang=en

9 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Stemer Jednoznacznie odwzorowuje różne formy tego samego słowa w ciąg znaków (termy) An implementation of Finite State Automatons in Java, Jan Daciuk lovins stemmer developed by Eibe Frank Algorytm Porter z projektu Lucene A Fast and Simple Stemming Algorithm for German Words, Jorg Caumanns (developed by Gerhard Schwarz,

10 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Znajdowanie częstych fraz Po zaindeksowaniu zbioru dokumentów wybieramy n (u nas domyślnie 300) termów najczęstszych. Częste frazy muszą się składać z częstych termów a maksymalna częstość frazy może być równa minimalnej częstości jednego z dwóch termów. Skanujemy zbiór dokumentów po raz drugi szukając kolejnych po sobie wystąpień wytypowanych termów. Ignorujemy wystąpienia dowolnej liczby stop words miedzy szukanymi termami.

11 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Częste frazy - przykład Zbiór Syskill & Webert Zbiór 20Yahoo Newsgroups

12 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Redukcja rozmiaru słownika Dla każdego termu liczymy miarę jakości: Termy które przyjmują wartości skrajne dla Q 1 poniżej minTres (0.01) i powyżej maxTres(0.95) są ignorowane podczas wstępnego grupowania dokumentów i budowania mapy.

13 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Redukcja rozmiaru słownika cd. Gdzie: f t,d jest liczbą wystąpień termu t w dokumencie d. N t jest liczbą dokumentów zawierających term t. N oznacza liczbę wszystkich dokumentów. N t / N oznacza ułamek dokumentów zawierających term. Wartości skrajne dla pierwszej miary zostały wybrane arbitralnie na podstawie eksperymentów. minTres = 0.01 maxTres = 0.95

14 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Streszczenia dokumentów Streszczenia dynamiczne odpowiadające zapytaniu użytkownika. Ekstrakcja zdań z dokumentów (. lub ! lub ?). Etap ważenia zdań – każde zdanie jest oceniane. Prezentowanie (n) zdań ocenionych najwyżej w kolejności takiej jak w tekście.

15 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Streszczenia dokumentów - miara Zapytanie użytkownika składające się ze zbioru słów przekształcane jest przez indekser na zbiór termów {t 1, t 2,..., t n } Dla każdego {t 1, t 2,..., t n } liczymy {f 1, f 2,..., f n } Dla każdego zdania liczymy miarę i=entropy+intensity+size

16 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Przykłady streszczeń – sleeping disorder Each year, there are about 40 million people in the United States who suffer from sleeping disorders. Recent research suggests that if sleep deprivation is long-term - whether because of lifestyle choices or sleep disorders - it may increase the severity of age-related chronic disorders such as diabetes and high blood pressure. director of the National Center on Sleep Disorders Research, part of the National Heart, Lung, and Blood Institute.

17 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Przykłady streszczeń – wool production Wool Manufacturing: Shear Pain Many people believe that shearing sheep helps animals who might otherwise be burdened with too much wool. The ultimate cruelty is the live export of seven million sheep every year from Australia to the Middle East, which the Wool Council of Australia supports as "an important component of the wool and sheep industry. There are Alternatives There are alternatives to wool clothes and blankets that the many people who are allergic to wool already use, including cotton, cotton flannel, polyester fleece, and other man-made fibers.

18 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Interfejs systemu BEATCA Odpowiedź na kwerendę użytkownika prezentowana jest na mapie, z zaznaczonymi komórkami zawierającymi istotne dokumenty. Mapa jest etykietowana, wyróżnione są na niej także brzegi obszarów tematycznych. Lista dokumentów zawiera dynamicznie generowane streszczenia (query-related). Mapa może mieć jedną z następujących postaci: tradycyjna płaska (komórki kwadratowe lub sześciokątne) obracająca się mapa 3D (torus, kula, cylinder) wizualizacja modelu opartego na gazie neuronowym (GNG-U) mapa hiperboliczna (projekcje Poincarrego lub Kleina)

19 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Interfejs systemu BEATCA Lista map Wybrana mapa Lista dokumentów ze streszczeniami Zapytanie Wybrana komórka

20 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Trójwymiarowe wizualizacje map

21 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Zbiór dokumentów Punkty w przestrzeni dokumentów Grupy w przestrzeni dokumentów Mapa dokumentów Etapy tworzenia mapy

22 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Relacja pomiędzy dokumentami cytowanie w bibliografii odnośnik łączący dokumenty hipertekstowe podobieństwo treści dokumentów podejście łączone

23 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Model wektorowy dla dokumentów dokument jest punktem w przestrzeni rozpiętej przez termy współrzędne są funkcjami częstości poszczególnych termów podobieństwo dokumentów mierzy się kosinusem kąta między reprezentującymi je wektorami podobieństwo dokumentu do danej kwerendy - kwerendę traktujemy jak dokument zawierający treść zapytania dog food walk Query: walk My dog likes this food When walking, I take some food

24 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Waga termu Standardowa waga TFxIDF : Waga znormalizowana : Możliwe inne normalizacje (zwłaszcza względem ilości termów występujących w dokumencie)

25 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Mapa i odwzorowanie Kohonena Kohonen (1995) przedstawił model uczony w warunkach konkurencji: SOM (Self Organizing Map) SOM to sieć neuronowa do nienadzorowanego grupowania danych neurony (komórki) są zorganizowane w siatkę (zwykle 2D) komórki mogą być kolorowane i etykietowane (tzw. 2,5D mapa) każda komórka ma przypisany wektor referencyjny o wymiarze równym wymiarowi przestrzeni danych komórki leżące w swoim sąsiedztwie opisują grupy danych o podobnych własnościach (bliskość na mapie = bliskość w przestrzeni danych) istotna różnica w porównaniu z tradycyjnym grupowaniem: nie tylko obiekty w obrębie grupy są podobne, podobne są również grupy sąsiadujące na mapie

26 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Algorytm Kohonena dla dokumentów wartością współrzędnej wektora referencyjnego jest waga dla termu lub frazy (np. znormalizowana waga TFxIDF) miara podobieństwa: kosinus kąta między wektorami aktualizowana jest komórka zwycięska (najbardziej podobna do kolejnego, losowo prezentowanego, dokumentu) oraz komórki sąsiednie iteracyjna regresja wektorów referencyjnych:

27 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Nasze modyfikacje Redukcja rozmiaru słownika oraz optymalizacja reprezentacji wektorów referencyjnych Łączona metoda szukania zwycięzcy Mapy wielopoziomowe Wielofazowe grupowanie: wstępne grupowanie dokumentów identyfikacja głównych tematów na mapie WebSOM dla grup dokumentów rozmyte grupowanie komórek WebSOM i ich etykietowanie Inicjalizacja ogólnymi tematami Modele oparte na uczeniu gazu neuronowego

28 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Mapy hierarchiczne zastosowaliśmy podejście bottom-up: oblicz najbardziej szczegółową mapę oblicz ważone centroidy obszarów mapy użyj ich jako ziaren dla mapy ogólniejszej uczymy tylko jedną, dużą mapę - efektywne (zwłaszcza przy łączonej metodzie szukania zwycięzcy) możliwe jest także podejście top-down ale wymaga określenia punktów stałych na mapie

29 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Rozmyta klasteryzacja (algorytm C-MEANS) na wektorach referencyjnych: Podejście grafowe: drzewo rozpinające dla kraty komórek na mapie; krawędzie ważone odległościami oraz gęstością komórek Klasyczne metody okazały się być zawodne: skrajnie rozmyta struktura tematyczna komórek SOM konieczność zachowania podobieństwa zarówno w oryginalnej przestrzeni dokumentów jak i na mapie (spójność obszarów na mapie) problem outlierów (niepasujących dokumentów) liczba grup tematycznych nie jest znana a priori Podejście łączące rozmytą klasteryzację oraz drzewa rozpinające: dla pewnej dużej liczby klastrów oblicz rozmyte centroidy zbuduj drzewo rozpinające dla znalezionych centroidów usuń krawędzie o lokalnie niepasujących wagach obszary tematyczne to uzyskane spójne składowe grafu Inicjalizacja tematyczna mapy poprawia jakość obszarów Klasteryzacja grup dokumentów

30 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Inicjalizacja ogólnymi tematami Podobieństwo pomiędzy tematami wpływa zarówno na proces uczenia i wizualizację mapy, jak i identyfikację obszarów tematycznych (grup podobnych komórek) Inicjalizacja tematyczna jest bardziej stabilna niż inicjalizacja losowa. Schemat: wybór K (3-4) równomiernie rozłożonych punktów na mapie jako tzw. punktów stałych (fixpoints) poszczególnych tematów inicjalizacja wektorów referencyjnych w punktach stałych tematami głównymi (wybór termów charakteryzujących grupy) inicjalizacja pozostałych komórek wektorami pośrednimi:

31 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Wstępne grupowanie dokumentów Służy do wyboru termów wykorzystywanych do inicjalizacji wektorów referencyjnych Domyślnie dzielimy zbiór dokumentów na cztery grupy Zastosowane metody: rozkład SVD algorytm EM (Expectation Maximization) kombinowany z naiwnym klasyfikatorem bayesowskim algorytm EM kombinowany z metodą PLSA algorytm EM kombinowany z siecią bayesowską (drzewo Chow Liu zbudowane na podstawie ETC)

32 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Rozkład SVD rozkład SVD (Singular Value Decomposition, aka Latent Semantic Indexing ) identyfikuje lewostronne wektory własne macierzy term- dokument, reprezentujących ortogonalne kierunki (abstrakcyjne tematy) w przestrzeni termów

33 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Algorytm EM – krok 0 EM - Expectation Maximization ( Dempster 1977)

34 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Algorytm EM - krok 1

35 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Algorytm EM - krok 2

36 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Naiwny klasyfikator bayesowski Zakłada niezależność (względem siebie) występowania termów/atrybutów a w dokumencie. Bierze pod uwagę tylko wystąpienie termu. Załóżmy że dokument x' X, oznacza pewien rozkład prawdopodobieństwa, a g reprezentuje wartość c clustra. W fazie E liczymy: W fazie M liczymy:

37 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Metoda PLSA PLSA - Probabilistic Latent Semantic Analysis (Hofmann, 1999) Zakłada niezależność (względem siebie) występowania termów/atrybutów a w dokumencie. Pojedynczy dokument d j może należeć w różnym stopniu do różnych grup (grupowanie nierozłączne). Bierze pod uwagę liczność termów w dokumencie. Problem z uzyskaniem satysfakcjonującego wyniku.

38 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Sieć bayesowska Reprezentuje zależności pomiędzy poszczególnymi atrybutami w postaci tablicy prawdopodobieństw Przechowujemy prawdopodobieństwa warunkowe wystąpienia/niewystąpienia termu pod warunkiem wystąpienia/niewystąpienia rodzica

39 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Algorytm ETC Budujemy drzewo krawędzi ETC Szybki algorytm budowy drzewa [M. Kłopotek] Przekształamy na drzewo Chow-Liu

40 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Finalny wybór termów – metoda 1 Wybieramy termy charakterystyczne dla każdej z grup. Gdzie: N ij =Freq(t i,d j ) jest liczbą wystąpień t i w dokumencie d j. Indeks g oznacza termy w danej grupie. |D ti,g | to liczba dokumentów w grupie zawierających t i. |D g | to liczba dokumentów w grupie. Do opisu każdej grupy wybieramy termy o najwyższym τ. Term jest zawsze przypisywany tylko do jednej grupy dla której jego τ jest największe.

41 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Finalny wybór termów – metoda 2 Oparta na entropii nieznormalizowanej. Dla każdego termu w każdej grupie zliczamy liczności dokumentów w których dany term występuje. Wybieram n termów dla każdej grupy o najniższym e.

42 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Przykładowe tematy - Yahoo groups # topic terms 1 "bbc news" "cancer diabetes" "reservados" "privacidad" "contenido" 2 "traveler" "professional" "recontouring" "mouthguards" "pharyngitis" 3 "topics drug" "access select" "medlineplus health" "news directory" "privacy accessibility" 4 "naps" "bedtime" "awakened" "struggling" "afternoon"

43 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Etykietowanie komórek mapy Komórki (grupy dokumentów) etykietowane są termami wybranymi na podstawie wektorów referencyjnych: wybierz k termów (współrzędnych) o największych wagach wśród nich - termy o najmniejszej wariancji wag w obrębie klastra Pogrupowane komórki (obszary na mapie) etykietowane są na podstawie ważonych centroidów wektorów referencyjnych oraz entropii międzygrupowej W ostatnim przypadku założenie jest analogiczne jak przy wyborze termów do tematycznej inicjalizacji wektorów referencyjnych: wybrać termy, które różnicują poszczególne obszary

44 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Model gazu neuronowego (GNG-U) liczba komórek oraz połączenia między nimi są dynamicznie modyfikowane w trakcie uczenia dwie zwycięskie komórki są łączone krawędzią (o wieku 0) krawędzie starzeją się – krawędzie pomiędzy rzadko zwyciężającymi komórkami są usuwane z grafu interpolacja: pomiędzy komórkę o największym zakumulowanym błędzie oraz jej bezpośredniego sąsiada o największym błędzie wstawiana jest nowa komórka komórki o niskiej użyteczności (proporcjonalnej do zakumulowanego błędu) są usuwane z grafu wraz z krawędziami uzyskany graf nie musi być spójny – potrzeba nowej metody lokalnego poszukiwania zwycięskich komórek wizualizacja topologii grafu za pomocą mapy

45 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych

46 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Wyniki eksperymentalne eksperymenty przeprowadzono na podzbiorze zbioru 20 Yahoo Biomedical newsgroups (1697 dokumentów, ok. 35 MB danych): Birth Defects Cancers Dental Conditions Heart Diseases Sleep Disorders Sports Injuries badane czynniki: czas obliczeń a rozmiar mapy (liczba komórek) wpływ optymalizacji na mapy: metody redukcji słownika reprezentacja wektorów referencyjnych

47 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Czas obliczeń a rozmiar mapy

48 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Czas obliczeń a optymalizacje

49 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Wpływ redukcji słownika na mapy Założenia przy konstruowaniu miar jakości: usuwane termy są nieistotne z punktu widzenia różnicowania grup tematycznych w zbiorze dokumentów redukcja złożoności bez pogorszenia jakości Ocena jakości mapy: porównanie z mapą idealną (bez optymalizacji) identyczna inicjalizacja i parametry algorytmów miara: średniokwadratowa odległość pomiędzy lokacjami sklasyfikowanych dokumentów na obu mapach Dokumenty ze zbioru Yahoo Biomedical Newsgroups: Stemmer dictionary [all] dictionary [quality] phrases [all] phrases [quality] Porter

50 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Podsumowanie dwuwymiarowe, hierarchiczne mapy o elastycznej (dynamicznie modyfikowanej) topologii i rozmiarze (model łączący uczenie gazu neuronowego z funkcją użyteczności oraz mapy Kohonena) zmniejszenie złożoności czasowej oraz pamięciowej zadania poprzez: redukcję wymiaru przestrzeni termów wstępne tworzenie zwartych grup dokumentów tematyczną inicjalizację map (grupowanie bayesowskie, wektory własne w przestrzeni dokumentów) ekstrakcja obszarów tematycznych za pomocą metod łączących algorytmy grupowania nierozłącznego (fuzzy clustering) i metody teoriografowe (drzewa rozpinające) metody etykietowania klastrów oraz obszarów tematycznych

51 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Dziękujemy za uwagę! Czy mają Państwo pytania?

52 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych W przypadku zastosowań związanych z wyszukiwaniem informacji w sieci www konieczna jest dynamiczna aktualizacja modeli tworzonych na każdym etapie procesu przetwarzania danych Zaproponowane podejście, oparte na gazie neuronowym, stanowi pierwszy krok w kierunku w pełni adaptacyjnego grupowania i klasyfikacji dokumentów tekstowych W dalszej kolejności stworzone modele rozbudowane zostaną o podejście bayesowskie oraz grupowanie oparte na sztucznych systemach immunologicznych Kierunki dalszych badań

53 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Kierunki dalszych badań Zastosowania sieci bayesowskich: miara istotności dokumentu oparta na sieci (klasyfikator) wstępne grupowanie dokumentów tezaurus do uzupełniania kwered użytkownika ekstrakcja słów kluczowych szacowanie podobieństwa między tematami Zastosowania sztucznych systemów immunologicznych: adaptacyjna klasteryzacja (mechanizm metadynamiki) wydobywanie zwartych charakterystyk grup dokumentów (przeciwciała uniwersalne i specjalizowane) sterowanie rozdzielczością map przy ich wizualizacji

54 IPI PAN BEATCA: przetwarzanie dokumentów tekstowych Kierunki dalszych badań modele łączne, uwzględniające podczas grupowania i wizualizacji zarówno treść dokumentów tekstowych jak i przepływ referencji (linków) pomiędzy nimi modele uwzględniające miary stabilizacji grup dokumentów (bezwładność masy, stemple czasowe znane z analizy strumieni danych) rozbudowa funkcjonalności pająka internetowego: wprowadzenie miary oceniającej istotność treści dokumentu (na potrzeby tworzenia map tematycznych) estymacja czasu aktualizacji treści w lokalnej bazie danych, w oparciu o statystyczne modele typu multiple-event survival analysis oraz modele propagacji śmierci (analogia PageRank)


Pobierz ppt "Przetwarzanie dokumentów tekstowych w systemie BEATCA Michał Dramiński Krzysztof Ciesielski Instytut Podstaw Informatyki PAN."

Podobne prezentacje


Reklamy Google