GeoTrackerPast Web tracking in 4 dimensions. Informacje Temat: System wyszukiwania haseł w Internecie(?) Promotor: dr Mikołaj Morzy Skład: – Tomasz Szymanowski.

Prezentacja na temat: "GeoTrackerPast Web tracking in 4 dimensions. Informacje Temat: System wyszukiwania haseł w Internecie(?) Promotor: dr Mikołaj Morzy Skład: – Tomasz Szymanowski."— Zapis prezentacji:

1 GeoTrackerPast Web tracking in 4 dimensions

2 Informacje Temat: System wyszukiwania haseł w Internecie(?) Promotor: dr Mikołaj Morzy Skład: – Tomasz Szymanowski – Łukasz Wieczorek – Paweł Zaleski

3 Teza Istnieją wzorce rozprzestrzeniania sie informacji w Internecie

4 Technologie Java Java Servlet Oracle MySQL WebSphinx Yahoo! Maps API HTML, CSS, JavaScript

5 Zbiór początkowy Wykorzystanie API Yahoo BOSS Problem: Ograniczony i nieróżnorodny zbiór wyników. Rozwiązanie: Prosty mechanizm dywersyfikacji – Kilka żądań dla Yahoo BOSS w różnych językach – Łączenie poszczególnych zbiorów w jeden.

6 Przeszukiwanie Wykorzystanie API Websphinx Problem: otrzymanie trafnego zbioru wyników w jak najkrótszym czasie. Rozwiązanie: priorytetowy algorytm przeszukiwania.

7 Algorytm przeszukiwania Zbiór początkowy

8 Algorytm przeszukiwania Zbiór początkowy

9 Algorytm przeszukiwania Zbiór początkowy

10 Algorytm przeszukiwania Zbiór początkowy

11 Algorytm przeszukiwania Zbiór początkowy

12 Algorytm przeszukiwania Zbiór początkowy

13 Algorytm przeszukiwania Zbiór początkowy

14 Algorytm przeszukiwania Zbiór początkowy

15 Priorytety linków 1.Zbiór początkowy. 2.URL linkujące do innej domeny. 3.URL linkujące do tej samej domeny. 4.URL zawierające samą domenę (bez podstrony). 5.URL linkujący do domeny znajdującej się na czarnej liście

16 Wyznaczanie daty Znajdowanie daty dla danej strony – pobranie ze znaczników meta strony – pobranie z nagłówku http strony – wyszukanie w treści strony Problemy – Nie znaleziono żadnej daty – Znaleziono wiele dat w treści strony Rozwiązanie – Wykorzystanie górnego ograniczenia – Pobranie daty, która znajduje się w bezpośrednim sąsiedztwie wyszukiwanego pojęcia

17 Analiza składniowa Zapisywanie dat w ujednoliconym formacie Problemy: –różne języki i formaty dat –niejednoznaczności Rozwiązanie –obsługa najpopularniejszych języków i formatów dat –wykorzystanie wyrażeń regularnych

18 Prezentacja wyników Wykorzystanie Yahoo! Maps API Grupowanie i wyświetlenie zbioru współrzędnych na mapie Algorytm grupowania oparty na algorytmie minimalnego drzewa rozpinającego Problem: duża złożoność algorytmu grupowania Rozwiązanie: Jednorazowe wykonanie obliczeń dla danego pojęcia i zapisanie wyników w bazie

19 Algorytm grupowania

20

21

22