Automatyczna interpretacja pytań i udzielanie odpowiedzi (Question & Answering)

Prezentacja na temat: "Automatyczna interpretacja pytań i udzielanie odpowiedzi (Question & Answering)"— Zapis prezentacji:

1 Automatyczna interpretacja pytań i udzielanie odpowiedzi (Question & Answering)

2 Uwagi historyczne 1926 – Ajdukiewicz, „Analiza semantyczna zdania pytajnego” 1972 – LUNAR – system konsultowania bazy danych na temat próbek gruntu księżycowego 1977 – LADDER – dialogowy dostęp do rozproszonych baz danych 1981-89 – HAM-ANS i WISBER – dialog na temat rezerwacji hotelowej 1983 – ORBIS – pytania na temat planet układu słonecznego

3 Wyszukiwanie informacji Znalezienie w dużej populacji dokumentów tych spośród nich, które zawierają informacje będące odpowiedzią na kwerendę użytkownika. Obecne techniki IR powstały w wyniku automatyzacji systemów bibliotecznych. Information Retrieval

4 Podstawowe metody IR Indeksowanie – wyszukiwanie w tekście terminów, które go reprezentują  tokenizacja  lematyzacja Uzgadnianie – wykrywanie stopnia podobieństwa pomiędzy reprezentacją tekstu a kwerendą

5 Ekstrakcja informacji Pozyskanie konkretnych faktów z określonego dokumentu w odpowiedzi na zapytanie. „Dowolna metoda odfiltrowywania informacji z dużego korpusu tekstów”. Information Extraction

6 Fazy przetwarzania IE Lokalna analiza tekstu  wytworzenie wzorców i zapełnienie ich lingwistycznymi realizacjami faktów/relacji Integracja wyszukanych faktów  inferencja nowych, nie odnotowanych jawnie w dokumencie faktów Przekształcenie wyników do pożądanego formatu

7 Question & Answering (Q&A) Na pytanie postawione w języku naturalnym udzielana jest udokumentowana odpowiedź, również w języku naturalnym. Q&A wykorzystuje techniki IR, IE oraz modelowanie rozumienia języka naturalnego (MU). IR + IE + MU = Q&A

8 Schemat systemu Q&A Zrozumienie pytania Wyszukanie dokumentów Ekstrakcja informacji Integracja informacji Generowanie odpowiedzi

9 Zrozumienie pytania Uzyskanie szablonu sytuacji będącej przedmiotem pytania. Wymaga pełnej analizy obejmującej wszystkie poziomy opisu:  morfologia  składnia  semantyka  pragmatyka

10 Wyszukanie dokumentów Szablon służy do wygenerowania kwerendy w celu uzyskania dokumentów zawierających odpowiedź. Również w miarę możliwości w dokumentach lokalizowane są obszary podejrzane o zawieranie odpowiedzi.

11 Zrozumienie pytania i wyszukanie dokumentów

12 Ekstrakcja informacji Wydobywanie informacji z dokumentów lub ich fragmentów, w sposób sterowany szablonem pytajnym. Na wyjściu otrzymywane są zbiory szablonów częściowo wypełnionych informacją.

13 Ekstrakcja informacji

14 Integracja informacji Celem jest stworzenie jednego wypełnionego szablonu wraz ze wskazaniem na źródła i protokołem rozstrzygnięcia sprzeczności. Możliwe jest wykonanie dodatkowych kwerend, automatycznie generowanych przez system.

15 Integracja informacji

16 Generowanie odpowiedzi

17 Jakość systemu Q&A czas rzeczywisty – kilka sekund na odpowiedź dokładność – „zła odpowiedź jest gorsza niż żadna” użyteczność – dostosowywanie do potrzeb użytkownika zupełność – kompletność odpowiedzi, szukanie w wielu źródłach istotność – rozpoznanie elementów istotnych w kontekście użytkownika

18 Wizja rozwoju Q&A