Automatyczna interpretacja pytań i udzielanie odpowiedzi (Question & Answering)

Uwagi historyczne 1926 – Ajdukiewicz, „Analiza semantyczna zdania pytajnego” 1972 – LUNAR – system konsultowania bazy danych na temat próbek gruntu księżycowego 1977 – LADDER – dialogowy dostęp do rozproszonych baz danych – HAM-ANS i WISBER – dialog na temat rezerwacji hotelowej 1983 – ORBIS – pytania na temat planet układu słonecznego

Wyszukiwanie informacji Znalezienie w dużej populacji dokumentów tych spośród nich, które zawierają informacje będące odpowiedzią na kwerendę użytkownika. Obecne techniki IR powstały w wyniku automatyzacji systemów bibliotecznych. Information Retrieval

Podstawowe metody IR Indeksowanie – wyszukiwanie w tekście terminów, które go reprezentują  tokenizacja  lematyzacja Uzgadnianie – wykrywanie stopnia podobieństwa pomiędzy reprezentacją tekstu a kwerendą

Ekstrakcja informacji Pozyskanie konkretnych faktów z określonego dokumentu w odpowiedzi na zapytanie. „Dowolna metoda odfiltrowywania informacji z dużego korpusu tekstów”. Information Extraction

Fazy przetwarzania IE Lokalna analiza tekstu  wytworzenie wzorców i zapełnienie ich lingwistycznymi realizacjami faktów/relacji Integracja wyszukanych faktów  inferencja nowych, nie odnotowanych jawnie w dokumencie faktów Przekształcenie wyników do pożądanego formatu

Question & Answering (Q&A) Na pytanie postawione w języku naturalnym udzielana jest udokumentowana odpowiedź, również w języku naturalnym. Q&A wykorzystuje techniki IR, IE oraz modelowanie rozumienia języka naturalnego (MU). IR + IE + MU = Q&A

Schemat systemu Q&A Zrozumienie pytania Wyszukanie dokumentów Ekstrakcja informacji Integracja informacji Generowanie odpowiedzi

Zrozumienie pytania Uzyskanie szablonu sytuacji będącej przedmiotem pytania. Wymaga pełnej analizy obejmującej wszystkie poziomy opisu:  morfologia  składnia  semantyka  pragmatyka

Wyszukanie dokumentów Szablon służy do wygenerowania kwerendy w celu uzyskania dokumentów zawierających odpowiedź. Również w miarę możliwości w dokumentach lokalizowane są obszary podejrzane o zawieranie odpowiedzi.

Zrozumienie pytania i wyszukanie dokumentów

Ekstrakcja informacji Wydobywanie informacji z dokumentów lub ich fragmentów, w sposób sterowany szablonem pytajnym. Na wyjściu otrzymywane są zbiory szablonów częściowo wypełnionych informacją.

Ekstrakcja informacji

Integracja informacji Celem jest stworzenie jednego wypełnionego szablonu wraz ze wskazaniem na źródła i protokołem rozstrzygnięcia sprzeczności. Możliwe jest wykonanie dodatkowych kwerend, automatycznie generowanych przez system.

Integracja informacji

Generowanie odpowiedzi

Jakość systemu Q&A czas rzeczywisty – kilka sekund na odpowiedź dokładność – „zła odpowiedź jest gorsza niż żadna” użyteczność – dostosowywanie do potrzeb użytkownika zupełność – kompletność odpowiedzi, szukanie w wielu źródłach istotność – rozpoznanie elementów istotnych w kontekście użytkownika

Wizja rozwoju Q&A