Świat Bytów Wirtualnych 1

Prezentacja na temat: "Świat Bytów Wirtualnych 1"— Zapis prezentacji:

1 Świat Bytów Wirtualnych 1
Włodzisław Duch Katedra Informatyki Stosowanej, Uniwersytet Mikołaja Kopernika, Toruń School of Computer Engineering, Nanyang Technological University, Singapore Google: Duch Kierunki rozwoju nowoczesnych technologii, Uniw. Łódzki,

2 Plan Świat bytów wirtualnych w Internecie i telefonach: awatary, boty, sztuczne osobowości w cyberprzestrzeni. Elementy: cyberprzestrzeń, agent, bot, synteza mowy mówiąca głowa, awatar ... Zastosowania: automatyzacja usług informacyjnych i reklamy ... Potrzeby: robotyka kognitywna, automatyzacja złożonych czynności, interfejsy w języku naturalnym. Przykłady istniejących zastosowań: wirtualni asystenci – Talking Buddy, UltraHal; mówiące głowy na stronach – Lingubots i inne. Technologia: agenci, awatary, grafika - Haptek. Technologia: dialog z użytkownikiem, analiza języka naturalnego. Technologia: modele kognitywne złożonych zachowań. Co nadejdzie wkrótce? Dokąd to zmierza?

3 Cyberprzestrzeń: definicje
Cyberprzestrzeń: świat sprzężonych ze sobą sieci komputerowych tworzący „przestrzeń informacyjną” z możliwością jej eksploracji oraz odczuwania przy pomocy zmysłów pobudzanych wspomaganymi komputerowo urządzeniami. Termin wprowadził William Gibson w powieści „Neuromancer”, gdzie opisał świat, w którym stosowane są cybernetyczne rozszerzenia możliwości ludzkiego organizmu, np. wymiana informacji ze światową siecią komputerową. Poruszanie się w sieci = w cyberprzestrzeni. Internet jako całość, rozumiany jako przestrzeń komunikacyjna, zwłaszcza World Wide Web, grupy dyskusyjne. W tym sensie do cyberprzestrzeni wkraczamy podłączając się do Sieci. Wygenerowane komputerowo środowisko wirtualnej rzeczywistości z dostępem do sieci komputerowej lub też jej pozbawione (np. światy stworzone w technologii VRML).

4 Agenci Nie ma jednoznacznej definicji agenta. Przez agenta (programowego) zwykle rozumie się działający w jakimś środowisku program zdolny do komunikacji, monitorowania swego otoczenia i podejmowania autonomicznych decyzji, aby osiągnąć cele określone podczas jej projektowania lub działania. Agent powinien mieć przynajmniej niektóre z cech: być mobilny, poruszać się w cyberprzestrzeni; autonomiczny, zdolny do podejmowania samodzielnych decyzji; umiejętność komunikacji z innymi agentami i użytkownikiem; być zdolnym do kooperacji lub korzystania z usług innych agentów; percepcję (zdolność do postrzegania i reagowania na zmiany środowiska); wykazywać tolerancję na błędy; wykorzystywać i gromadzić wiedzę; adaptować się (uczyć się) w celu osiągnięcia celu.

5 Boty Fragment słowa Ro-bot; może być Soft-bot
Agenci specjalizujący się w prowadzeniu dialogu, pierwotnie boty powstały aby działać w czasie nieobecności operatorów kanałowych w grupach dyskusyjnych IRC, pilnować porządku na kanale oraz chronić przed przejęciem. Najpopularniejszym botem dla IRC jest eggdrop. Popularne boty utrzymują Wikipedie we względnym porządku, automatyzując takie procesy jak tworzenie powiązań między stronami encyklopedii w różnych językach. Spotykane nazwy, czyli botyka Chatterbot, chatbot – bot „paplający”. Knowbot – bot szukający wiedzy i gromadzący wiedzę. Lingubot – nazwa botów firmy KiwiLogic. Mindbot – program pomagający myśleć, np. sugerujący pomysły. Shopbot – agent wyszukujący okazje ...

6 Synteza mowy Przykłady starych i nowych programów do syntezy mowy.
Całkiem dobry syntezer: Nie tylko prawidłowa wymowa ale i niezła intonacja. Syntezator mowy przydatny jest osobom niewidomym i niedowidzącym. W wersji rehabilitacyjnej pozwala na wybór sposobu interpretowania (parsowania) tekstu i ignorowanych znaków. Można przyśpieszyć czytanie tekstu aż do czterech razy bez zmiany jakości czy wysokości. Mówiąca przeglądarka Intelligent Web Reader jest dostępna za darmo. Dostępna jest wersja do urządzeń przenośnych (PDA, smartfon). Spore zainteresowanie lokalnych władz wdrożeniami tego typu systemów (fundusz rehabilitacyjny).

7 Rozpoznawanie mowy Bardzo dużo produktów związanych z rozpoznawaniem mowy. Microsoft oferuje darmowe SAPI (Speech Application Program Interface) Office 2003 ma narzędzia do rozpoznawania mowy. Darmowe narzędzia firmy Brainhat Dwa najbardziej znane programy to: Dragon Naturally Speaking (ScanSoft), osiąga po krótkim treningu (zwykle < 30 min) dokładność 95-99%. IBM ViaVoice osiąga podobną dokładność co Dragon NS, pozwalając na dodawanie nowych słów do słownika użytkownika. Współpracują ze wszystkimi aplikacjami Windows, powalają na wykonywania prostych komend, np. nawigacji po Internecie. Wymagają dużo RAM i szybkiego procesora.

8 Mówiące głowy Głównie grafika 3D, możliwości synchronizacji ruchu ust z dźwiękami z syntezatora mowy; grafika i synteza mowy, ale bez percepcji i prawdziwej interakcji. Przykłady: Ananova, czyta wiadomości, firma telefoniczna Orange dała za nią £95M – wkrótce w telefonach komórkowych? Andrea Catherwood, czyli Vandrea, czyta wiadomości programu BT5. Simon czyta wiadomości w języku migowym. Technologia Veeper – przykład z Harvard School of Medicine, realistyczny dźwięk i grafika. Inne Veepery

9 Veeper Technologia Veeper robienia głów 3D z własnych zdjęć.
Firma Pulse dostarcza technologii pozwalającej na tworzenie i rozsyłanie wirtualnych postaci do użytkowników komputerów i urządzeń bezprzewodowych. Ich software zamienia zdjęcia na interaktywne postacie, które można oglądać bez dodatkowego oprogramowania. Zastosowania: marketing, usługi, wirtualna obsługa i sprzedaż, nauczanie, przesyłanie wiadomości – realistyczne ale pliki 1% wideo. Przykład pacjenta z Harvard School of Medicine przedstawiającego swój stan studentom. Przykłady kartek z głowami Veepera – można interakcyjnie podłożyć swoja, dodać dźwięk syntetyczny lub nagrany i wysłać pocztą elektroniczną. Spróbujcie!

10 Veeper cd. Popatrzmy na parę przykładów zastosowań, np IRS (urząd podatkowy!) Mobile Veepers Messaging Pozwala na przesyłanie mówiących 3-wymiarowych postaci odczytujących wiadomości tekstowe w wielu językach i głosami do wyboru. Analiza tekstu pozwala na robienie min i gestów! Face Tones Dzwonki do telefonu połączone z twarzami, które odczytują SMSy i maile, informują kto dzwoni. Broadcast Veepers Głowy czytające wiadomości, doniesienia sportowe, informacje o pogodzie, ruchu na drodze i innych sprawach, działające w telefonach. Mobile V-cards Szybkie tworzenie i wysyłanie fotorealistycznych animowanych fotografii, np. robionych aparatem telefonem. Location-Based Face Ads (LB-Fads) Reklama za pomocą mówiących głów, korzystając z GPS i technologii agentów, z informacją o lokalnych zdarzeniach, wyprzedażach itd.

11 Haptek Mówiące głowy, podobnie jak Veeper, http://www.haptek.com/
Poziom pre-kognitywny, głównie grafika 3D, morfing, synteza mowy, synchronizacja ruchu ust. Duże możliwości graficzne oraz sterowania zachowaniem, w tym prozodią mowy, syntetycznymi emocjami, gestami i wyrazami twarzy. Przedstawia się Haptek Virtual Character Haptek Player, czyli oprogramowanie do odtwarzania, działa jako wtyczka w przeglądarkach za darmo. Narzędzia SDK do tworzenia postaci Hapteka są tanie. Działa jako wtyczka ActiveX, łatwo jest dodać własne programy w C++ lub w VisualStudio, można też używać języków skryptowych, JavaScript działa z darmowymi narzędziami MS SAPI do rozpoznawania mowy. Pokaz oprogramowania People’s Putty do tworzenia i kontroli postaci Hapteka.

12 Chatterboty Boty w wersji desktop-bot (niezależne) lub web-bot (na serwerach), głównie analiza języka, prowadzenie dialogu. Linki do stron z botami są pod: W Polsce „botyka”: to projekt Tribota, mówiącego po polsku. Jeden z pierwszych: Eliza (Weizenbaum, MIT 1967), udaje psychoterapeutę, oparty na prostych skryptach - demo. MegaHall, symulator konwersacji, który się naprawdę uczy; Hal jest na poziomie 2-letniego dziecka i nauczył się sensu słów wyłącznie przez rozmowy; istnieje bardzo wiele „osobowości” Hal. Zastosowania? Może w zabawkach dla maluchów?

13 EllaZ Działa jako aplikacja na serwerze lub lokalnie w komputerze.
Demonstracja EllaZ: Działa jako aplikacja na serwerze lub lokalnie w komputerze. Czyta książki, zna gry (karty, gry planszowe, hazardowe, I Ching), dostarcza informacji o pogodzie, giełdzie, walutach, zamienia jednostki i pomaga wykonywać obliczenia ... Używa WordNetu, wielkiej bazy leksykalnej, może podawać definicje, synonimy, antonimy, hipernimy (kategorie nadrzędne, rodzaj czegoś) i hyponimy (kategorie szczegółowe, przykład czegoś). Np: "What are the hypernyms of horse?" Horse is a type of: hoofed mammal, animal, living thing. "What are the hyponyms of flower?" Flower has a type: peony, lesser celandine, windflower ... Podpowiada np. jakie słowa pasują w krzyżówce do schematu U===E===L, albo jakie słowa kończą się na „ant” (do rymów).

14 Alice Duży projekt ArtificiaL InteligenCE Foundation (Richard Wallace) Jeden z najlepszych botów, 3 razy wygrał nagrodę Loebnera. Rozmowa z Alice. CLAUDIO (Cybernetic Lifelike Android Used for Dialogue Interaction and Observation) zrobi test osobowości. Na stronie jest bardzo dobry przegląd około 30 projektów związanych z botami. ma linki do wielu botów w sieci, od Alice, przez Budda-bot do Szekspira. Sporo zastosowań do nauki angielskiego: W cyberprzestrzeni spotkać można wiele botów opartych na Alice. gdzie można wystawić swojego bota zrobionego w oparciu o język AIML używany przez Alice.

15 AIML AIML (Artificial Intelligence Markup Language) to zgodny z XML język, którego łatwo można się nauczyć, służący do przystosowania ALICE do swoich potrzeb. Tag: <category> zaznacza „jednostkę wiedzy" w bazie wiedzy Alice; <pattern> to wzorzec wypowiedzi użytkownika; <template> zawiera odpowiedź dla danego wzorca. Tagów jest ponad 20 i można je samemu rozszerzać. W AIML jest ok. 41,000 kategorii, np: <category> <pattern>WHAT ARE YOU</pattern> <template><think><set name="topic">Me</set></think> I am the latest result in artificial intelligence, which can reproduce the capabilities of the human brain with greater speed and accuracy. </template> </category>

16 Oddcast Firma sprzedaje głosy (w 64 językach), głowy i aplikacje je zawierające, – drogie! VHost Studio™ - tworzenie postaci, umieszczanie na stronach WWW, dodawanie plików dźwiękowych i synchronizacja z obrazem. VHost Workshop™ - przesyłanie wirtualnych postaci w listach do klientów, którzy mogą modyfikować nadesłane postacie i wiadomości. VHost AIMC™ - profesjonalny system pozwalający na pisanie skryptów w AIML, rozszerza możliwości Studio i Enterprise. VHost e-Learning Suite™ - zestaw programów do tworzenia aplikacji edukacyjnych, ich zawartości, modułów, logiki powiązań. VHost FAQ Maker™ - do robienia FAQ odczytywanych przez awatary. VHost Simulation Maker™ - symulacje scenariuszy z podziałem na role. VHost Quiz Maker™ - tworzenie testów i kwizów wyboru. VHost Analyzer™ - poleca produkty robiąc analizę zapytań użytkownika.

17 Linguboty Linguboty na stronie i Bazy wiedzy i boty odpowiadające na pytania. German Chancellor's IT-Eagle Betty Feron pomaga pacjentom z stwardnieniem rozsianym. KMP Internet: relacje pomiędzy ludźmi i firmami. Opera Telecom: automatyczne usługi SMS. Swiftcall: asystent wyszukujący Swifty VW ma stronę z botem dla Supplier Self Registration (SSR) Schwarzkopf: wszystko dla włosów Novartis Pharmaceuticals: porady wirtualnego doktora DAB Bank, DaimlerChrysler, MCC Smart stosują linguboty... Droga technologia, ale niezła.

18 UltraHal - wirtualni asystenci
Połączenie technologii botów i agentów; głównie analiza języka, prowadzenie dialogu, ale też dostęp do baz wiedzy, zapamiętywanie użytecznych faktów, prawdziwa interakcja z użytkownikiem. Ultra-Hal, firmy Zabaware (Robert Medeksza). Przykład dialogu: User: Rob's address is 3175 West 42nd St. Hal: Cool. I like learning new things like that. User: Sally's eyes are blue. Hal: Cool. I have learned something new. User: What is Rob's address? Hal: Rob's address is 3175 West 42nd St. User: What color are Sally's eyes? Hal: Sally's eyes are blue.

19 Co potrafi UltraHal? Krótki tutorial – prowadzi Zaba.
Przede wszystkim chatterbot, który potrafi prowadzić konwersację na wiele tematów. Podręczna pamięć: zapamiętuje proste skojarzenia i przypomina o określonej godzinie lub na żądanie, np. zadzwoń do Jacka, Jarek. Może uruchomić programy jeśli wydamy polecenie np. „Run Word”. Może szukać pomocy dla wszystkich zainstalowanych programów. Można dodawać różnych agentów poprzez wtyczki pisane w VBScript, JavaScript, kontrolki ActiveX czy programy dołączone przez DDE. Ultra Hal Representative może odpowiadać na pytania osób odwiedzających strony Internetowe! Można sobie go ustawić za darmo.

20 Talking Buddy Agent używający animowanych postaci: powiadamia i czyta pocztę elektroniczną; zbiera i odczytuje informacje z giełdy, serwisów pogodowych i wybranych stron WWW, np. ostatnie wiadomości, ostrzeżenia przed wirusami; dostarcza pozdrowienia i wiadomości odczytując je lub odśpiewując adresatom; przypomina o zdarzeniach z kalendarza: spotkaniach, rocznicach, imieninach; opowiada kawały, ściągając je ze stron internetowych; konwersji formatów danych; znajduje interesujące strony WWW i je poleca; odczytuje zaznaczone informacje. Demonstracje ...

21 Turing i Loebner Test Turinga (1950): czy jesteś programem czy komputerem? Od 1994 r Medal i Nagroda Loebnera przyznawana jest programowi, który przejdzie Test Turinga. Nagroda główna to 100 K$, co roku 2000 $. Sędziowie mają >15 min na rozmowę z botem lub człowiekiem, potem wystawiają ocenę. 2001: Alice dostał 14 punktów, ludzie 19-24 2002: Ellaz, : Jabberwock opowiada dowcipy, podaje pogodę, czyta na głos książki, interpretuje I-Ching, gra w karty, uczy się ... Ocena programów i ludzi, na ile sztuczny/prawdziwy w skali 1-10. Tylko 10% sędziów się myli (2000).

22 Przykład konwersacji Talk-Bot #3 by Chris Cowart User: Can you love?
Talk-Bot: I've seen people do it.. it doesn't seem hard! W 1994 roku tematami były koty i psy, kriogenika, Rolling Stones, proces O.J. Simpsona, a zwyciężył program dyskutujący o seksie! Zawody w 1998 roku w Sydney nie miały ograniczeń tematu konwersacji. Programy często przejmują inicjatywę, co ułatwia oszukanie sędziego. Oceny: 1 – najbardziej ludzki, 10 – najmniej ludzki.

23 Przykład konwersacji PROGRAM: Hello. My name is Albert. Who are you?
JUDGE002: Greetings, I'm judge 2 PROGRAM: I'm not sure what to talk about with you. Are you a girl or a boy? JUDGE002: girl. how are you? PROGRAM: Are you married? I'm doing just fine, thanks. JUDGE002: would you like to talk about somethng interesting? PROGRAM: MP is an abbreviation for Member of Parliament. JUDGE002: right, why did you say that? PROGRAM: I just felt like it. JUDGE002: okay, did you hit a wrong button? PROGRAM: Do you come from around here? JUDGE002: yes, do you? PROGRAM: No I don't.

24 Przykład cd. J002: where do you come from PROGRAM: I am from Earth.
J002: well that's very specific indeed. what are your interests> PROGRAM: Would you like to have a drink with me later? let's not get too personal. J002: what do you work as? P. I've worked on a lot of PC's and some mini computers and mainframes when I was in college.

25 Wyniki 2000 Program Alice oszukał sędziego 1 i 2.

26 Wyniki 2004 W 2000 roku najsłabszy człowiek był lepszy od najlepszego programu 3.3 razy, w 2004 już tylko 1.9 razy. Postęp?

27 Generacja tekstu Brutus - program tworzący opowiadania na zadany temat, np. zdanie: „Jerzy obudził się pewnego ranka z koszmarnym uczuciem, że stał się wielkim insektem”. Historie dziwaczne, a przez to interesujące, np. porównania: „Oczy Harta były jak wielkie, krwawiące słońca.” „LAG: Literary augumented grammars”. Formalizacja pojęcia „zdrada”. Nadaje się do pisania scenariuszy TV!

28 Gry słowne Gry komputerowe angażują głównie zdolności percepcyjno-ruchowe, w przeszłości to mowa i gry słowne stanowiły podstawę rozwoju. Dialog z użytkownikiem: o co mu chodzi? Trzeba zadawać pytania by sprecyzować dokładnie, co rozmówca ma na myśli. Gra w 20 pytań: pomyśl o czymś, a ja zgadnę. Czy to zwierzę, roślina, minerał czy coś innego? Jak zadawać inteligentne pytania? Gra w 20 pytań to kolejne wyzwanie dla AI, chcemy zrobić światowe mistrzostwa. Mamy już mówiącą głowę, z którą można pograć. Można też kupić zabawkę z grą w 20 pytań, ale bez awatara. Planujemy wiele zastosowań w grach edukacyjnych.

29 HIT HIT = Humanized InTerfaces, czyli naturalne interfejsy w komputerach i telefonach. Cel daleki: budowa sztucznego umysłu, czyli systemu z którym będziemy mogli mieć podobne relacje jak z ludźmi. Cel bliski: integracja wielu technologii, stworzenie modularnej platformy dla HIT, składającej się z mówiącej głowy, syntezy mowy, kontroli zachowania, wyrazu twarzy, gestów, percepcji słuchowej, wzrokowej, rozpoznawania mowy, lokalizacji obiektów, rozpoznawania osób po głosie i twarzy, dostępu do baz danych i informacji z Internetu, pamięci i kojarzenia faktów. Liczne zastosowania, ale wąsko określone, nie uniwersalna AI. Wielki rynek programów dla urządzeń przenośnych, bez klawiatury, które mają zbyt wiele możliwości by je wykorzystać. Na razie mam w projekcie 16 osób z NTU, ponad 4Mzł.

30 HIT: planowana platforma
Ogólny schemat: funkcje podstawowe: synteza i rozpoznawanie mowy w ograniczonym , zakresie, grafika, proste f. językowe (NLP) + funkcje rozszerzone: percepcja, poznawcze, afektywne,behawioralne, wyspecjalizowani agenci. Interfejsy do informacji tekstowej Synteza mowy Zrozumienie tekstów Percepcja: słuch i wzrok Kontrola zachowania Graficzna głowa Funkcje poznawcze Kontrola urządzeń Funkcje afektywne Agenci d/s specjalnych Wyzwanie: zbudować modularną platformę na PC, z głową 3D, funkcjami percepcyjnymi, kontrolą zachowania, funkcjami kognitywnymi i afektywnymi, przenieść ją telefony/usługi sieciowe. Integracja wielu istniejących projektów dotyczących AI, analizy sygnałów, komputerowej wizji, treści semantycznych multimediów itd; współpraca z przemysłem, silna konkurencja ze strony Microsoft, Intel, projektów UE.

31 Mind-bots Agenci, boty, roboty – maszyny bez głowy?
Wyższe czynności poznawcze w agentach wymagają rozumowania w oparciu o percepcję, skojarzeń, myślenia, wiedzy o świecie, rozumienia stanów mentalnych innych agentów. Mind-bots: teoria poznawania (architektura poznawcza) + zdolności lingwistyczne, symulacje bez czynności sensomotorycznych. Przykłady: Gerald Edelman, roboty Nomad/Darwin w których złożone formy zachowania powstają z “instynktów” w sieciach neuronowych. John Anderson, ACT-R, architektura poznawcza: teoria działania umysłu na poziomie symbolicznym, z elementami sub-symbolicznymi. Allan Newell, SOAR, uniwersalna teoria poznawania + system modelowania + analiza języka => regułowy system NL-SOAR.