Wstęp do Multimediów dr A. Wieczorkowska Wykład 1 Elementy przekazu multimedialnego. Zastosowania multimediów

A.Wieczorkowska 2 Wprowadzenie Multimedia - ogólna nazwa technik komputerowych umożliwiających łączenie rozmaitych sposobów przekazywania informacji - dźwięku, obrazu, animacji, tekstu, słowa mówionego i innych - w jeden przekaz –połączenie wielu mediów –interakcja z użytkownikiem Zastosowania –business: trening, prezentacje, komunikacja –narzędzia edukacyjne, np. encyklopedie –rozrywka, np. gry

A.Wieczorkowska 3 3 Systemy multimedialne Interdyscyplinarne aspekty multimediów –Telekomunikacja, elektronika, hardware/software Quality of service Skalowanie i adaptacja jakości Rezerwowanie zasobów –Procesy “czasu rzeczywistego” – dostarczenie wyników wymagane w określonym czasie Np. wideo – nie może być wyświetlane zbyt szybko ani zbyt wolno –hard deadlines (muszą być przestrzegane), soft deadlines (bez groźnych konsekwencji w przypadku ich naruszenia – punkty referencyjne, z tolerancją) Twarde (hard real-time) i miękkie (soft real-time) wymagania czasowe

A.Wieczorkowska 4 4 Systemy multimedialne Systemy operacyjne –Zarządzanie pamięcią i urządzeniami zewnętrznymi –Scheduling – podział zasobów Hierarchical scheduling; real-time scheduling –Reservation-based systems i adaptation-based systems Reservation-based systems provide timing guarantees even in overload situations; assume timing constrains specification and admission control to provide and enforce a requested resource allocation Adaptation-based systems provide the best possible timing guarantees, but in case of scarce resources, achieve dynamic re-allocation of resources and deliver graceful degradation for MM applications; require only importance information (weight), upon which metric the resource is allocated –Throughput and delay guarantee; bandwidth allocation; priorities; fair queueing; quality measurements

A.Wieczorkowska 5 5 Systemy multimedialne Sieci; Internet –Technologie (np. Ethernet, ATM cells – asynchronous transfer mode) –Protokoły, warstwy, serwisy Komunikacja i komunikacja grupowa –Protokoły, TCP/IP etc. –Multicast Backbone (MBone) – transmisja multicast w Internecie: sieć ruterów multicast –Konferencje – telekooperacja synchroniczna Strumieniowanie Synchronizacja –MHEG (Multimedia and Hypermedia information coding Expert Group, ISO/IEC JTC1/SC29/WG12) –Zegary komputerowe można syn. przez Internet Network Time Protocol - NTP

A.Wieczorkowska 6 6 Dane dodatkowe Dane dodatkowe: informacje dodatkowe (np. tekst) Watermarking –Ochrona praw autorskich Dane perceptualnie nieodczuwalne

A.Wieczorkowska 7 Elementy przekazu multimedialnego tekst, grafika (również 3D), animacja, wideo, dźwięk, Internet, hypertext, hotspots, interakcja z użytkownikiem –wybór (obiektu) i kontrola, np. obroty etc.

A.Wieczorkowska 8 Grafika kodowanie informacji graficznej kompresja wykorzystanie właściwości wzroku w stratnym kodowaniu informacji graficznej

A.Wieczorkowska 9 Standardy kompresji kompresja bezstratna –GIF kompresja stratna –JPEG kompresja fraktalna kompresja w oparciu o analizę falkową

A.Wieczorkowska 10 Kolory Monitory – addytywna konstrukcja koloru –RGB (Red-Green-Blue) (sRGB – standard RGB) Druk – subtraktywna konstrukcja koloru –CMYK (Cyan-Magenta-Yellow-Black) (turkusowy/niebieskozielony-purpura/karmazyn/magenta-żółty-czarny)

A.Wieczorkowska 11 Wyświetlanie grafiki CRT działo elektronowe LCD:

A.Wieczorkowska 12 Sumowanie przestrzenne

A.Wieczorkowska 13 Sumowanie przestrzenne Sunday Afternoon on the Island of Grand Jatte by Georges Seurat ( )

A.Wieczorkowska 14 Grafika 3D wykorzystanie właściwości wzroku do przedstawienia informacji 3D na ekranie html

A.Wieczorkowska 15 Głębia w obrazie

A.Wieczorkowska 16 Głębia w obrazie (random dots stereogram)

A.Wieczorkowska 17 Głębia w obrazie (przesłanianie)

A.Wieczorkowska 18 Głębia w obrazie (przesłanianie) Madonna of the Magnificat by Sandro Botticelli.

A.Wieczorkowska 19 Głębia w obrazie (położenie wzgl. horyzontu)

A.Wieczorkowska 20 Głębia w obrazie (położenie wzgl. horyzontu)

A.Wieczorkowska 21 Głębia w obrazie (położenie wzgl. horyzontu) The Coast of Portrieux by Eugene Boudin

A.Wieczorkowska 22 Głębia w obrazie (względny rozmiar)

A.Wieczorkowska 23 Głębia w obrazie (względny rozmiar)

A.Wieczorkowska 24 Głębia w obrazie (względny rozmiar) Sculls by Gustave Caillebotte

A.Wieczorkowska 25 Głębia w obrazie (perspektywa)

A.Wieczorkowska 26 Głębia w obrazie (perspektywa)

A.Wieczorkowska 27 Głębia w obrazie (perspektywa) A street in Delft by Jan Vermeer

A.Wieczorkowska 28 Głębia w obrazie (perspektywa) Paris Street: A Rainy Day by Gustave Caillebote

A.Wieczorkowska 29 Głębia w obrazie (tekstura)

A.Wieczorkowska 30 Głębia w obrazie (cienie)

A.Wieczorkowska 31 Głębia w obrazie (cienie)

A.Wieczorkowska 32 Głębia w obrazie (perspektywa powietrzna)

A.Wieczorkowska 33 Głębia w obrazie (aerial perspective)

A.Wieczorkowska 34 Głębia w obrazie (aerial perspective) Near Salt Lake City by Albert Bierstadt

A.Wieczorkowska 35 Obiekty niemożliwe

A.Wieczorkowska 36 Właściwości wzroku: percepcja figur i tła

A.Wieczorkowska 37 Złudzenia optyczne

A.Wieczorkowska 38 Złudzenia optyczne

A.Wieczorkowska 39 Złudzenia optyczne

A.Wieczorkowska 40 Złudzenia optyczne

A.Wieczorkowska 41 Złudzenia optyczne

A.Wieczorkowska 42 Złudzenia optyczne Ludzki umysl.pps, zludz-opt.pps, Kredowe rysunki.pps, SmoczaDraka. wmv

A.Wieczorkowska 43 Elementy multimediów: animacja i wideo prosta animacja rial/getStarted/index.htmlhttp:// rial/getStarted/index.html filmy

A.Wieczorkowska 44 Kodowanie wykorzystanie podobieństw sąsiednich klatek wykorzystanie podobieństw sąsiednich fragmentów obrazu standardy kompresji –MJPEG –MPEG

A.Wieczorkowska 45 Dźwięk Dźwięk stereofoniczny Kodowanie dźwięku –Kodowanie stratne, wykorzystujące właściwości słuchu człowieka –Standard MP3

A.Wieczorkowska 46 Jak obejrzeć dźwięk: sonogram FFT [kHz] [s] sonogram (dźwięk trąbki, c 2, Hz) widmo (klarnet, c 2 )

A.Wieczorkowska 47 A.Wieczorkowska 47 Internet, hypertext, hotspots Przełączanie między stronami i elementami stron www –www URL – Uniform Resource Locator –http, ftp Przeglądanie encyklopedii multimedialnych – uzyskiwanie informacji Hypertext – możliwość przygotowania w dowolnym edytorze tekstu –SGML, Standard Generalized Markup Language, technologia stosowana np. w HTML XML – uproszczenie SGML –HTTP, Hypertext Transfer Protocol CSS – cascading style sheets – design (templates to declare HTML elements) W3C working group on synchronized MM developed a language for Web-based Multimedia presentations, SMIL (Synchronized Multimedia Integration System)

A.Wieczorkowska 48 A.Wieczorkowska 48 WWW HTML – Hypertext Markup Language XML – eXtended Markup Language –Meta-język pozwalający na projektowanie własnych języków typu Markup Language i definiowanie typów dokumentów dla www XHTML - Extensible HTML –przedstawienie HTML 4.01 w postaci XML Strony dynamiczne –Dynamic HTML – Java extensions to HTML; Java Applets; JavaScript Introduced synchronization support into Web documents –Common Gateway Interface CGI – interface to programs that run on a server, so that a user can interact with that program: the user can start a program on the server and wait for a response from the server –ActiveX by MS; components can be written in programming languages (e.g. C, VB), the use of ActiveX controls in HTML pages requires a script language (e.g. JS, VBS)

A.Wieczorkowska 49 Formaty plików multimedialnych w Internecie Grafika: GIF, JPEG Dźwięk: WAV (Windows), AU (Unix), AIFF (Macintosh), MIDI, MP3 i inne Wideo: avi, mpeg, mov, qt, rm, Div-X i inne

A.Wieczorkowska 50 Sprzęt Komputer multimedialny –IBM PC i kompatybilne –Apple MacIntosh software –przeglądarki, przeszukiwarki, plug-ins –Java

A.Wieczorkowska 51 Sprzęt Sprzęt cyfrowy i analogowy –CD-ROM, DVD, Blu-ray –Sprzęt video –Głośniki, słuchawki, monitory etc. –Połączenie z Intenetem: modemy, ISDN (Integrated Services Digital Network) etc. system cyfrowej sieci telekomunikacyjnej z integracją usług –Urządzenia przenośne, sieci bezprzewodowe

A.Wieczorkowska 52 Kto stosuje multimedia? Zastosowania komercyjne –MM na pokładach samolotów –Filmy na życzenie –Publishing, Consumer AV electronics Telekomunikacja Nauczanie na odległość Przykłady prac badawczych (MIT): tel. rozmawiający z rozmówcą

A.Wieczorkowska 53 Zastosowania komercyjne Informacja –Multimedialne kioski informacyjne wirtualne przyciski na monitorze dotykowym, wirtualna klawiatura Telewizja interaktywna – Filmy interaktywne - kierowanie akcją Sklepy wirtualne Wideokonferencje Telefon przez Internet „Inteligentne” urządzenia domowe

A.Wieczorkowska 54 Multimedia w domu Biblioteka na CD –encyklopedie –encyklopedie tematyczne –książki interaktywne –atlasy, atlasy 3D + video możliwość powiększania map i planów miast informacje statystyczne

A.Wieczorkowska 55 Multimedia w domu Gazety internetowe Muzea interaktywne i wirtualne

A.Wieczorkowska 56 Nauka poprzez zabawę - edutainment Rozwijanie inwencji twórczej –pisanie –tworzenie animacji –„żywe” książki – interaktywne wersje popularnych książek dla dzieci Nauka języków obcych –rozpoznawanie mowy –nauka gramatyki z wykorzystaniem animacji (czasowniki)

A.Wieczorkowska 57 Nauka poprzez zabawę - edutainment Matematyka –gry z liczbami Nauka innych dziedzin poprzez rzeczywistość wirtualną i książki interaktywne (biologia, fizyka) Aplikacje dla małych dzieci: nauka kolorów, zegara etc.

A.Wieczorkowska 58 Gry i rozrywka Role-playing games Gry shoot ‘em ups Activity games – na ekranie symulowany jest lot samolotem lub jazda samochodem Inne –Konsole gier, playstations

A.Wieczorkowska 59 Rzeczywistość wirtualna grafika komputerowa wideo dźwięk stereofoniczny obraz 3D VRML (Virtual Reality Modeling Language) – w MPEG-4

A.Wieczorkowska 60 Rzeczywistość wirtualna - zastosowania symulatory lotów planowanie konstrukcji budynków –CAD (Computer-Aided Design) testowanie samochodów trening militarny – symulacja pola bitwy gry headset – 2 ekrany przed oczami grającego, dźwięk stereo podstawa i barierka ochronna

A.Wieczorkowska 61 Rzeczywistość wzbogacona (augmented reality)

A.Wieczorkowska 62 Techniki Rozpoznawanie i synteza mowy –Sterowanie robotami i urządzeniami Grafika 3D i animacja, film Synteza audiowizualna –Awatary Użyteczność interfejsów (usability engineering) –Percepcja barwy Interfejsy dotykowe (haptic) Automatyczne rozpoznawanie/klasyfikacja –Dźwięku query-by-humming –Obrazu

A.Wieczorkowska 63 Aplikacje multimedialne Programowanie –Biblioteki, sterowniki, synchronizacja, duże ilości danych Prędkość, tolerancja na błędy, bezpieczeństwo –Design, użyteczność interfejsu Multimedialne bazy danych

A.Wieczorkowska 64 Higiena pracy z komputerem NIE PRZESIADYWAĆ BEZ PRZERW PO WIELE GODZIN PRZED MONITOREM KOMPUTERA !!! BHP: Praca przy obsłudze elektronicznych monitorów ekranowych jest zaliczana do prac I stopnia szczególnej uciążliwości (M.P.15/1988, poz.130) W czasie intensywnej pracy przy obsłudze monitora ekranowego należy stosować przerwy (10 min. po godzinie pracy, bądź 20 min. po 2 godz. pracy) Jeżeli praca przy komputerze trwa co najmniej 1/2 dobowego wymiaru czasu pracy, pracownik ma prawo do 5-min. przerwy po każdej godz. pracy przed monitorem. Czas przerwy wlicza się do czasu pracy.

A.Wieczorkowska 65 Literatura A. Wieczorkowska. Multimedia. Podstawy teoretyczne i zastosowania praktyczne, PJWSTK, 2008 S. McGloughlin: Multimedia: concepts and practice, Prentice Hall, Upper Saddle River, NJ, USA, 2001 B. Hansen, The Dictionary of Multimedia, Terms and Acronyms, Fitzroy Dearborn, Chicago, 1998 C. Lewis (tech. cons.) 101 Essential Tips, Exploring Multimedia. Dorling Kindersley’97

A.Wieczorkowska 66 Literatura dodatkowa K.Skarbek (red.): Multimedia – Algorytmy i standardy kompresji. Akademicka Oficyna Wydawnicza, Warszawa 1998 V. Subrahmanian, Principles of Multimedia Database Systems,MK 1998 K.Blair-Benson: Audio Engineering Handbook. McGraw Hill, 1990 A. Czyżewski: Dźwięk cyfrowy. Akademicka Oficyna Wydawnicza, Warszawa 1998

A.Wieczorkowska 67 Literatura dodatkowa H. Levkowitz, Color Theory and Modeling for Computer Graphics, Visualisation, and Multimedia Applications, Kluwer, London 1997 G.De Poli, A.Piccialli: Representations of Musical Signals, MIT Press, 1991 D.O‘Shaughnessy: Speech communication: Human and Machine, Addison-Wesley, 1987 C.Basztura: Rozmawiać z komputerem, Wyd. Format, Wroclaw, 1992 R.Tadeusiewicz, M.Flasinski: Rozpoznawanie obrazów. PWN, W-wa, 1991 R.Tadeusiewicz: Systemy wizyjne robotów przemysłowych. WNT, W- wa, 1992 M. Smith, A. Smaill, G. A. Wiggins (Eds.): Music Education: An Artificial Intelligence Approach, Springer-Verlag, 1994 A.S. Tanguiane: Artificial Perception and Music Recognition, Springer- Verlag, LNCS/LNAI 746, 1993 P.Todd, D.G.Loy: Music and Connectionism, MIT Press, 1991 H.Peitgen, H.Juergens, D.Saupe: Granice chaosu – fraktale, PWN, W- wa 1995