Agnieszka Jedynasta Badaniami użyteczności i user experience zajmuję się od 2007 r. Zaczynałam od projektowania obecnie zajmuje się badaniami Mam na koncie ponad 200 projektów badawczych dla różnych branży (finanse, FMCG, usługi, transport, rolnictwo, wydawnictwa, portale, e-commerce)

Czy badać?

Kiedy? I w jaki sposób?

Far better an approximate answer to the right question, which is often vague, than an exact answer to the wrong question, which can always be made precise. - John Tukey

Jak najwcześniej Na każdym etapie Ewaluacja Monitoring

Badania Rodzaje i zastosowanie

Koncepcja Koncepcja Badania Testowanie Prototypów Wdrożenie Projektowanie Interakcji Projektowanie Interface’u Testowanie Prototypów Wdrożenie Testy Użyteczności To nowy produkt – co z gotowym?

Koncepcja Nie wymyślamy funkcjonalności! Burza mózgów: tylko dla potrzeb, celów, problemów Potrzebujemy danych o końcowym użytkowniku Zrób z użytkownika interesariusza (Stakeholder) projektu Praca domowa: czy każdy korzystał z usług naszej firmy jako klient? Przekonuj do UCD, zadawaj pytania: „Kto będzie używał tego produktu?” „Jakie problemy rozwiązuje produkt?” „Jakie cele pomaga osiągnąć?” „Produkt dla wszystkich to produkt dla nikogo”.

Badania Koncepcja Badania Testowanie Prototypów Wdrożenie Projektowanie Interakcji Projektowanie Interface’u Testowanie Prototypów Wdrożenie Testy Użyteczności To nowy produkt – co z gotowym?

Badania Dane ilościowe Jakościowe: Rozpoznaj potrzeby! Wywiady Wiek, płeć, przychód, traffic Segmentacja Jakościowe: Rozpoznaj potrzeby! Wywiady Obserwacja uczestnicząca Projekty UE, Księgarnia Grupy Fokusowe - raczej nie Służą bardziej do kreacji skojarzeń i pomysłów, a nie poznawaniu potrzeb, celów i problemów Przykłady wywiadu – co z niego warto zanotować? – funkcjonalności vs potrzeby i problemy

Wywiad Wywiad swobodny, nieustrukturalizowany Masz pewne tematy do poruszenia jednak nie jest to ankieta Minimum 4 osoby z danej kategorii Nie miej oczekiwań wobec badanego: Ale to nie jest rozmowa, którą ma prowadzić badany

5 zasad dobrego wywiadu Indi Young: Mental Models Temat: "Zachowania i Filozofia" Nie pytaj o preferencje co do produktu, funkcjonalności czy narzędzi. Pytaj o cele, potrzeby, motywacje, obawym, czynności. Tylko otwarte pytania: "Czy wykorzystujesz Excela?” "Jak analizujesz dane, które ściągasz z konta bankowego?” Nie wprowadzaj własnych słów „Jakie lokaty wybierasz" „W jaki sposób oszczędzasz?” "Pogaduszka na bankiecie" to jest wywiad otwarty, nie "faszyzuj” Pogoda, Praca, Rodzina -> Temat1, Temat2, Temat3 Skupiaj się na świeżych wrażeniach Rekrutuj ludzi, którzy zajmowali się obiektem badania niedawno (albo są w trakcie) przywołuj sytuacje, "Ostatni raz kiedy wykonywałeś przelew…" Indi Young: Mental Models

O co warto pytać: Miejsce Częstotliwość Inni ludzie: współpracują, przeszkadzają, czy ich nie ma? Czy to jest trudne czy łatwe Poszczególne kroki dochodzenia do celu

Analiza Warto mieć transkrypcję wywiadów Wypisz osobno: Cele i motywacje (osobiste, zawodowe, materialne, duchowe) Poszczególne kroki konieczne do osiągnięcia celu Kontekst – jakie zewnętrzne czynniki wpływają na ich decyzje? Zaznaczaj powtarzające się wzorce Ignorujemy sugestie konkretnych funkcjonalności

Projektowanie Interakcji Koncepcja Badania Projektowanie Interakcji Projektowanie Interface’u Testowanie Prototypów Wdrożenie Testy Użyteczności M

Persony Modele utworzone na podstawie badań Najważniejsze są ich problemy, cele i motywacje Im mniej, tym lepiej (najlepiej jedna) Reprezentanci użytkowników Najbardziej wymagający Nie „średniacy”!

Persony Zgodność i porozumienie wewnątrz zespołu projektowego Pozwalają uniknąć: „Gumowego Użytkownika” Projektowania dla siebie Projektowania przypadków brzegowych (na nie będzie jeszcze czas) Świetne narzędzie komunikacji Zgodność i porozumienie wewnątrz zespołu projektowego

Cele m Źródło: Cooper, About Face

Cele - jeśli je zignorujemy Źródło: Cooper, About Face

Testy Użyteczności Koncepcja Badania Testowanie Prototypów Wdrożenie Projektowanie Interakcji Projektowanie Interface’u Testowanie Prototypów Wdrożenie Testy Użyteczności w

Testy Użyteczności Obserwacja użytkownika Audyt ekspercki RITE Audyt ekspercki Badania zdalne

Obserwacja Użytkownika Plan minimum Scenariusz Ludzie do badania (min. 3) Moderator Miejsce, w którym nikt nie będzie przeszkadzał

Scenariusz badania Zadania z jasno postawionym celem Nie podpowiadaj treścią zadania Przygotuj „dummy data” Badaj na prawdziwej treści Zrób pretest

RITE szybkie, laboratoryjne badania użyteczności przeprowadzane w cyklach badanie - zmiana.

gdy chcesz mieć gwarancję zachowania poufności badanych materiałów kiedy potrzebujesz szybkich wniosków nie masz potrzeby przygotowywania obszernego raportu jeżeli grupa celowa Twojego produktu jest szeroka przy pilnych potrzebach badawczych, ale niewielkim budżecie  w krótkim czasie na wdrożenie dobrego produktu

Rekrutacja Motywacja i cel nad segmentacją/demografią Dla badania wniosku kredytowego ważniejsze jest, czy badana osoba brała (lepiej: jest w trakcie brania) kredytu, niż czy jej średnia pensja odpowiada dokładnie grupie docelowej Znajomość dziedziny. „Przelewy do US” Unikaj „Zawodowych badanych” Unikaj zbyt doświadczonych technicznie użytkowników Nie badaj rodziny ani znajomych

Rekrutacja Ankieta rekrutacyjna: Odrzucające pytania na początek (oszczędzisz czasu sobie i badanym Otwarte pytania/wielokrotne odpowiedzi zamiast zamkniętych (Tak/Nie) -> trudniej oszukiwać „Czy brał Pan/i udział w jakichkolwiek badaniach przez ostatnie 6 miesięcy” -> „Kiedy ostatnio brała Pani udział w badaniach” „Czy w ciągu ostatnich 3 miesięcy brał Pan kredyt” -> „Czy korzystał Pan w ciągu ostatnich 3 miesięcy z usług banku? … Jakich?: zakładanie konta, inwestycje, kredyty, oszczędzanie, inne?”

Rekrutacja Ilu użytkowników badać? „The most striking truth of the curve is that zero users give zero insights.” useit.com

Przeprowadzanie badania Moderator, obserwator, organizator Powitanie: rozładuj napięcie i dopilnuj szczegółów „Głośne myślenie” Nie podpowiadaj Nie oceniaj Notuj Zaproś innych uczestników projektu!

Analiza wyników Zwracaj uwagę na zachowania, nie na deklaracje (Głośne myślenie traktujemy jako zachowanie) Opis zachowania (dane ilościowe i jakościowe) Opisuj przyczyny problemów Opisuj konsekwencje problemów Dane ilościowe to wskazówka, a nie podstawa do wnioskowania statystycznego Rekomendacje

Obserwacja Użytkownika Zalety: Dowiadujesz się o rzeczywistych problemach Najlepsza forma do przekonania innych o potrzebie zmiany Wady: Ciężko przebadać cały obszar Trzeba angażować więcej zasobów (w porównaniu do audytu eksperckiego)

Audyt Ekspercki Ekspert użyteczności (najlepiej minimum 2) Sprawdzenie okeślonych kryteriów Szczegółowe „Tak/nie” Abstrakcyjne Sprawdzenie scenariuszy („Cognitive walk-through”) Komplementarny z Obserwacją Użytkownika Eksperci szybko znajdą większość głównych problemów Jednak część z nich jest niewykrywalna bez badania Najlepsza kolejność Audyt Ekspercki Zmiany w produkcie Obserwacja użytkownika

Audyt ekspercki Zalety Wady Stosunkowo szybki Nie wymaga organizacji badania, rekrutacji, kosztów z tym związanych Wady Nie wszystkie problemy zostaną znalezione Mniejsza siła przekonywania niż badania

Audyt ekspercki - wędrówka poznawcza (cognitive walkthrough) Założenie nowi użytkownicy wolą uczyć się obsługi systemu poprzez wykonywanie zadań, niż na przykład przez czytanie instrukcji. Realizowany w oparciu o scenariusze użycia serwisu Osoby oceniające (np. projektanci) przechodzą (ang. walkthrough) przez kolejne kroki, zdając sobie zestaw pytań na temat każdego z kroków i oceniając zachowanie systemu

Testy A/B Testy A/B pozwalają przetestować skuteczność dwóch (lub więcej) różnych wersji strony.

Badania zdalne Kiedy? zbieranie dużej liczby wyników (dostarczanie danych ilościowych służących podejmowaniu decyzji), zbieranie informacji na temat użyteczności, ale również postaw, opinii, stosunku do produktu, zbieranie wyników w możliwie jak najkrótszym czasie (krótki czas realizacji badań), w miarę możliwości utrzymanie dotychczasowych korzyści, które dawały badania użyteczności.

Badania zdalne Rodzaje: badania zdalne moderowane – są najbardziej zbliżone do badań laboratoryjnych. Pozwalają poprzez Internet  na prowadzenie bezpośredniej rozmowy z użytkownikiem oraz śledzenie jego działań. badania zdalne niemoderowane jakościowe – bez udziału moderatora. Użytkownik wykonuje zadania na stronie internetowej, a jego poczynania są zgrywane i następnie dostępne w formie filmów do obejrzenia badania zdalne niemoderowane ilościowe - Badani realizują określone zadania na serwisie, a w tle ich działań zgrywane są różne parametry np. liczba kliknięć, czas na realizację zadania, poprawność realizacji zadania. W efekcie otrzymuje się dużo informacji ilościowych, uzupełnionych o opinie użytkowników.

Zadanie scenariuszowe Użytkownik realizuje określony scenariusz; Następnie odpowiada na zadane pytania w ankiecie satysfakcji. Otrzymujemy filmy z pulpitu pokazujące ruchy kursora oraz opcjonalnie nagrania twarzy i głosu użytkownika. Zliczane są również czasy wykonania zadań, liczby odwiedzonych podstron i procentowy rozkład sukcesu i porażki.

Testy X-sekundowe Użytkownik przez określony czas ogląda wskazaną kreację/ reklamę/ film, po czym opisuje wszystkie elementy, które zauważył i zapamiętał w danej kreacji. zebranie obserwacji i opinii użytkowników przy pierwszym kontakcie identyfikacja elementów, które zostały zapamiętane i wymienione przez użytkowników. określenie, które z elementów nie zostały zauważone przez respondentów

Testy nawigacji Użytkownik otrzymuje zadanie znalezienia określonych informacji w klikalnym menu poziomym. System rejestruje pierwsze kliknięcie oraz każde kolejne aż do osiągnięcia sukcesu. weryfikacja poprawności układu menu. sprawdzenie rozwiązań bez konieczności wcześniejszego ich oprogramowania stworzenie intuicyjnej architektury informacji tak, aby kluczowe elementy, były łatwe do wyszukiwania możliwość porównania rozwiązań konkurencyjnych i porównanie ich z własnymi pomysłami

Klikanie i komentowanie Użytkownik otrzymuje zadanie polegające np. na wskazaniu elementów kreacji, które przyciągnęły jego uwagę, wybraniu miejsc, w których szukałby określonych danych lub wybraniu elementów, które zwróciły jego uwagę. Użytkownicy uzasadniają swój wybór w polu tekstowym. sprawdzenie atrakcyjności layoutów, ich przekaz oraz poprawność ułożenia elementów. określenie najbardziej istotnych funkcjonalności celem uproszczenia i optymalizacji kreacji

Card sorting Kiedy? Celem badania jest pomoc w zorganizowaniu treści serwisu tak, aby kluczowe dla użytkowników elementy, były ułożone w sposób jak najbardziej prosty i intuicyjny. Rodzaje: Sortowanie otwarte (open sort), Sortowanie zamknięte (closed sort albo tree sort), Wolna lista (free list).

Card sorting projektowanie efektywnej architektury informacji serwisu, struktury nawigacji grupowanie według potrzeb użytkowników (a nie tego jak się wydaje projektantom) odpowiednie uhierarchizowanie modułów i funkcjonalności

Wolna lista często wykorzystywana jako faza przed badaniem z użyciem metody otwartego sortowania kart użytkownikom tłumaczy się o czym będzie projektowana przez nas strona internetowa i jakie będą się znajdowały na niej funkcjonalności po odpowiedzeniu na wszelkie pytania i wątpliwości użytkowników, ich zadaniem będzie przygotowanie listy kluczowych elementów w kolejnym etapie powinni także pogrupować w ten sposób powstałe nazwy

Sortowanie otwarte Przygotowujemy listę kategorii (maksymalnie 30) Dajemy je badanym z prośbą o pogrupowanie według intuicji Prosimy, aby ponazywali poszczególne grupy

Sortowanie zamknięte Przygotowujemy głównych kategorii (rekomenduje się max 8) Tworzymy listę podkategorii (maksymalnie 30) Dajemy je badanym z prośbą o przypisanie ich do poszczególnych grup

Warto przeczytać Prostota i użyteczność. Projektowanie rozwiązań internetowych, mobilnych i interaktywnych Observing the User Experience: A Practitioner's Guide to User Research The Design of Everyday Things Measuring the User Experience