Inżynieria Oprogramowania 9. Testowanie oprogramowania 26/03/2017 Inżynieria Oprogramowania 9. Testowanie oprogramowania Leszek J Chmielewski Wydział Zastosowań Informatyki i Matematyki SGGW www.lchmiel.pl

Źródła Materiały dra Waldemara Karwowskiego, wykładowcy w poprzednich semestrach Ian Sommerville, Inżynieria Oprogramowania, WNT, Warszawa 2003

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Metody nieformalne Metody formalne: do systemów krytycznych Specyfikacja wymagań Specyfikacja systemu Projekt systemu Projekt szczegółowy Testowanie komponentów Testowanie integracyjne Twórca oprogramowania Zespół testujący integrację Plan testów akceptacyjnych Plan testów integracji systemu Plan testów integracji podsystemu Testy modułów i jednostek Metody formalne: do systemów krytycznych Zwyczajne przypadki: testowanie na podstawie ogólnego opisu funkcji elementów Jednak integracja musi być przetestowana na podstawie pisemnej specyfikacji systemu Robi się to różnie w systemach funkcyjnych i obiektowych Działanie Test akceptacyjny Test integracji systemu Test integracji podsystemu

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Specyfika testowania defektów Nie w celu zatwierdzenia – stwierdzenia realizacji funkcjonalności, ale w celu ujawnienia defektów Pozytywnym wynikiem testu jest znalezienie defektu

Model testowania defektów Przypadki testowe Dane testowe Wyniki testów Raport z testów Opracuj przypadki testowe Przygotuj dane testowe Uruchom na nich program Porównaj wyniki z przypadkami testowymi Dane testowe można generować automatyczne, przypadki testowe – nie Testować trzeba tylko podzbiór dopuszczalnych przypadków testowych Do wyboru tego podzbioru – strategia

Strategia wyboru przypadków testowych Przykład: Przetestować wszystkie funkcje dostępne z menu Przetestować wszystkie kombinacje funkcji dostępnych z tego samego menu (wyobraźmy sobie edytor tekstu) Przetestować wszystkie funkcje, w których użytkownik wprowadza dane dane poprawne dane niepoprawne (Świadomie pominęliśmy tu rzadkie kombinacje funkcjonalności)

Testowanie czarnej skrzynki Testy wyprowadza się ze specyfikacji, nie biorąc pod uwagę struktury programu Inaczej: testowanie funkcjonalne – bierze się pod uwagę tylko funkcjonalność, a nie implementację Dane wejściowe powodujące anormalne zachowanie Wejb Testowe dane wejściowe Dane wyjściowe umożliwiające wykrycie defektów System Wyjb Wyniki testów

Czarna skrzynka: Dzielenie na klasy równoważności Jak dobrać dane, aby ujawnić defekty? Wykrywamy w danych strukturę: klasy równoważności Testujemy centra i granice klas Przykład: konto telefonu komórkowego z rachunkiem Klasy równoważności: konto rozmów, usługa „darmowe wieczory”, usługa Internet z limitem, „pakiet rodzinny”, ... „środki” klas: stany typowe granice klas: rachunek nie opłacony, rozmowa rozpoczęta na granicy czasu „wieczory”, przekraczamy granicę transferu w pakiecie Internet, dokupujemy dodatkowy pakiet, telefon w pakiecie staje się nieaktywny, ...

Testowanie strukturalne Zwane biała skrzynka, szklana, przezroczysta skrzynka – widać, co jest w środku Widać strukturę oprogramowania Można rozszerzyć wiedzę o klasach równoważności widać warunki, nie tylko dane

Testowanie strukturalne: Testowanie ścieżek Praktyczne dla jednostek mniejszych wzrost złożoności Nie testujemy wszystkich możliwych ścieżek Tylko tak, aby każde rozgałęzienie wykonano dla wszystkich możliwych wyjść każda instrukcja była wykonana co najmniej raz

Testowanie strukturalne: Testowanie ścieżek 1, 2, 3, 8, 9 1, 2, 3, 4, 6, 7, 2 1, 2, 3, 4, 5, 7, 2 1, 2, 3, 4, 6, 7, 2, 8, 9 Nie: 1, 2, 8, 9 1 2 3 4 8 5 6 9 7

Testowanie strukturalne: Testowanie ścieżek Liczba niezależnych ścieżek? O(n)? O(n2)? O(n3)? = złożoność cykliczna Grafu ZC(G) = L_krawędzi(G) – L_węzłów(G) + 2 11-9+2=4 Jeśli nie ma skoków w Programie: ZC(P) = L_warunków(P) + 1 Przypadki testowe dla każdej ścieżki Dynamiczny analizator programu - Profiler 1 2 3 4 8 5 6 9 7

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Specyfika testowania integracyjnego Zdecydowanie najłatwiej jest testować w procesie integrowania przyrostowego – zalecany ze względu na testy integracyjne Moduł Ma, testy Ta + Moduł Mb, testy Ta + Tb + Moduł Mc, testy Ta + Tb + Tc ... Interakcje między modułami zaburzają ten prosty schemat 

Testowanie wstępujące i zstępujące najpierw moduły niskiego poziomu N potem wyższego N-1 ... Zstępujące: system jako całość – struktura, poziom 0 potem moduły poziomu niższego N+1 Wydawałoby się, że testowanie wstępujące jest jedyną rozsądną możliwością ...

Testowanie wstępujące i zstępujące moduły niskiego poziomu N potem wyższy N-1 Zstępujące: struktura systemu, poziom 0 potem niższy N+1 Komponent poziomu N Namiastka komponentu poziomu N+1 Sterownik testowania Namiastka komponentu poziomu N+1 Namiastka komponentu poziomu N+1 Komponent poziomu N+1 Komponent poziomu N+1 Komponent poziomu N+1

Testowanie wstępujące i zstępujące moduły niskiego poziomu N potem wyższy N-1 Zstępujące: struktura systemu, poziom 0 potem niższy N+1 Komponent poziomu N Namiastka  Korek Namiastka komponentu poziomu N+1 Sterownik testowania Namiastka komponentu poziomu N+1 Namiastka komponentu poziomu N+1 Komponent poziomu N+1 Komponent poziomu N+1 Komponent poziomu N+1

Testowanie wstępujące i zstępujące Porównania: Zstępujące: łatwiej zatwierdzić architekturę można zaprezentować koncepcję ALE trudno obserwować testy, bo nie są produkowane prawdziwe wyniki Wstępujące: powstają prawdziwe wyniki ALE trzeba wytwarzać sterowniki testowania

Testowanie interfejsów Sterowniki testów nie symulują całego systemu, a namiastka – gotowego modułu Interfejsy: Parametryczne W pamięci dzielonej Proceduralne – podsystem obudowuje zbiór procedur, dostarczając interfejsu do nich Z przekazywaniem komunikatów

Klasy błędów Niewłaściwe użycie interfejsu Niezrozumienie interfejsu najczęściej interfejsy parametryczne Niezrozumienie interfejsu źle zrozumiana specyfikacja, fałszywe założenia Błędy synchronizacji w systemach czasu rzeczywistego, odbiorca dostaje nieaktualne dane pamięć dzielona, przekazywanie komunikatów Uwaga: Nie każdy błąd powstaje w jednym miejscu np. interakcja usterek kilku modułów

Kilka zasad Jawnie wypisz wywołania zewnętrznych komponentów; w testach uwzględnij parametry leżące na granicach zakresów Testuj zerowe wartości wskaźników W interfejsie proceduralnym: niech test wywoła awarię komponentu – wykryjesz nieporozumienia co do specyfikacji W interfejsie z komunikatami: spowoduj przeciążenie W interfejsie wielu komponentów z pamięcią dzieloną: wypróbuj różne kolejności wywoływania komponentów – sprawdzisz niejawne założenia

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Specyfika programów obiektowych Obiekty są zwykle większe, niż funkcje Są luźno powiązane, struktura nie jest ścisła, brak oczywistego „wierzchołka” systemu W programowaniu z użyciem wielokrotnym może nie być dostępu do kodu źródłowego Skutki: Testy białej skrzynki mogą dotyczyć większych jednostek Testowanie integracyjne jest inne

Cztery poziomy testowania obiektowego Testowanie operacji związanych z obiektami testowanie czarnej i białej skrzynki Testowanie klas obiektów rozszerzone podejście do klas równoważności Testowanie gron obiektów testowanie wstępujące/zstępujące  scenariusze Testowanie całego systemu użytkownika nie interesuje obiektowość – zwykłe testy względem specyfikacji wymagań

Testowanie klas obiektów W testowaniu systemów funkcyjnych badano wszystkie instrukcje i wszystkie ścieżki Teraz trzeba również oddzielnie testować wszystkie operacje związane z obiektami – metody zapisywać i odczytywać wszystkie atrybuty obiektów badać obiekty we wszystkich możliwych stanach  symulować wszystkie zdarzenia wywołujące zmianę stanu

Integracja obiektów Nie ma ścisłej hierarchii, ale Zbiór obiektów, które razem oferują określony zbiór usług, nazwiemy gronem Podejścia: Testowanie przypadków użycia, scenariuszy dla gron używamy diagramów przebiegu (sekwencji) Testowanie wątków: reakcji na zdarzenia Testowanie interakcji: ścieżki {zdarzenie wejściowe, ciąg ścieżek metoda-komunikat, zdarzenie wyjściowe} Należy zwrócić uwagę na wyjątki i ich obsługę przez obiekty.

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Warsztaty do testowania Generator danych testowych Specyfikacja Kod źródłowy Menedżer testów Dane testowe Wyrocznia Oracle Analizator dynamiczny Testowany program Wyniki testów Spodziewane wyniki Raport z wykonania programu Symulator środowiska Narzędzie do porównywania plików Raport z wynikami testów Generator raportów Przykład struktury

Warsztaty do testowania Generator danych testowych Specyfikacja Kod źródłowy Menedżer testów Dane testowe Wyrocznia Oracle Analizator dynamiczny Testowany program Wyniki testów Spodziewane wyniki Raport z wykonania programu Symulator środowiska Narzędzie do porównywania plików Raport z wynikami testów Generator raportów Przykład struktury

Plan Wstęp Testowanie defektów Testowanie integracyjne Testowanie obiektowe Warsztaty do testowania Podsumowanie

Podsumowanie Testy często używanych części systemu są najważniejsze Dziel dane na klasy równoważności; testuj na wartościach centralnych i granicznych Systemy funkcyjne można testować wstępująco i zstępująco Testy czarnej skrzynki – bez znajomości kodu, na podstawie specyfikacji Testy białej skrzynki – strukturalne – na podstawie kodu; warunki i ścieżki Testowanie integracyjne – sprawdza interakcję i interfejsy Defekty interfejsów: często w wyniku błędów rozumienia specyfikacji, fałszywych założeń Testy klas – metody, atrybuty, stany Testy systemów obiektowych trzeba organizować wokół gron obiektów związanych z przypadkami użycia lub wątkami