Acceptance Testing (2) Copyright, 2006  Jerzy R. Nawrocki Requirements Engineering & Project Management Lecture 8

J.Nawrocki, Acceptance Testing Model V Requirements spec. Acceptance tests Design Integration tests Coding Unit tests Customer

J.Nawrocki, Acceptance Testing Introduction Test-driven development Acceptance tests: customer Automated accept. testing A. testing: customer+tester Progress measurement based on acceptance testing

J.Nawrocki, Acceptance Testing Extreme Programming Acceptance testing -> Progress measurement Weeks Number of tests

J.Nawrocki, Acceptance Testing Introduction – What is Rational Robot? Baseline Robot

J.Nawrocki, Acceptance Testing Manual or Automatic Testing? The amount of effort to automate a test case: 2 – 10 times the effort required to run the test manually (!)

J.Nawrocki, Acceptance Testing Data-driven scripts Data-driven scripting = Test inputs stored in a separate (data) file. countries, Sweden, USA, countries2 countries, France, Germany, test2 countries, Austria, Italy, test3

J.Nawrocki, Acceptance Testing Keyword-driven scripts Keyword-driven script = A data-driven scripts augmented with keywords representing user actions. ScribbleOpen countries AddToList Sweden USA SaveAs countries2

J.Nawrocki, Acceptance Testing Shared scripts Shared script = A script used (shared) by more than one test case. SQABasic Call ScribbleOpen (‘countries’) FocusOn ‘Scribble’ SelectOption ‘List/Add Item’... Call ScribbleSaveAs (‘countries2’)

J.Nawrocki, Acceptance Testing Test activities Identify test conditions (‘what’ to test) and prioritize Design test cases (‘how’ to test) Build test cases (scripts, data etc.) Execute test cases Compare test outcomes to expected outcomes

J.Nawrocki, Acceptance Testing The manual test process Unscripted manual testing: 1.Identify conditions to test 2.Think up specific inputs 3.Enter the inputs 4.Checked it worked OK

J.Nawrocki, Acceptance Testing The manual test process Unscripted manual testing Vague manual scripts: 1.Read what to do 2.Think up specific inputs 3.Enter the inputs 4.Checked it worked OK

J.Nawrocki, Acceptance Testing Vague manual script 1 Run up Scribble File menu displayed 2 Open file with sorted ListFile contents displayed 3 Add some items to ListItems added in order 4 Move an itemItem moved, List now unsorted 5 Add an itemItem added at end of List 6 Delete item form listItem deleted 7 Use invalid position numberError message displayed to delete an item 8 Save changes in new fileEnd of test

J.Nawrocki, Acceptance Testing An example test case Prerequisites: logged into the purchase order system as a data entry clerk; database system must contain the standard Data Set; no other new purchase order activity on the system. StepInputExp.outCond. 1 Create a new order for any one standard order, setting quantity to 100 Order confirmation message displayed VB10 VB23 2 Confirm the orderPurchase order printed VB10 3 Print a new orders reportNew orders report printed showing just this one new order VB10 VB23 4 Cancel the orderPurchase order cancellation notice printed V8

J.Nawrocki, Acceptance Testing The manual test process Unscripted manual testing Vague manual scripts Detailed manual scripts: 1.Read what to do 2.Enter the inputs 3.Checked it worked OK

J.Nawrocki, Acceptance Testing Detailed manual script 1 Click on Scribble iconScribble opened, File menu enabled 2 Move mouse to File menu, clickOptions available: Open, New, Exit 3 Move mouse to Open option,Filenames displayed including clickcountries.dcm 4 Move mouse to countries.dcmText plus List of 3 countries: Belgium, Netherlands, UK, File and List menus displayed...

J.Nawrocki, Acceptance Testing Test activities Identify test conditions (‘what’ to test) and prioritize Design test cases (‘how’ to test) Build test cases (scripts, data etc.) Execute test cases Compare test outcomes to expected outcomes

J.Nawrocki, Acceptance Testing Internet-based Book Store

J.Nawrocki, Acceptance Testing Test conditions Kupno pojedynczej książki Kupno książek, które będą wysłane w kilku paczkach Nieefektywny zakup książki Sprawdzenie co się dzieje z kupionymi książkami Dodanie swojej recenzji Zapłata kartą płatniczą Zapłata czekiem...

J.Nawrocki, Acceptance Testing Priorities Kupno pojedynczej książki Kupno książek, które będą wysłane w kilku paczkach Nieefektywny zakup książki Sprawdzenie co się dzieje z kupionymi książkami Dodanie swojej recenzji Zapłata kartą płatniczą Zapłata czekiem...

J.Nawrocki, Acceptance Testing Test scenario design Ineffective purchase: 1 Klient wkłada do koszyka książki 2 Klient wyjmuje z koszyka wszystkie włożone książki Ineffective purchase: 1 Klient wkłada do koszyka książki 2 Klient wyjmuje z koszyka wszystkie włożone książki 3 Klient wkłada do koszyka książkę 4 Klient wyjmuje z koszyka książkę

J.Nawrocki, Acceptance Testing UC-based Test Scenario Zakup książki 1. Klient przegląda książki dostępne w księgarni. 2. Klient wkłada do koszyka wybraną książkę. 3. Klient przechodzi do sfinalizowania zakupu. 4. System prosi o podanie adresu i danych do faktury. 5. Klient podaje adres i dane do faktury. 6. System prosi o wybranie sposobu zapłaty. 7. Klient płaci za książkę w wybrany sposób. 8. System dziękuje za zakup i informuje o przesyłce. Wyjątki 3a. Klient chce rozważyć możliwość zakupu jeszcze jednej książki. 3a1. Następuje powrót do kroku 1. 3b. Klient chce zrezygnować z zakupu książki, którą ma w koszyku. 3b1. Klient wyjmuje książkę z koszyka

J.Nawrocki, Acceptance Testing UC-based Test Scenario Zakup książki 1. Klient przegląda książki dostępne w księgarni. 2. Klient wkłada do koszyka wybraną książkę. 3. Klient przechodzi do sfinalizowania zakupu. 4. System prosi o podanie adresu i danych do faktury. 5. Klient podaje adres i dane do faktury. 6. System prosi o wybranie sposobu zapłaty. 7. Klient płaci za książkę w wybrany sposób. 8. System dziękuje za zakup i informuje o przesyłce. Wyjątki 3a. Klient chce rozważyć możliwość zakupu jeszcze jednej książki. 3a1. Następuje powrót do kroku 1. 3b. Klient chce zrezygnować z zakupu książki, którą ma w koszyku. 3b1. Klient wyjmuje książkę z koszyka...

J.Nawrocki, Acceptance Testing Building Test Cases int LiczbaCyfr(int n) 0 [1-9] [10-99] [ ]... [.. –1] 1, 9 10, , 999, 255,

J.Nawrocki, Acceptance Testing Data-driven scripts               Software under test Key automated regression test cases Additional automated regression test cases

J.Nawrocki, Acceptance Testing Test activities Identify test conditions (‘what’ to test) and prioritize Design test cases (‘how’ to test) Build test cases (scripts, data etc.) Execute test cases Compare test outcomes to expected outcomes

J.Nawrocki, Acceptance Testing Test activities Identify important scenarios (criticality/frequency) and prioritize Instantiate the selected scenarios (1 -> *) Implement (scripts, data etc.) Execute test cases Compare test outcomes to expected outcomes

J.Nawrocki, Acceptance Testing Quality attributes of a test case How effective in detecting defects? How exemplary ? (the more exemplary, the less test cases needed) How economic ? How evolvable ? (maintenance effort)

J.Nawrocki, Acceptance Testing Test automation effects Effective Exemplary Evolvable Economic

J.Nawrocki, Acceptance Testing Summary SDS test development: 1. Use cases 2. Manual test scenarios 3. Automated test scripts 4. Test cases sharing the scripts httpUnit or Rational Robot?

J.Nawrocki, Acceptance Testing Questions?

J.Nawrocki, Acceptance Testing Presentation Contents Testing Life Cycle The Scribble Application The Manual Test Process Test Automation Use-Case-Based Acceptance Testing

J.Nawrocki, Acceptance Testing Test activities Identify test conditions (‘what’ to test) and prioritize  val i > Value subject to  size i  Capacity Knapsack problem size i val i Capacity Value

J.Nawrocki, Acceptance Testing Presentation Contents Testing Life Cycle The Scribble Application The Manual Test Process Test Automation Use-Case-Based Acceptance Testing

J.Nawrocki, Acceptance Testing Presentation Contents Testing Life Cycle The Scribble Application The Manual Test Process Test Automation Use-Case-Based Acceptance Testing

J.Nawrocki, Acceptance Testing Test activities Identify important scenarios (criticality/frequency) and prioritize Instantiate the selected scenarios (1 -> *) Implement (scripts, data etc.) Execute test cases Compare test outcomes to expected outcomes

J.Nawrocki, Acceptance Testing Use case goal levels Book tripBook hotelBook flight User Goal Level Book trip Summary Level Book trip Book hotelBook flight Find flight Reserve seat Find hotel Reserve room Subfunction Level

J.Nawrocki, Acceptance Testing Test coverage GetSoftwareG1:0 SelectAProjectG1:0 GetInfoAboutProjectsG1:0 RegisterACustomerG1:1Z1:1 SubmitAProposalG1:0R1:0U1:0 Scenario Total calls

J.Nawrocki, Acceptance Testing Use-Case Example Success Guarantees Success Guarantees: Requestor has goods, correct budet ready do be debited. Trigger Trigger: Requestor decides to buy something. Main Success Scenario 1.Requestor 1.Requestor: Initiate a request. 2.Approver 2.Approver: Check money in the budget, check price of goods, complete request for submission. 3.Buyer 3.Buyer: Check contents of storage, find best vendor for goods. 4.Authorizer 4.Authorizer: Validate Approver’s signature....Extensions 1a. Requestor does not know vendor or price: leave those parts blank and continue.

J.Nawrocki, Acceptance Testing Test scenario Aktor: Reprezentant klienta Cel: Zarejestrowanie organizacji klienta w bazie danych SDS Pochodzi z: przypadku użycia RegisterACustomer [RegCust] Autor: J.Nawrocki; Zmodyfikowano: Scenariusz: Główny scenariusz – G1 Scenariusze pomocniczych przypadków: - Warunki wstępne: Firma X nie jest zarejestrowana jako reprezentant klienta. Punkt wejścia: Przeglądarka internetowa (Internet Explorer 5.0) Krok Akcja aktoraSpodziewany rezultat Pro1Otwórz stronę SDS-u.Strona SDS jest otwarta. 1Otwórz formularz rejestracji.Formularz otwarty [ReqCust- Form]. 2Wprowadź dane Firmy X [CustInfo] i wyślij je. Zostaje wyświetlony komunikat “Registration confirmed” [ReqCust-Confirm].

J.Nawrocki, Acceptance Testing Test scenario – Screen shots RegCust-FormRegCust-Confirm