Kategori: Test Design

Äntligen dags för vår första Peer Conference i test

Helgen 11-12 november samlades ett tappert gäng på Högberga gård, Lidingö för att i två dagar diskutera testdesign. Konferensen har som mål att deltagarna ska få presentera sin egna erfarenheter och alla får sen ställa frågor och kommentera. Skillnaden mot "vanliga" konferenser är att dn som presenterar säger det han ska och sen ställs det ett par frågor för sakens skull. I vårt fall är det tvärtom, presentationen tar mellan 20 och 30 minuter och den efterföljande diskussionen för de först två presentationerna tog en dryg timme för varje presentation. För första gången på länge känner jag att vi verkligen har en diskussion och och utbyte av värde. Förhoppningen är att detta första mötet följs av åtskilliga liknande möten.    

Till vår hjälp hade vi testgurun James Bach som troligen är den som deltagit i flest liknande konferenser i USA och England. James började med att berätta reglerna för mötet vilka kan sammanfattas som:

1. Alla presentationer bygger på egna erfarenheter

2. Allt som sägs på mötet får föras vidare

3. Varje presentatör får presentera sin sak utan att bli avbruten

4. Efter detta följer diskussionsstunden där övriga deltagare ställer frågor eller kommenterar det som sagts. Vi bestämmer själva hur länge diskussionen pågår genom att sluta ställa frågor.

5. Agendan för mötet och inbjudna deltagare bestäms av Content Owner: den person som arrangerar mötet. Moderator som håller reda på diskussioner och frågor kallas i vårt fall Facilitator.

Deltagare denna gång var:
Content Owner: Torbjörn Ryber
Special Guest: James Bach
Deltagare: Siv Carlsson, Klaus Andersson, Daniel Nordling, Pablo Garcia (han som har många strängar i sin villa enligt CS 10 nov), Jörgen Damberg, Anders Claesson, Frederik Rydberg, Michael Albrecht, Örjan Svensson, Rolf Nilsson, Ann-Charlotte Bolander

Jag fick äran att inleda konferensen med en kort presentation om test av en kreditratingfunktion. Efter en tjugo minuter lång beskrivning av hur testdesign fungerade otroligt kraftfullt för att hitta fel i kraven innan någon kodning hade startat följde en timmes frågestund. Verkligen kul att alla är så engagerade. 

Klaus Andersson berättar om hur de använder sig av all-pairs för att få en rimlig mängd testfall då de får nya versioner av elektroniken i bilar. Spännande att höra om all funktionalitet som finns kopplat till bilen i form av signaler från krockkuddar, bensintank, GPS etc och automatiska funktioner som skickar SMS vid en krock. James visade en demo av ett nytt verktyg för att ta fram parvisa tester som heter PICT. 

Dags för nästa presentation om Free User Testing på Maquet.  Frederik Rydberg berättar hur de kompletterar de skriptade testerna som krävs av FDA (USAs kontrollorgan för medicin) med fria tester. Vi hade en mycket lång diskussion som kom in på fördelarna och nackdelarna med utforskande testning. Det var så intressant att vi beslutade oss för att låta James presentera sina erfarenheter av utforskande testning nästa dag.

Lördagkvällen bjöd på en utsökt trerätters middag, jacuzzibad, vedeldad bastu, whisky i Kinasalen, nytt försök med vedeldat bastu och efterföljande brankårsbesök. Brandmännen påpekade att de var mitt i lördagsfilmen och bad oss att i framtiden använda den eluppvärmda bastun istället så att de kunde åka hem och se hur filmen slutade.

Söndagen började med nypressad apelsinjuice, bacon och kaffe för att skaka liv i våra trötta kroppar. Efter det gjorde vi en check-in där alla fick berätta om upplevelsen av gårdagen och förväntningarna inför dagen. 

James berättade om ett lyckat projekt där Exploratory Testing var sättet de arbetade på. Fokus var scenariotester som beskrevs i form av charters dvs en översiktlig beskrivning med data, förberedelser och variationer. Till testutförandet och analysen av testerna användes flera mycket användbara verktyg. Allt testarna gjorde inklusive anteckningar loggades med hjälp av Spector (spelar in vad som händer  på skärmen, 99 USD) så att testledaren kan läsa och analysera i efterhand. Loggfilerna analyserades via Excel för att se testtäckning. Exempelvis kan du be utvecklarna att skriva ut väldigt detaljerat till loggen, att numrera alla funktioner eller objekt och utifrån loggfilen se vad som använts.

Dessutom finns Strings som hjälper dig att dumpa all text från en databas för att sedan analysera den. Beskrivningar av verktygen och länkar till verktyget hittar du på James blog.

Sista presentationen är Pablo Garcia som berättar om test av ett avancerat telefonisystem. Problem han hittade var att dokumentationen av kraven var undermålig. Kraven var inte granskade och samma dokument existerade i flera olika varianter fast det på revisionsbeteckningen var samma datum och version. Första åtgärden blev att skaffa kontroll över kraven och utbilda alla i CM. Nästa steg var att besöka fabriken som tillverkade enheterna fysiskt och där införa manuell kontroll av monteringen. Följande steg var att organisera test, uteckling, dokumentationsstruktur och processen som helhet. Allt var väldigt formaliserat och alla testfall beskrivna i detalj. Resultatet blev att komponentens kvalitet ändrades från instabil till extremt stabil. Fortfarande två år senare var komponenten väldigt stabil men då inga script eller testfall hade uppdaterats hade kvaliteten fömsämrats till viss del. Men på grund av regressionstesterna kunde man ändå hålla en bra nivå.  

Den efterföljande diskussionen handlade mycket om hur detaljerad information som måste sparas för regressionstester. I detta fall fanns det 500 sidor detaljerad testfallsinfo eftersom det inte fanns möjlighet att få bra eller ens halvbra testare i framtiden. Vi inser att dokumentation är ett bra ämne till nästa konferens.

Vi avslutar med att diskutera framtiden och ser alla fram emot nästa gång vi träffas. James lovar att återkomma gratis för att facilitera möten i framtiden. Allt ser lysande ut!