Kui tihti oled kuulnud tarkvaraarendusprojektidest, mis eelarves ei püsi? Või ajakavas? Kui palju seda su enda projektidega juhtunud on? Kui meenus vähemalt kaks (või üks, aga hästi suur), loe edasi. Loodetavasti aitab.

Mis on testimine ja millega see aidata võiks?

Ühe rahvusvahelise definitsiooni järgi on testimine protsess, mis koosneb kõigist tarkvara elutsüklis sisalduvatest tegevustest, mis tegelevad tarkvaraprodukti ja seotud töötulemite hindamise planeerimise, ettevalmistamise ja läbiviimisega, et:

  • selgitada välja, kas ja mil määral nad vastavad nõuetele;
  • näidata nende sobivust eesmärgi saavutamiseks ning
  • leida vigu.

Mida paremini sobib tehtud töö eesmärgi saavutamiseks ja vastab nõuetele, seda vähem peab tööd ümber tegema. Mida varem vead leitakse ja parandatakse, seda vähem tuleb tööd ümber teha. Aga sellest kõigest varsti lähemalt.

Kõige Olulisem Küsimus

Kõik, kes testimisega vähegi kokku on puutunud, vaevavad tihti pead küsimusega: „Kui palju peaks testimisele aega/raha kulutama?“ Et aga ainult suhtarv ütleb vähe, sõnastame küsimuse natuke laiemalt:

Kes, mida ja kui palju peaks testima, et oleks “piisav”?

Kirjutise järgnevad peatükid otsivadki antud küsimusele vastust, andes huvitatud lugejale vihjeid edasiseks lugemiseks. Kuna testimine ja tarkvaraarenduse kvaliteeditegevused üldisemalt on üsna lai teema, ei ole antud artikli skoobis võimalik pakkuda enamat põgusa sissejuhatuse andmisest.

Testimise tükeldamine

Ka kõige lihtsamate infosüsteemide puhul saab võimalikke testitavaid sisendite kombinatsioone välja mõelda lõpmatul hulgal, seega on täielik testimine võimatu. Selleks, et testimine erinevate rollide vahel mõistlikult ära jagada, tuleb tööd tükeldada. Seda saab teha nii horisontaalselt, erinevate kvaliteediatribuutide kaudu, kui ka vertikaalselt, vastavalt abstratktsioonitasemetele. Seejuures võivad teostajad erineda nii testimise liikide kui ka –tasemete lõikes. Kõlas keeruliselt? Ilmselt küll. Aga tegelikult ei ole testimise liigid ja -tasemed välja mõeldud mitte selleks, et keerulisem oleks, vaid vastupidi – lihtsam. Kuna tarkvara ise on sageli suur ja keeruline, on mõistlik arendusprotsess (ja selle kvaliteedikontroll) väiksemateks loogilisteks osadeks jagada.

Testimise liigid (test types)

Testimist saab jagada liikideks vastavalt tarkvara kvaliteediomadustele. Viimaste kategooriaid on ISO 25010 (endise ISO/IEC 9126) järgi 8:

  • funktsionaalsus;
  • töökindlus;
  • kasutatavus;
  • hooldatavus;
  • tõhusus;
  • ühilduvus;
  • turvalisus ning
  • porditavus.

Arvatavasti kõige tuntum osa testimisest, üldjuhul ka kõige töömahukam – funktsionaalne testimine – hõlmab esimest kategooriat. Ülejäänud kategooriad võetakse üldjuhul ühise nimetaja alla “mittefunktsionaalsed nõuded” ning nendega seondub palju erinevaid (mittefunktsionaalseid) testimise liike, muuhulgas:

  • jõudlustestimine ja selle erijuhud (koormus- ja stressitestimine);
  • robustsustestimine (testimine vigaste andmetega);
  • kasutatavuse testimine;
  • paigaldatavuse testimine;
  • turvatestimine;
  • jpm.

Lisaks eeltoodule saab testimist jagada liikidesse vastavalt sellele, kas programmikood käivitatakse või mitte. Esimesel puhul, mis on taaskord tuntum, on tegu dünaamilise testimisega. Staatiline testimine, mille käigus koodi ei käivitata, võimaldab testida sisuliselt kõike alates ärinõuetest ja prototüüpidest ning lõpetades paigaldus- ja kasutusjuhenditega.

Testitasemed (test levels)

ISTQB selgitab arendusprotsessi läbi 4-tasemelise V-mudeli, milles igale arendustasemele vastab testitase:

  • moodul- ehk ühiktestimine (unit testing) toimub arendatavale koodile kõige lähemal, testitakse loodavate tarkvaramoodulite (meetodid, klassid) toimivust vastu mooduli disainidokumentatsiooni;
  • integratsioonitestimises (integration testing) kontrollitakse moodulite omavahelist koostoimivust;
  • süsteemitestimise (system testing) tasemel kontrollitakse juba kogu süsteemi läbivate äriprotsesside toimivust süsteemidisaini vastu;
  • vastuvõtutestimise (acceptance testing) eesmärk on veenduda, et süsteem teeb seda, milleks ta loodud on.

Lähtuvalt erinevast abstraktsiooniastmest ja vaatenurgast on igal testitasemel erinevad vastutajad ning eesmärgid. Näiteks vastuvõtutestimise eesmärk ei tohiks kindlasti enam olla vigade leidmine ja parandamine, vaid pigem kindlustunde tekitamine lõppkasutajates. Samuti on testija mõiste igal testitasemel pisut erinev – näiteks arendajad peaksid kindlasti osalema moodultestimises, seevastu äripool on absoluutselt asendamatu vastuvõtutestimise tasemel.

Lisaks eeltoodule ei tasu testimist unustada ka vahetult pärast programmikoodi ülekandmist toodangukeskkonda (nö. toodangusse vastuvõtu testimine), et kiirelt üles leida võimalikud paigaldusvead.

Varajane testimine

„Mida varem, seda parem,“ ütleb rahvatarkus. Tõepoolest, see kehtib ka tarkvara testimise puhul, nagu näitas juba Barry Boehm oma 1976. aastal avaldatud artiklis „Software Engineering“ (1976). Täpsemalt, mida hiljem avastatakse tarkvaras viga, seda rohkem on selleks ajaks valesti tehtud tööd, mida ümber teha. Jaa, see uurimus on aastakümneid vana, kuid inimmõtte toimimine ei ole sellest ajast saati oluliselt muutunud: mida abstraktsem on töö, seda suurem on tõenäosus teha vigu. Mida sügavamale viga end “sisse sööb”, seda keerulisem on teda aja möödudes välja juurida. Seega tehakse tõenäolisemalt vigu nõuete kogumise käigus. Sellest omakorda järeldub, et varajane testimine, sealhulgas staatiline testimine enne kodeerimise algust, võimaldab saavutada kõige suuremat kokkuhoidu.

Oponendid väidavad nüüd kindlasti, et eeltoodud põhimõte kehtib ainult klassi­kalise koskmudeli puhul ja mitte agiilsetes arendusmetoodikates. Tõsi, inkre­mentaal­sete-iteratiivsete mudelite puhul on inkremendid/iteratsioonid lühemad kui koskmudeli kogu arendustsükkel, seega tehakse dokumenteerimisest töötava koodini jõudmiseks vähem tööd, mistõttu on potentsiaalsed kaotused, vähemalt ühe iteratsiooni piires, tõenäoliselt väiksemad. Ometi on ka siin varajane testimine oluline – kui näiteks esimeses iteratsioonis on tehtud fundamentaalne viga, tuleb selle avastamisel mitu iteratsiooni hiljem ümber teha ka kõigi vahepealsete iteratsioonide tööd. Kiirest tagasisidest (mida testimine võimaldab) on kasu ka arendajatele – kellele meeldiks väga tagasi tulla oma 2 nädalat või 2 kuud tagasi kirjutatud koodi juurde, et seal vigu parandama asuda.

Testimise osakaal arendusprojektis

Erinevad allikad annavad erinevaid soovitusi testimistegevuste osakaalule projekti kogumahus. Näiteks suuremate ERP-lahenduste puhul väidetakse see olevat 40%, mastide otsas kasutatavate telekom-seadmete puhul aga vähemalt 60%. World Quality Report on jälginud testimise osakaalu kogu IT eelarvest ning 2020 aastal on see keskmiselt 22%.

Kokkuvõtvalt

Peab nentima, et jutu alguses esitatud küsimusele ühtset ja konkreetset vastust, mis igas projektis paika peaks, ei olegi. Nagu testimises ikka, “kõik oleneb”.

Kes peaks testima? Kõik projekti osapooled, olenevalt vajalikest testimise liikidest. Testija rollis võivad olla elukutselised testijad, aga kindlasti ka arendajad, analüütikud, lõppkasutajad, administraatorid, tellijad, tootejuhid jne.

Mida peaks testima? Lähtuma peaks kindlasti kvaliteediomadustest, mida antud projekti puhul olulisteks edu faktoriteks peetakse.

Kui palju peaks testima? See sõltub väga palju projekti iseloomust, kuid levinud praktika on hetkel 26% kogu ettevõtte IT-eelarvest kulutada testimistegevustele.

Viimases kahes punktis võiks ühtlasi lähtuda riskihinnangust – testimine kui meede riskide ennetamiseks ei ole kindlasti kasulik, kui sellele kulutada riski realiseerumisel saadavast potentsiaalsest kahjust rohkem.