Automatizované funkční testování Siebelu 8

V poslední době se stává v českých končinách populárním Siebel, jakožto CRM nástroj. Je to poměrně rozsáhlá webová aplikace, která kombinuje více technologií (ActiveX, Java applety, vlastní webový protokol), a proto se velmi špatně testuje nástroji pro automatizované testy - pokud ovšem nástroj nemá přímo uvedenou podporu pro Siebel.

Siebelový webklient může "fungovat" ve 2 režimech:

1) "Standard-interactivity" - jedná se o klasickou "nenáročnou" internetovou aplikaci složenou ze standardních webových ovládacích prvků, takže se dá dobře automatizovat v jakémkoliv nástroji podporujícím web technologie (stránka je složená z klasického HTML kódu + javascriptů). Poznávací znamení = běží i ve Firefoxu, od verze 8 se ale používá sporadicky.

2) "High-interactivity" - tohle je oříšek, kterého se bude týkat další text.

Šablona pro testovací plán

Další šablonou, kterou přidávám do Google Docs je Test Plan.

Není to "čistá šablona", vyplnil jsem ji vzorovým projektem - pro představu jak by to mohlo asi vyplněné vypadat (smazat část obsahu můžete vždy). Pokud po vyplnění obsahu bude testovací plán rozsáhlejší, doplňte si na samostatný list seznam kapitol (obsah).

Teď něco málo k obsahu test plánu. Různé metodiky mají pro něj různě sofistikované definice, případně se liší pořadí kapitol, někdy částečně i obsah. Co je ale podstatné z praktického hlediska - musí mít zahrnutou v sobě odpověď na tyto otázky:

Šablona XLS pro řízení manuálních testů

Konečně jsem přišel na to, jak přidávat přílohy k článkům - respektive že se to na Blogspotu nedá udělat a musím na to jít jinak - takže mohu začít publikovat zajímavé šablony související s testováním, které vám mohou sloužit jako inspirace, nebo je můžete přímo používat na svých projektech.

Průzkum o stavu testingu v ČR

Po delší pauze způsobené mou svatbou a dvojnásobným stěhováním přidávám další článeček - spíše prosbu o spolupráci.

Na Vysoké škole ekonomické v Praze v současnosti probíhá zajímavá dotazníková studie zaměřená na analýzu současného stavu testování v ČR. Pokud se tedy zabýváte testováním (ať již na testerské nebo programátorské pozici) a pracujete v ČR, vyplňte dotazník na http://studiekvality.vse.cz. Jedná se o seriózní studii, takže prosím vyplňujte jen pokud patříte do "cílové skupiny".
Nejenže tím pomůžete dobré věci (je to nejspíš první dotazník svého druhu, samozřejmě anonymní), ale navíc podle slov řešitelky Mgr. Anny Borovcové budou výsledky po 1.1.2011 na téže stránce dostupné pro všechny.

Mohla by to být ve výsledku zajímavá statistika, co říkáte? :-)

Zlepšení procesu testování

V poslední době se setkávám s dotazy kolegů, jak zlepšit proces testování bez velkých nákladů.  Všichni by chtěli zlepšovat, zvyšovat efektivitu, ale investovat do toho čas a peníze - to ne :-)
Problematikou zlepšování procesů obecně se zabývá mnoho metodik, mezi nejznámější patří CMMi, BPI, Six Sigma, ISO9001 a RUP.
Pro testování se nejčastěji uplatňují TMMi a TPI (součást metodiky TMap), základní principy jsou také popsány v syllabu pro certifikaci ISTQB.

Pokud se Vám nechce studovat metodické příručky a hledáte spíš něco praktičtějšího, zde je checklist, který používám pro zlepšení procesu testování:

Vzdělávání testerů

Jak uchopit vzdělávání testerů? Následující poznatky vycházejí z mé zkušenosti, takže je berte s rezervou - ne vše půjde aplikovat "univerzálně".

Zásadním kritériem při výběru vzdělávání je, jak zkušenou skupinu testerů máte - podle toho je vhodné rozčlenit "zaměření jednotlivých vzdělávacích aktivit. Kromě toho samozřejmě záleží na tom, kolik prostředků (zejména finančních) můžete na vzdělávání vyčlenit.

Testování integrace

V každém komplexním systému, který je tvořen množinou nehomogenních subsystémů se nachází vrstva, která zajišťuje vzájemnou komunikaci těchto "nekompatibilních součástí" - integrace, alias integrační platforma. Často se dělá přímo na míru (každý klient si vyvíjí vlastní), nebo se upravují již existující řešení (například produkty Tibco).
V dnešním článku zmíním některé postupy, které je vhodné použít při testech integrační platformy.

ISTQB - mít či nemít certifikaci

Chtěla bych reagovat na Martinův příspěvek zamyšlením, zda tester musí mít „papír“ na to, že je testerem.
Já osobně jsem držitelem ISTQB certifikace a vnímám ji jako „nice to have“ do profesního životopisu, ale že bych se za někdy u klienta setkala s tím, že by byla vyžadována jako „must have“, to nemůžu říct.

Napadají mě 2 příklady, kdy tuto certifikaci musíte mít:

1. Projekty v zahraničí, kde se tester bez ISTQB certifikace vůbec nemá šanci dostat
2. Projekty v ČR, pokud se jedná o multinacionální korporaci a „matka“ v zahraničí diktuje podmínky náboru zaměstnanců a externích spolupracovníků – pro testery to rovněž znamená nutnost mít certifikaci.

Kdy tedy zaváží, že certifikaci máte či nemáte?
Podle čeho se klient nakonec rozhodne, zda si vás / vaše testery na projekt vybere?

1. Pokud vás klienti neznají osobně nebo na základě referencí, rozhodují se podle vašeho profesního životopisu. Pro klienta je málo zajímavý fakt, že jste certifikován, pokud nejste ten správný kandidát na danou práci. A obráceně, pokud vás berou jako experta pro danou oblast, certifikát je posléze už nezajímá.
   
2. Pokud zákazník kandidáty nezná a má se rozhodnout mezi dvěma testery, kteří jsou oba vhodní pro konkrétní projekt a dle CV stejně schopní, rozhodne se pro toho s certifikací. Je to ovšem pouze hypotetický příklad. V praxi se málokdy stane, že by dva kandidáti byli stejně schopní :-)
   
3. U koho hodně zaváží, že máte titul ISTQB certified tester, jsou headhounteři a personální agentury. Měla jsem svého času možnost pozorovat při práci člověka zodpovědného za nábor pro velké IT společnosti a na mou otázku, proč upřednostňuje ty certifikované kandidáty, odpověděl, že na základě předchozích zkušeností se mu osvědčilo posílat ke klientům kandidáty, kteří neváhali investovat do svého vzdělání v oboru čas a finanční prostředky. Procentuální úspěšnost při pohovorech se zaměstnavateli byla několikanásobně vyšší.

A to v dnešní době, kdy je n kandidátů na jedno pracovní místo, není něco, co by se mělo brát na lehkou váhu… ;-)

Ing. Silvia Valientová
ISTQB certified tester

Krize, nebo úpadek v IT?

Poslední dobou přemýšlím, co se to v tom IT děje. Nemám pocit, že by byly projekty nějak výrazně složitější než v minulosti, přesto mám dojem, že výrazně klesá kvalita, s jakou jsou dodávány - a je prakticky úplně jedno, kdo je dodavatelem.

Jádro problému spočívá hlavně v motivaci zaměstnanců. Kdysi jsem byl obklopen spoustou lidí, co chtěli něco dokázat, záleželo jim na kvalitě své práce, jménu firmy, jaké budovali u zákazníků, pracovali týmově a prostě - byla to "parta", co držela vždy spolu a kde chyběla kvalita u jednotlivce, tam se to se dohnalo kvalitou týmu.

Testování migrace dat

V posledních dnech jsme úspěšně spustili dlouho vyvíjený projekt a mám konečně čas něco napsat. Tématem dnešního příspěvku je testování migrace dat při přechodu na novou verzi nějaké aplikace.

Jako první věc je potřebné si uvědomit, co všechno obnáší migrace dat.
Obvykle se tím rozumí převod dat ve formátu "staré aplikace" do formátu dat "nové aplikace":

• načtení vstupních dat a jejich validace
• úprava a transformace dat do výstupního formátu podle pravidel migrace
• uložení transformovaných dat na správné místo pro novou aplikaci

Testeři a certifikace

Dnes jsem si přečetl nové číslo časopisu Testing Experience a zjišťuji, že kromě některých parádních článečků o testování je doslova přecpaný reklamami (asi jako všechno co je "zdarma ke stažení"). Většina reklam souvisí s testerskou certifikací ISTQB, což mě přivedlo k zamyšlení nad certifikacemi vhodnými pro testery.

Automatizace funkčních testů - VI.

V posledním díle uvedu jen několik tipů, které se při automatizaci mohou hodit a tím seriál článků o základech automatizace končí.

1. Důkladně logujte průběh testu


Klasický scénář pro automatizované testování (obzvlášť u regresních testů) je ten, že před odchodem z práce testy spustíte a ráno po příchodu do práce analyzujete výsledek testů - přesněji testovací log.

Automatizace funkčních testů - V.

V tomhle (předposledním) díle testů se koukneme na zoubek problematice designu automatizovaných testů - nebudu ji popisovat do detailů, spíše nastíním "základ", od kterého by se mělo vše odvíjet.

Při designu testů si musíte nejdřív projít existující manuální testovací scénáře a unit testy (pokud jsou nějaké vytvořeny) a pak si rozmyslet tyto věci:

Automatizace funkčních testů - IV.

V dnešním díle miniseriálu o automatizaci testů vám něco řeknu o způsobu, jak testovací nástroje pracují.

Automatizační tooly fungují na principu detekce jednotlivých objektů uvnitř procesu operačního systému, jejich vlastností a podporovaných funkcí. Pro každou technologii volí nástroj jiný způsob "přístupu" k objektu:

Automatizace funkčních testů - III.

Ve třetím díle budeme pokračovat seznamem kritérií, podle kterých se vyplatí vybírat nástroj na automatizované funkční testy. Správný výběr nástroje je klíčový - pokud vyberete špatně již na začátku, můžete se dostat později do velkých, až neřešitelných problémů.
Bez dlouhých omáček - tady je checklist, který používám já:

Automatizace funkčních testů - II.

V úvodním článku o automatizovaných testech jsem popsal důvody, proč snahy o tak populární automatizaci selhávají. Nyní se budu věnovat spíš způsobu, jak se do toho pustit a co je všechno potřebné zvážit.

Zde je tedy "kontrolní seznam", který používám při rozhodnutí, co se přesně oplatí zautomatizovat (jestli vůbec něco):

Automatizace funkčních testů - I.

Testovat software jiným způsobem než manuálním "klikáním" se stává v poslední době velmi populárním. Navzdory přítomnosti mnoha velmi dobrých nástrojů na trhu určených pro tuto činnost ale ve většině případů projekty "automatizace testů produktu" selhávají. Proč tomu tak je?

Testování v Čechách - krátký přehled vývoje oboru

Co bylo...

Testování v Čechách za několik posledních let prošlo sérií výrazných změn. Když jsem v oboru začínal, pozice "testera" se poměrně striktně členila na několik rolí - test analytika, někdy test designéra, dále výkonného testera a test manažera.
Zákazníci si objednávali "testera" na jednotlivé role, případně celý testovací tým a podle toho se odvozovala i cena za pronajmutého pracovníka. Byla to "zlatá doba" počátku testování - zákazníci o novém IT oboru mnoho nevěděli, rádi si nechali poradit, konkurence bylo málo a práce testera byla dobře hodnocena.

Proč vznikl tento blog?

V jeden krásný zimní večer jsem procházel český web a snažil se najít nějakou zajímavou stránku o testování v Čechách, kde by testeři sdíleli své zkušenosti, nápady a řešení a tím pomáhali svým "kolegům ve zbrani", nebo aspoň inspirovali nováčky v oboru.
Našel jsem několik zajímavých blogů, které se ale spíše zaměřovaly "teoretickým" směrem - takže nic z toho, co jsem hledal.