Qu'est-ce que le test automatisé ?
Le test automatisé est une méthode de test lors de laquelle des outils automatisés exécutent des scénarios de test prédéfinis, comparant les résultats attendus du produit développé aux résultats obtenus. Si le scénario de tests parvient à s’exécuter sans erreur, alors le test est considéré comme passé avec succès. A défaut, il faut analyser les résultats.
Les tests automatisés devant s’adapter à la configuration technique du produit digital et de la configuration à tester, l’automatisation demande un temps d’initialisation conséquent afin d’écrire les scripts des scénarios initiaux. Dans un environnement agile, impliquant des changements récurrents sur le produit, cela signifie que les scripts de tests doivent être régulièrement maintenus. En effet, toute modification graphique, fonctionnelle ou technique intervenant sur le chemin automatisé peut avoir un impact sur les scripts en question.
Qu'est-ce que le test manuel ?
Le test manuel quant à lui, est réalisé comme son nom l’indique, manuellement par des testeurs expérimentés qui utilisent et testent le produit digital de la même façon que les utilisateurs finaux. Les tests peuvent être réalisés selon deux méthodes différentes : avec scénario ou de façon exploratoire. Lorsque la méthode choisie est scénarisée, les testeurs suivent des parcours définis pour contrôler le bon fonctionnement du produit digital sur des points précis. En revanche, le test exploratoire se concentre sur l’investigation du produit digital sans cahier de recette préalable (Découvrez notre article : Les bonnes pratiques du test exploratoire).
Doit-on choisir ?
Un produit digital peut donc être testé de façon automatisée et de façon manuelle. Le choix dépendra de plusieurs critères liés au projet, au produit digital en lui-même ainsi qu’à des contraintes organisationnelles (budget, ressources disponibles…).
De façon générale, les organisations peuvent souhaiter automatiser : les cas de tests les plus fréquents, les plus critiques, les moins sujets à modifications ou encore ceux ayant des résultats prévisibles ou qui sont faciles à automatiser, permettant ainsi un retour sur investissement élevé. Il s’agira par exemple d’automatiser les tests du tunnel de commande d’un site e-commerce afin de pouvoir rejouer des cas de tests de manière très fréquente.
Cependant, les tests manuels ont un rôle crucial à jouer, même pour les organisations qui réussissent à automatiser la plupart de leurs tâches de tests. Il est en effet impossible pour une organisation développant un produit digital représentant des enjeux business et image de marque forts, d’automatiser la totalité du périmètre de tests, et ce particulièrement si l’environnement de développement est agile ou si la maintenance des scripts est importante.
Grâce aux connaissances et au jugement des testeurs, les tests manuels permettent en effet de s’assurer que le produit digital est d’un niveau de qualité élevé, comme celui attendu par les utilisateurs finaux. Cette méthode permet aussi de couvrir certains types de tests et scénarios impossibles à réaliser de façon automatisée et donc d’aborder les points :
- Ergonomiques
- Visuels
Exemple : le design est-il lisible ?
- Fonctionnels
Exemples : est-il facile d’accéder à la fonctionnalité voulue en cliquant avec un doigt ? Le captcha fonctionne-t-il ? Que se passe-t-il quand une application est utilisée sur mobile et qu’il y a un appel entrant ?
- Performances
Exemples : comment fonctionne le produit sous certaines conditions, telles qu’un niveau de batterie ou encore une mémoire disponible faibles ?
- Localisation
Exemples : est-ce que la traduction dans la langue cible et d’autres données de localisation (monnaie etc.) sont adéquates pour la zone géographique ciblée ?
Pour les organisations intégrant l’automatisation, le test manuel va donc venir compléter la démarche en recentrant les testeurs sur des cas à forte valeur ajoutée et qui requièrent une technicité élevée (par exemple de multiples règles de gestion, des cas complexes, des formulaires conditionnels etc.).
Ainsi, les tests manuels et automatisés ne se cannibalisent pas mais s’inscrivent dans une logique de complémentarité, chaque approche répondant à une organisation précise et à un besoin à un instant t. La stratégie optimale est de mixer les deux approches afin d’avoir la couverture de tests et l’efficience budgétaire optimales.
