Instabilité des tests automatisés de l’interface utilisateur

L'impact est en effet massif et conduira finalement (mais inévitablement) à la conclusion que les tests d'interface utilisateur automatisés ne valent rien.

Donc, pour répondre à la question posée dans le chapitre précédent, nous pouvons dire en toute sécurité qu'en fait, un test instable est PIRE que pas de test !

Cette incohérence est-elle vraiment aléatoire ? Ou y a-t-il une cause?

Dans la presque totalité des cas, la « bancalité » d’un test n’est pas sans raison, et cette incohérence découle d’une cause concrète : il faut examiner ces erreurs, trouver la cause et résoudre le problème initial!

Les causes les plus courantes d’instabilité sont les suivantes :

1. Conception et design du test :l’une des raisons les plus courantes d’instabilité provient en fait d’un mauvais design ! L’instabilité peut survenir en raison de problèmes liés à des stratégies de localisation incorrectes (comme l'identification d'un bouton par son texte interne lorsque ce dernier est dynamique) ou à des assertions manquantes.
2. Problèmes de timing et de synchronisation : les instabilités sont également très courantes lorsqu'il est nécessaire d'assurer une synchronisation appropriée entre les phases de test (la page Web n'est pas encore entièrement chargée lorsque le test est exécuté), ou lorsque des dépendances temporelles existent (le test échoue parce que le SUT prend plus de temps que prévu à charger)
3. Facteurs environnementaux : de nombreux facteurs environnementaux peuvent conduire un test à échouer alors qu'il ne le devrait pas, tels que des problèmes de connectivité réseau, des fluctuations des ressources système (mémoire, CPU), des dépendances vis-à-vis des API ou des services tiers, etc.
4. Environnement de test instable : si l'environnement de test est instable, les tests le sont aussi... Par environnement de test instable, on peut entendre un environnement de test inégal (comme des versions de navigateur ou de système d'exploitation différentes), une configuration inadéquate (comme des paramètres de chemin incorrects ou des dépendances/bibliothèques manquantes), une infrastructure de test peu fiable ou une variation partielle de la configuration de test dans l'environnement.
5. Attentes asynchrones : une gestion inappropriée des attentes et des opérations asynchrones – telles que les requêtes réseau ou les mises à jour de l'interface utilisateur – peuvent introduire des conditions de concurrence et des problèmes de synchronisation.
6. Concurrence des opérations : une déclaration inappropriée sur l'ordre dans lequel les différentes opérations s’applique peut également être cause d’inconsistances.

Prévenir l’instabilité des tests

S’il y a une cause dans le fait qu’un test échoue alors qu’il ne le devrait pas, alors il est possible d’agir en amont et de rendre les scripts de tests automatisés robustes. Voici quelques conseils et éléments auxquels il faut prêter attention afin de limiter et gérer cette instabilité dès le départ :

• Ajuster et vérifier l’ordre des opérations permet de diminuer la concurrence et de réduire les dépendances (tests atomiques). En ordonnant soigneusement les actions d’un test, il est possible de contrôler les probabilités de conditions ou de conflits susceptibles d'entraîner des défaillances.
• Créer un environnement d'essai stable et cohérenten s’assurant que les facteurs externes (comme les ressources système ou la connectivité réseau) soient contrôlés, que les dépendances soient gérées et que l’accessibilité des ressources essentielles à la mise en œuvre des tests soit confirmée.
• Prendre le temps de réfléchir à la stratégie de test avant la mise en œuvre, car comme mentionné précédemment, un test mal écrit, une mauvaise stratégie de test et une mauvaise conception de test sont des facteurs majeurs d’instabilité. Il est crucial de commencer par une compréhension approfondie du SUT, puis d'introduire des conventions de nommage ainsi que des règles de bonnes pratiques pour la rédaction des tests.
• Favoriser la culture du retourfeedback : mise en place d’une surveillance continue des résultats, recueil des retours de l'équipe d'assurance qualité. Il est important d’encourager les testeurs à signaler toutes les instabilités rencontrées, de les examiner régulièrement et de prendre des mesures proactives pour les résoudre.
• Utiliser des techniques de synchronisation appropriéesdans les scripts de tests automatisés ou dans l'outil de test pour confirmer la synchronisation appropriée entre le SUT et la phase de test ; cela peut se faire au moyen d’attentes explicites, des conditions d'attente ou des méthodes de synchronisation.
• Optimiser le timing des tests en planifiant les exécutions tout en tenant compte de facteurs tels que la congestion du réseau, la charge du système, etc. qui pourraient influencer la fiabilité des tests.
• Mettre en place des pratiques de gestion des données de test ppropriées pour conserver la fiabilité et la cohérence ; éviter d'utiliser des données de test mutables ou partagées qui peuvent entraîner une instabilité.
• Isoler les tests en réduisant les dépendances , et diminuez les risques d'interférences entre les tests.