Comment détecter les “faux” tests ?

Le problème des “Yes” tests

Dans l’article “Prendre soin de ses assertions”, je parlais des “Yes” tests. Ces tests qui s’exécutent mais ne font pas vraiment de vérification. Ils sont donc toujours OK ou “vert” même lorsqu’il y a un réel problème.

Cela conduit donc à une fausse confiance et des régressions qui passent inaperçues.

Comment s’en prémunir ?

On peut déjà, par discipline personnelle, faire attention de bien avoir une assertion au moins pour chaque test.

Mais cela peut ne pas être suffisant. C’est là qu’intervient un outil que je vais vous présenter maintenant https://github.com/vinicq/robotframework-falsegreen

Installation et usage

L’installation est très simple et habituelle dans

pip install robotframework-falsegreen

L’usage également, une ligne de commande pour lancer l’outil sur tous les tests :

rffalsegreen tests/

tests étant ici le répertoire contenant les tests Robot Framework

Exemple

Imaginons les deux tests suivants :