Instabilität von Automatisierten Tests der Benutzeroberfläche

Die Auswirkungen sind massiv und werden letztlich (und unweigerlich) zur Schlussfolgerung führen, dass automatisiertes UI Testing nutzlos ist.

Die vorher gestellte Frage können wir somit mit Sicherheit dahingehend beantworten, dass ein Flaky Test SCHLECHTER ist als gar kein Test!

Ist die Flakinesswirklich zufällig? Oder gibt es einen Grund?

In fast allen Fällen hat das, was als “Flaky Test” wahrgenommen wird, eine konkrete Ursache: Der aufgetretene Fehler muss daher untersucht, die Ursache gefunden und das ursprüngliche, zugrundeliegende Problem gelöst werden!

Die häufigsten Ursachen für das, was als “flakiness” aufgefasst wird, sind die folgenden:

1. Testdesign: Einer der häufigsten Gründe für fehlerhafte Tests ist tatsächlich schlechtes Testdesign! Flaky Tests können aufgrund von Problemen im Zusammenhang mit falschen Locator-Strategien (z. B. Identifizierung einer Schaltfläche anhand ihres – sich dynamisch ändernden - inneren Textes) oder bei fehlenden “Assertions” auftreten.
2. Timing- und Synchronisationsprobleme: Fehlerhafte Tests treten häufig auf, wenn eine korrekte Synchronisation zwischen den Testphasen erforderlich ist (die Webseite ist noch nicht vollständig geladen, wenn der Test ausgeführt wird) oder wenn zeitliche Abhängigkeiten bestehen (der Test schlägt fehl, weil der Ladevorgang des SUT länger dauert als erwartet)
3. Umgebungsfaktoren: Es gibt viele Umgebungsfaktoren, die dazu führen können, dass ein Test fehlschlägt, obwohl er es nicht sollte, wie z.B. Probleme mit der Netzwerkkonnektivität, Schwankungen der Systemressourcen (verfügbarer Speicher, CPU), Abhängigkeiten von APIs oder Drittanbieterdiensten usw.
4. Instabile Testumgebung: Wenn die Testumgebung instabil ist, dann sind es auch die Tests... Im folgenden sind einige mögliche Ursachen für eine instabilen Testumgebung aufgeführt:
   Uneinheitliche Testumgebung (z. B. verschiedene Browserversionen oder Betriebssysteme etc.)
   Unzureichende oder unvollständige Konfiguration (z. B. falsche Pfadeinstellungen oder fehlende Abhängigkeiten/Bibliotheken etc.)
   Unzuverlässige Testinfrastruktur oder teilweise Abweichung der Testkonfiguration in der Testumgebung 
5. Asynchrone Wartezeiten: Ein unangemessener Umgang mit asynchronen Wartezeiten und Operationen - wie z.B. Netzwerkanfragen oder Aktualisierungen der Benutzeroberfläche - kann zu Wettlaufsituation (“Race Condition”) und Zeitproblemen führen.
6. Gleichzeitigkeit: eine unangemessene Aussage über die Reihenfolge, in der die verschiedenen Threads Operationen durchführen, kann ebenfalls eine Ursache für Inkonsistenzen sein

Flakiness in Tests verhindern

Wenn die Ursachen für unregelmäßig fehlschlagende Tests bekannt sind, kann die sogenannte „Flakiness“ verhindert werden. Hier sind eine Reihe von Strategien und Tipps zum sinnvollen Umgang mit der Flakiness, um diese von vornherein einzuschränken oder vollständig zu unterbinden:

• Die Feinabstimmung der Reihenfolge von Operationen ermöglicht es, die Gleichzeitigkeit zu verringern und Abhängigkeiten zu reduzieren (atomare Tests). Durch die sorgfältige Anordnung von Testaktionen kann man die Wahrscheinlichkeit von Bedingungen oder Konflikten kontrollieren, die Unbeständigkeit verursachen können
• Aufbau einer stabilen und konsistenten Testumgebung durch die sichergestellt wird, dass externe Faktoren (wie Systemressourcen oder Netzwerkkonnektivität) kontrolliert, Abhängigkeiten verwaltet und der Zugriff auf für die Testdurchführung wesentliche Ressourcen garantiert wird
• Nehmen Sie sich die Zeit, vor der Implementierung über die Teststrategie nachzudenken, denn wie bereits erwähnt, sind schlecht geschriebene Tests, eine schlechte Teststrategie und ein schlechtes Testdesign die Hauptursachen für die Flakiness von Tests. Es ist wichtig, mit einem fundierten Verständnis des SUT zu beginnen und danach Namenskonventionen sowie “Best Practices” für das Schreiben von Tests einzuführen
• Fördern Sie die Feedback-Kultur: Führen Sie eine kontinuierliche Überwachung der Testergebnisse ein und holen Sie regelmäßig Feedback vom QA-Team ein: Ermutigen Sie die Tester, alle potenziell auftretende Schwachstellen zu melden und zu protokollieren. Überprüfen Sie diese regelmäßig und ergreifen Sie proaktive Maßnahmen zu deren Beseitigung
• Verwenden Sie geeignete Synchronisationstechniken im Testcode oder innerhalb des Testwerkzeugs, um eine angemessene Synchronisation zwischen dem SUT und der Testphase sicherzustellen. Verwenden Sie explizite Wartezeiten, Wartebedingungen oder Synchronisationsmethoden
• Optimierung des Testzeitplans durch Planung der Testläufe unter Berücksichtigung von Faktoren wie Netzüberlastung, Systemlast usw., die die Zuverlässigkeit der Tests beeinflussen können 
• Einführung geeigneter Verfahren zur Verwaltung von Testdaten, um Zuverlässigkeit und Konsistenz zu gewährleisten und die Verwendung veränderlicher oder gemeinsam genutzter Testdaten zu vermeiden, die zu flakiness führen können
• Isolierung der Tests durch Reduzierung der Abhängigkeiten und Verringerung der Wahrscheinlichkeit von Interferenzen zwischen den Tests