Was ist Testdurchführung?
Testdurchführung beinhaltet das planmäßige Ausführen manueller und automatisierter Tests, um die Funktionalität, Sicherheit und Leistung einer Software zu prüfen. Dabei müssen Testfälle vollständig definiert, die Testumgebung korrekt eingerichtet und die Testdaten aktuell sein. Fehler und Abweichungen sind präzise zu dokumentieren und an das Entwicklungsteam weiterzuleiten, um potenzielle Probleme frühzeitig zu identifizieren und vor Inbetriebnahme oder Lieferung der Software zu beheben.
Herausforderungen in der Testdurchführung
Die Testdurchführung bringt verschiedene Herausforderungen mit sich, die sowohl bei der manuellen als auch bei der automatisierten Testausführung auftreten können. Eine effektive Bewältigung dieser Herausforderungen ist entscheidend für die Qualität und Zuverlässigkeit der Testergebnisse.
- Ungenauigkeiten in der Spezifikation Unklare oder vage Formulierungen in der Testspezifikation bieten zu viel Interpretationsspielraum und führen zu variierenden Testergebnissen.
- Verwaltung von manuellen und automatisierten Tests Das parallele Management von manuellen und automatisierten Tests erfordert erhöhte Aufmerksamkeit, um Konsistenz und Effizienz zu gewährleisten.
- Unterschiedliche Spezifikationen Die Unterschiede in der Spezifikation von manuellen und automatisierten Testfällen erschweren deren Integration.
- Gestaltung automatisierter und manueller Tests Es ist eine Herausforderung, automatisierte Tests so zu gestalten, dass sie manuell durchführbar sind, und umgekehrt manuelle Tests so zu entwerfen, dass sie schnell automatisierbar sind.
Wie funktioniert Testdurchführung mit TestBench?
Assistent für manuelles Testen
TestBench bietet die Möglichkeit Tests auf verschiedene Arten zu spezifizieren: Prosatext, textuelle Testschritte und formalisiertes Testdesign mittels Keyword-Driven-Testing und Data-Driven Testing. Das macht TestBench zu einem mächtigen Werkzeug für die Testspezifikation und Testdurchführung. Damit die manuelle Durchführung optimal erfolgen kann werden die Tester:innen durch einen Assistenten unterstützt: „imbus Test assistant for Online and Remote eXecution“ – kurz iTORX – der an die Bedürfnisse der Tester:innen angepasst ist und der für alle Arten der Spezifikation sehr gute Hilfen bietet. iTORX erzeugt Übersicht, ermöglicht Tests wiederholbar immer wieder auf die gleiche Weise auszuführen und führt auch durch sehr exakte und detaillierte Testspezifikationen. Die Testdurchführung kann unterbrochen und wieder fortgesetzt werden. Zwischenergebnisse können jederzeit in TestBench gespeichert werden, so dass auch die Fortsetzung durch andere Personen möglich wird.
Ergebnisse der Testautomatisierung prüfen
Neben der Unterstützung beim manuellen Test kann iTORX auch für die Vorschau der spezifizierten Tests und zum Laden der Testergebnisprotokolle eines Testautomatisierungslaufs genutzt werden. Dabei ist es besonders nützlich, dass iTORX auch offline vom TestBench-System, z.B. in speziellen Testumgebungen, genutzt werden kann. Diese Offline-Nutzung ist lizenzfrei, kann also auf beliebig vielen Systemen von beliebig vielen Nutzer:innen verwendet werden. Besonders langlaufende, automatisierte Regressionstests können riesige Testergebnisprotokolle erzeugen, die mehrere Hunderttausend Aufrufe von Testschritten enthalten können. iTORX besitzt für diese großen Protokolle spezielle Einstellungen, die trotz der großen Mengen ein performantes Arbeiten ermöglichen.
Flexible Anbindung von Automatisierungswerkzeugen
TestBench unterstützt manuelles und automatisiertes Testen – bei Bedarf auch im gemischten Betrieb und mit unterschiedlichen Werkzeugen zur Testautomatisierung. Die offene Schnittstelle ermöglicht die Anbindung nahezu aller Testautomations-Werkzeuge, egal, ob Benutzeroberflächen, wie Web, SAP oder Java Swing getestet werden, oder Systeme mit Echtzeitanforderungen, wie HiL-Systeme angesteuert werden müssen. Besonders hoch integriert ist die Anbindung des Open Source Testframeworks Robot Framework.
Schnelle Dokumentation von Beobachtungen und Fehlererfassung
Während der manuellen Testdurchführung oder der Analyse der Ergebnisprotokolle der Testautomatisierung ist es möglich alle Beobachtungen zu dokumentieren, sei es als Bemerkung, Screenshot oder Dateianhang. Werden Fehler gefunden, können diese direkt am zugehörigen Testfall oder auch Testschritt erfasst werden.
Verwaltung der Testprotokolle und Ergebnisse
Die Protokolle und Ergebnisse der manuell oder automatisiert ausgeführten Testfälle werden in TestBench übernommen. Offline erzeugte Testprotokolle können importiert und danach auf die gleiche Weise verwaltet werden. Während der automatisierten Durchführung werden automatisch die Durchführungszeiten gemessen und ebenfalls protokolliert. Bei manueller Durchführung muss diese Zeitmessung jeweils von den Tester:innen aktiviert werden und kann auch vollständig abgestellt werden.
Anbindung von CI/CD-Systemen
Neben der direkten Ausführung von automatisierten Tests können die Tests auch durch Continuous Integration Systeme, wie Jenkins oder Atlassian Bamboo ausgeführt werden. Über das REST-API von TestBench können die Testanweisungen exportiert und die Testergebnisse importiert werden. Dabei besteht die Möglichkeit die zugehörigen Tests auf den Status „laufend“ zu setzen, so dass erkennbar wird, welche Tests gerade ausgeführt werden. Beim Export können vordefinierte Filter genutzt werden, so dass spezifische Testpakete ausgeführt werden. Damit kann gesteuert werden, welche Test z.B. über Nacht oder als Regressionstests für bestimmte Builds oder Sprints ausgeführt werden sollen.
