Nachdem ich in der letzten Woche den Planner Agent ausführlich vorgestellt habe, geht es heute weiter mit dem zweiten Agenten im Bunde: dem Generator Agent. Dieser nimmt einen vorhandenen Testplan und erzeugt daraus automatisch fertige Playwright-Testdateien – ohne dass wir einen einzigen Testschritt manuell in Code schreiben müssen.
Das macht ihn besonders interessant für Einsteiger in der Testautomatisierung, die erste Tests aufsetzen wollen, aber auch für erfahrene Entwickler und Tester, die effizienter vorankommen möchten.
Was ist der Generator Agent – und wie funktioniert er?
Der Generator Agent ist Teil des dreiteiligen Agent-Systems, das Playwright seit Version 1.56 mitbringt. Jeder Agent übernimmt eine klar abgegrenzte Rolle im Testprozess:
Der Planner Agenterkundet die Anwendung interaktiv und erstellt einen Testplan als Markdown-Dokument.
Der Generator Agent liest diesen Testplan und erzeugt daraus ausführbare Playwright-Testdateien.
Der Healer Agent führt die Tests aus und repariert fehlschlagende Tests automatisch – ein Self-Healing-Ansatz.
Was den Generator Agent dabei besonders macht: Er arbeitet nicht mit statischem Code oder Vermutungen über die Anwendung. Stattdessen führt er jeden Schritt aus dem Testplan live im Browser aus, liest dabei den Accessibility Tree der Seite und leitet daraus präzise Locators und Assertions ab. Das Ergebnis ist ein Test, der auf dem basiert, was die Anwendung tatsächlich tut – nicht auf dem, was man annimmt, dass sie tun sollte.
Konkret läuft das so ab: Der Generator richtet zunächst die Seite mit den verschiedensten Tools ein. Dann geht er Schritt für Schritt den Testplan durch, führt jeden Schritt im Browser aus und schreibt dabei den entsprechenden Testcode – inklusive Kommentaren direkt im Code, die die jeweiligen Testschritte beschreiben.
Playwright’s drei AI Agents. Quelle: https://playwright.dev/docs/test-agents
Was braucht der Generator Agent?
Der Generator Agent ist bewusst einfach gehalten. Als Input benötigt er genau eine Sache: einen Testplan als Markdown-Datei. Wer den Planner Agent bereits kennt, hat diesen Input quasi automatisch zur Hand – denn genau das ist sein Output. Zum Planner Agent empfehle ich Dir übrigens dieses Tutorial aus der letzten Wochen.
Playwrights AI Generator Agent. Quelle: https://playwright.dev/docs/test-agents
Die beiden Agenten sind perfekt aufeinander abgestimmt: Der Planner erkundet die Anwendung und schreibt den Plan, der Generator liest ihn und schreibt den Code. Man gibt dem Generator einfach den Dateinamen des Testplans mit – entweder direkt im Prompt oder als Kontext-Datei im Chat, siehe dazu auch die Dokumentation von Playwright:
Wichtig dabei: Der Generator arbeitet szenarioweise. Da ein Testplan viele Szenarien enthalten kann, empfiehlt es sich, gezielt ein oder mehrere Szenarien auszuwählen, anstatt alles auf einmal generieren zu lassen. Das hält den Output überschaubar und die Tests fokussiert.
Der Testplan als Ausgangspunkt
Für dieses Tutorial habe ich den Testplan verwendet, den ich in der letzten Woche mit dem Planner Agent erstellt habe – für die Login-Seite von SauceDemo (saucedemo.com), einem Demo-Onlineshop mit typischen E-Commerce-Funktionen wie Warenkorb, Produktkatalog und Checkout.
SauceDemo.com als Testobjekt. Quelle: https://www.saucedemo.com/
Der Planner Agent hatte 17 ausführliche Testszenarien ausgearbeitet. Für dieses Tutorial habe ich mich auf zwei davon konzentriert:
zunächst folgendes Szenario: Erfolgreicher Login mit gültigen Zugangsdaten:
Der Planner Agent hat die Login-Seite von SauceDemo erkundet und einen strukturierten Testplan mit verschiedenen Szenarien erstellt. Mehr dazu hier. Eigene Darstellung.
und abschließend das (Negativ-)Szenario: Login mit ungültigen Anmeldedaten
Ich habe den Generator Agent mit dem ausgearbeiteten Testplan gestartet und ihn gebeten, den Testfall für den erfolgreichen Login zu erstellen. Der Agent hat daraufhin die Login-Seite live im Browser geöffnet, die einzelnen Schritte aus dem Plan ausgeführt und dabei den Code direkt abgeleitet. Das Ergebnis war ein sauberer Playwright-Test, der:
die Login-Seite öffnet und prüft, ob alle Eingabefelder vorhanden sind
die korrekten Credentials einträgt – die der Planner Agent zuvor eigenständig aus der Anwendung ausgelesen hatte
den Login-Button klickt
prüft, ob die Produktseite geladen wird – sowohl anhand der URL als auch anhand konkreter Produktelemente auf der Seite
Der Generator Agent hat aus dem Testplan automatisch einen fertigen Playwright-Test erstellt. Eigene Darstellung.
Der Test sah auf den ersten Blick valide aus – also führe ich ihn dirkt einmal aus:
npx playwright test tests/login.spec.ts
Die Seite öffnete sich, der Test lief durch – und war auf Anhieb erfolgreich. : )
Der vom Agent generierte Testfall war erfolgreich. Eigene Darstellung.
2) Zweiter Testfall: Ungültige Anmeldedaten
Im nächsten Schritt wollte ich ein Negativszenario generieren lassen. Der Prompt war denkbar simpel, ich habe mich einfach erneut auf den zuvor generierten Testplan bezogen:
Der zweite Prompt für das Negativszenario. Eigene Darstellung.
Der Generator Agent hat daraufhin einen neuen Test erstellt, der falsche Credentials eingibt und anschließend prüft, ob eine Fehlermeldung korrekt angezeigt wird.
Der KI-Agent hat aus dem Testplan automatisch einen fertigen Playwright-Negativtest erstellt. Eigene Darstellung.
Auch dieser Test wurde direkt ausgeführt – und bestand ebenfalls auf Anhieb.
Was kann der Generator Agent – und wo liegen seine Grenzen?
Aus der Praxis und der Dokumentation lassen sich einige klare Stärken und Grenzen des Generator Agents ableiten:
Stärken:
Live-Validierung: Locators und Assertions werden direkt gegen den laufenden Browser geprüft – kein Raten, kein statisches Code-Generieren ins Blaue
Geschwindigkeit: Was sonst mehrere Stunden manuelles Schreiben kostet, entsteht jetzt in deutlich kürzerer Zeit
Lesbarkeit: Der generierte Code enthält Kommentare, die direkt aus dem Testplan stammen – gut für die Nachvollziehbarkeit
Nahtloser Übergang: Input ist der Output des Planner Agents – kein Medienbruch, kein manueller Zwischenschritt
Grenzen:
Generische Locators: Fehlen ARIA-Rollen oder semantische Attribute, greift der Agent auf CSS-Selektoren zurück – diese können fragiler sein
Kein Endprodukt: Die generierten Tests sind eine solide Ausgangsbasis, aber kein fertiger, produktionsreifer Code – besonders erfahrene Entwickler werden noch einiges nachschärfen wollen
Fazit: Nützliches Werkzeug mit realistischen Erwartungen
Der Generator Agent hat sich in meinem Test als echtes Hilfsmittel erwiesen – besonders für Standardszenarien wie einen Login-Flow. In kurzer Zeit entstehen lauffähige Testskripte, die als solide Ausgangsbasis für weitere Tests dienen können.
Ich persönlich sehe den Agent nicht als Ersatz für menschliches Know-how, sondern als Beschleuniger. Der Agent schreibt den ersten Entwurf, der Mensch reviewt, schärft nach und bringt das Ergebnis auf Produktionsqualität. Genau das ist die Stärke dieses Ansatzes – und gleichzeitig die realistische Erwartungshaltung, die man mitbringen sollte.
In Kombination mit dem Planner– und Healer-Agent entsteht ein echter End-to-End-Workflow: von der Exploration über die Testgenerierung bis zur automatischen Reparatur fehlschlagender Tests. Wie der Healer Agent dabei vorgeht, zeige ich im nächsten Tutorial. Dieses folgt dann am kommenden Sonntag. : )
