Zum Hauptinhalt springen

Test Suiten

Eine Test Suite ist eine benannte Sammlung von Testfällen, die zusammen ausgeführt werden können. Suiten sind der primäre Weg, um Ihre Tests nach Funktionsbereich, Ablauf oder Release-Umfang zu organisieren – und um eine ganze Gruppe von Tests mit einer einzigen Aktion auszuführen.

Zweck​

Einzelne Testfälle validieren spezifische Szenarien isoliert. Suiten ermöglichen es Ihnen, diese Fälle in sinnvolle Gruppen zu komponieren, die widerspiegeln, wie Sie über Ihren Bot denken:

  • Eine „Checkout Flow“-Suite, die alle Szenarien in Ihrem Bestellprozess abdeckt
  • Eine „Onboarding“-Suite für Interaktionen mit neuen Benutzern
  • Eine „Regression“-Suite für die kritischsten Abläufe, die Sie vor jedem Release überprüfen möchten

Jeder neue Testfall wird automatisch zur Standard-Suite hinzugefügt, wenn er erstellt wird. Sie können Fälle jederzeit in andere Suiten verschieben oder kopieren.

Ausführungsverhalten​

Wenn Sie eine Suite ausführen, werden alle darin enthaltenen Testfälle ausgeführt. Das System verfolgt den Status jedes Falls in Echtzeit, während die Ausführung fortschreitet.

Wenn Sie eine Suite auslösen, während einige ihrer Testfälle bereits laufen, startet die Plattform nur diejenigen, die derzeit nicht in Bearbeitung sind. Dies macht es sicher, eine Suite erneut auszulösen, wenn Sie sich nicht sicher sind, ob ein vorheriger Auslöser registriert wurde.

Import & Export​

Sie können eine Test Suite eigenständig zwischen Bots und Umgebungen verschieben, ohne eine ganze Bot-Version zu exportieren. Das ist nützlich, um eine Suite mit einem anderen Bot zu teilen oder sie von einer Testumgebung in die Produktion zu übernehmen.

Exportieren​

Über die Export-Schaltfläche können Sie alle Testsuites als .zip-Datei herunterladen. Der Export bündelt alle Suites, ihre Testfälle und die Agenten, auf die diese Fälle angewiesen sind - Input-Generatoren, Custom Conditions und LLM-Judge Conditions.

Importieren​

Verwenden Sie die Import-Schaltfläche, um eine oder mehrere Suite-.zip-Dateien auf einmal hochzuladen.

Der Import ist destruktiv: Er ersetzt alle vorhandenen Test Suiten und Testfälle im aktuellen Bot durch den Inhalt der hochgeladenen Dateien. Da dies nicht rückgängig gemacht werden kann, müssen Sie zur Bestätigung den Namen des Bots eingeben, bevor der Import ausgeführt wird.

Referenzen werden automatisch gegen den Ziel-Bot neu aufgelöst:

  • Agenten (Input-Generatoren, Custom Conditions, LLM-Judge Conditions) werden anhand des Namens abgeglichen. Ein im Ziel-Bot bereits vorhandener Agent wird wiederverwendet; ein nicht vorhandener wird erstellt. Vorhandene Agenten werden nie gelöscht.
  • Slot-Bedingungen werden anhand des Namens mit den Extraktionsfeldern des Ziel-Bots neu verknüpft, und Tool-Call-Bedingungen werden anhand des Namens mit Tools abgeglichen.

Wenn ein referenziertes Extraktionsfeld oder Tool im Ziel-Bot nicht existiert, wird der Import dennoch abgeschlossen und meldet eine Warnung mit einer Liste dessen, was nicht aufgelöst werden konnte. Überprüfen Sie diese Fälle, da sie möglicherweise nicht korrekt laufen, bis das fehlende Feld oder Tool hinzugefügt wurde.

Ein Import ist blockiert, während der Bot beschäftigt ist: wenn einer seiner Testfälle gerade bearbeitet wird, wenn ein Testlauf läuft oder wenn eine Bot-Versions-Wiederherstellung läuft. Warten Sie, bis der andere Vorgang abgeschlossen ist, und versuchen Sie es erneut.

Tipps​

Bevorzugen Sie kleinere, fokussierte Suiten. Eine Suite, die einen Funktionsbereich abdeckt, ist leichter zu verstehen und schneller auszuführen als eine, die alles abdeckt. Führen Sie die relevante Suite aus, wenn Sie etwas Spezifisches ändern; führen Sie eine breitere Suite vor einem Release aus.

Erneut ausführen nach Änderungen. Jedes Mal, wenn Sie einen Ablauf, eine Eingabeaufforderung, ein Extraktionsfeld oder ein Skript ändern, führen Sie die Suite erneut aus, die diesen Bereich abdeckt, um Regressionen frühzeitig zu erkennen.

Verschieben Sie Testfälle, um Ihrer Struktur zu entsprechen. Während sich Ihr Bot weiterentwickelt, reorganisieren Sie Testfälle in Suiten, die die aktuellen Funktionsgrenzen widerspiegeln. Ein Testfall kann in mehrere Suiten kopiert werden, wenn er zu mehr als einem Bereich gehört.