Die Testumgebung schickt geskriptete Antworten des Anbieters durch den Koordinator des Assistenten, mit erfundenen Kontakten, Rechnungen, Funktionszählungen und Dokumenten. Sie prüft gespeicherte Belege, Anschlussrunden, Abhängigkeiten zwischen Aufgaben, verweigerte Berechtigungen, teilweise Fehler beim Anbieter und wiederholte Schreibversuche, ohne die Standardeinstellungen des Assistenten zu ändern oder Daten aus Magpie zu lesen. Der Modus mit echtem Modell bleibt ein Bewertungsbefehl, der ausdrücklich freigegeben werden muss; der bestehende Test des ersten Aufrufs bleibt eine eigene Kennzahl.
Vollständige Abläufe des Assistenten bewerten
Ein Offline-Korpus und ein Ausführungswerkzeug zur Bewertung vollständiger Abläufe des Assistenten wurden hinzugefügt.