Le banc d’évaluation fait passer des réponses scriptées du fournisseur par le coordinateur de l’assistant, avec des Contacts, des Factures, des comptages de fonctions et des Documents fictifs. Il vérifie les preuves enregistrées, les échanges de suite, les dépendances entre tâches, les refus d’autorisation, les échecs partiels du fournisseur et les nouvelles tentatives d’écriture, sans changer les réglages par défaut de l’assistant ni lire de données de Magpie. Le mode avec modèle réel reste une commande d’évaluation à autoriser explicitement ; le test existant du premier appel reste une mesure séparée.
Évaluer des parcours complets de l’assistant
Ajout d’un corpus et d’un outil hors ligne pour évaluer des parcours complets de l’assistant.