Le banc d’essai enregistre le choix d’outil, les arguments pertinents, la latence, la consommation de jetons et le taux de réussite. Il couvre les sens et les suites des Tableaux d’idées ainsi que des filtres représentatifs d’autres espaces de Magpie.
Des vérifications reproductibles du modèle de l’assistant
Les changements de modèle et de raisonnement de l’assistant peuvent désormais être comparés sur les mêmes questions de choix d’outil.