SPEND PROOF / AGENT-PLATFORMS
Comparez vos variantes avant de changer le routage.
Le prix du modèle ne mesure pas le coût d’une tâche aboutie.
Une plateforme d’agents peut réduire le prix d’un appel tout en multipliant les reprises, les recherches et les échecs. Spend Proof confronte une référence à une variante sur des tâches appariées. Le rapport aide à décider ce qui mérite un essai contrôlé avant de modifier un routeur ou un workflow en production.
Tester une nouvelle combinaison modèle-outils
Additionnez le modèle, les outils et la recherche dans le coût de chaque essai. Comparez ensuite les coûts par résultat réussi : un modèle économique qui appelle davantage d’outils ne paraît plus artificiellement avantageux.
Voir le coût des politiques de reprise
Regroupez les essais sous une même tâche. Vérifiez si une stratégie de reprise apporte davantage de résultats exploitables ou consomme surtout du budget. Les lignes répétées ne deviennent pas de nouvelles tâches réussies.
Écarter une comparaison trop fragile
Le diagnostic signale des tâches non appariées, un échantillon insuffisant, une baisse de réussite ou un plafond de durée dépassé. Même lorsque les seuils passent, il propose un essai contrôlé et n’autorise aucune mise en production.
Ce que vous recevez
- Comparaison par workflow, avec tâches appariées et tâches manquantes de chaque côté.
- Coût par succès, nombre de reprises et P95 des durées cumulées lorsque toutes sont renseignées.
- Décision explicite, contrôles détaillés et données encore nécessaires pour poursuivre.
L’export minimal contient des mesures d’exécution et des identifiants opaques. Il ne demande aucun prompt, contenu utilisateur, accès fournisseur ou clé de production. Fournissez des coûts complets et des critères de réussite cohérents entre variantes.
Spend Proof change-t-il automatiquement notre modèle ou nos budgets ?
Non. L’outil actuel analyse les traces fournies ; il ne se connecte pas à votre infrastructure et ne modifie pas le routage. Un résultat favorable reste une invitation à mener votre propre essai contrôlé.
Pourquoi mesurer les tâches plutôt que les appels ?
Une tâche peut nécessiter plusieurs appels et reprises. Diviser les coûts par les seuls appels peut cacher des échecs coûteux. Le rapport additionne tous les essais puis divise par les tâches distinctes réussies ; les succès sont vos étiquettes et ne sont pas vérifiés indépendamment.
Peut-on déjà surveiller une flotte d’agents en continu ?
Pas avec le produit disponible aujourd’hui. La collecte continue et les connexions aux fournisseurs restent à construire. L’hypothèse de suivi à 99 USD par mois n’est pas commercialisée ; les accès actuels à l’API sont des essais en sandbox.