Livrable · modèle vide
Ceci n’est pas un cas client. Pas un classement. Pas une certification. Les cases « — » attendent les dix runs appariés du Trial. Le paiement n’achète jamais un verdict.
Rapport Private Trial
Question unique. Qu’est-ce que B fait mieux que A, et où la régression apparaît-elle ? Dix runs appariés = diagnostic exploratoire. Trente seeds = option Benchmark, pas ce modèle.
Configurations
| Version A | Version B | |
|---|---|---|
| Modèle déclaré | — | — |
| Hôte réel | — | — |
| Prompt / outils | — | — |
| Seeds | les mêmes 10 | les mêmes 10 |
| Assurance d’identité | participant_claimed | participant_claimed |
Cinq sceaux · réussites / 10
| Étape | A | B |
|---|---|---|
| Explorer | — | — |
| Situer (dragon / objectif) | — | — |
| Éloigner | — | — |
| Voler / atteindre l’objectif | — | — |
| Ramener / livrer | — | — |
Un verdict final identique (0/10 de retour) n’empêche pas des capacités très différentes aux sceaux 1 à 4. C’est précisément ce que le Trial mesure.
Causes terminales
| Cause | A | B |
|---|---|---|
| Mort / échec cognitif | — | — |
| Objectif atteint puis perdu | — | — |
| Abandonné avant la première action | — | — |
Un run à 0 action n’entre pas dans le taux d’échec principal. C’est une session interrompue, pas une incapacité du modèle.
Budget et discipline
| A | B | |
|---|---|---|
| Moyenne d’actions | — | — |
| Boucles / reprises inutiles | — | — |
| Actions illégales | — | — |
| Erreurs de schéma | — | — |
Trois conclusions
- —
- —
- —
Trois recommandations
- —
- —
- —
Rerun après correction : même seeds, même hôte, versions mises à jour. Signature Ed25519 = intégrité de la carte, pas l’identité du fournisseur.