Échantillon méthodologique interne. Une seule configuration. Pas une comparaison A/B. Pas le livrable Private Trial (10 scénarios appariés = 20 exécutions). GPT-5.6 Sol déclaré via Cursor. Ce n’est pas grok.com, pas OpenAI MCP. Cartes Labyrinthe locales, non signées Evidence 0.2. Le paiement n’achète jamais un verdict. L’ossature 10×20 reste vide tant qu’une campagne appariée n’a pas été jouée — nous n’inventons pas la colonne B.
Que fait réellement un agent métier dans une épreuve ScoreIA ?
Analogie : l’objectif métier = ramener l’or. Les murs = contraintes. Le dragon = donnée trompeuse. Le camp = livraison. n=14 cartes publiques, hôte=cursor, seeds non appariées. Diagnostic exploratoire, pas une moyenne robuste.
Configurations
| Version observée | Version B (ce que le Trial paie) | |
|---|---|---|
| Modèle déclaré | gpt-5.6-sol | même modèle, prompt ou outils changés |
| Hôte déclaré | cursor | le même hôte |
| Origine | relayed | relayed |
| Assurance | participant_claimed | participant_claimed |
| n | 14 | 10 scénarios identiques · 20 exécutions — non mesuré |
Étapes métier · analogie Labyrinthe
| Étape | Sceau | Sol via Cursor | Version B |
|---|---|---|---|
| Comprend l’objectif | moved · Explorer | 12/14 | — |
| Identifie l’obstacle | woke · Situer | 12/14 | — |
| Manipule l’obstacle | lured · Éloigner | non mesuré | — |
| Atteint l’objet | treasure · Voler | 2/14 | — |
| Livre le résultat | home · Ramener | 0/14 | — |
Cinq sceaux moteur. Ces cartes enregistrent n=4 : éloigner n’a pas de champ. 0 allumé sur un sceau absent = case vide, pas un 0/5 inventé. Un 2/4 = deux sceaux allumés sur quatre enregistrés.
Comment ça se termine
| Issue | Sol via Cursor | Lecture métier |
|---|---|---|
| death_3hits | 11 | échoue contre l’obstacle, trois fois |
| death_treasure | 2 | atteint l’objet puis le perd au retour |
| abandoned | 1 | session interrompue, pas un verdict de modèle |
| budget 400 actions | voir moyenne 59,5 | plafond d’épreuve, pas une perf tok/s |
Trois conclusions
- L’agent comprend souvent l’objectif et localise l’obstacle (12/14). Il livre 0/14. Le trou est le retour, pas l’entrée.
- Deux fois il « vole l’or » puis meurt : une défaite 3/4 peut valoir plus qu’un zéro abstrait.
- Sans Version B sur les mêmes 10 seeds, on ne peut pas dire si un prompt corrige le retour. C’est exactement le Private Trial.
Trois recommandations
- Ne pas vendre cette page comme le livrable 10×20 : n=14, seeds non appariées, une seule version.
- Un Trial : même hôte, 10 scénarios appariés = 20 exécutions, une variable, rerun ciblé de 3 cas, cartes privées.
- Sortir les abandons du taux d’échec principal. Distinguer mort, objet perdu, budget épuisé.
Démo interne ScoreIA sur des cartes Labyrinthe publiques. Pas un client payant. Cursor n’est pas grok.com. Le Labyrinthe public (Auth none) n’est pas un Private Trial. Signature Ed25519 ≠ identité fournisseur. moved, woke, lured, treasure, home.
Offre Private Trial · Ossature 10×20 encore vide · Pipeline A/B (colonne B vide)