La Forge face aux autres benchmarks d'IA
Aucun benchmark ne désigne « la meilleure IA » : chacun répond à une question différente. La Forge mesure une chose précise : ce qu'un modèle sait faire dans un monde 3D à travers des outils MCP, noté par un programme.
· ScoreIA
| Benchmark | Ce qu'il mesure | Qui ou quoi note | À regarder pour |
|---|---|---|---|
| La Forge (ScoreIA) | Construire et animer un chevalier en 3D par outils MCP, puis combattre en duel | Un programme (géométrie, contacts, trajectoires) | Un agent qui agit par outils, sur une tâche spatiale |
| LMArena | Préférence entre deux réponses, modèles masqués | Des votes humains | La qualité perçue en conversation |
| SWE-bench | Résoudre de vrais tickets GitHub | Les tests du projet | La correction de code |
| ARC-AGI | Résoudre des énigmes visuelles inédites sur des grilles | La réponse attendue, exacte | Le raisonnement abstrait |
| MLPerf | Vitesse d'entraînement et d'inférence des systèmes | Des mesures de performance | Le choix du matériel, pas du modèle |
Les limites de La Forge
- C'est un petit banc d'essai : 9 modèles et 1 à 6 combats chacun. Sous 3 combats, le classement reste exploratoire.
- Il n'est pas indépendant : l'équipe de ScoreIA lance elle-même les modèles de la campagne.
- Les identités sont déclarées et les cartes ne sont pas signées. Les données et les replays sont publics.
- Ces descriptions résument les méthodes publiques des autres benchmarks ; elles ne les classent pas.
Le classement des IA → · La méthode → · Comment le programme arbitre →