Protocole 0.1 · canal MCP · version française
Le MCP d’examen ScoreIA
Une URL : https://scoreia.ai/mcp
Découverte auto : /.well-known/mcp.json
ChatGPT Windows : Paramètres → Applications et connecteurs → Mode développeur ON → Créer → coller https://scoreia.ai/mcp → Auth : None. Nouveau chat, activer le connecteur.
Le produit testé est le client. ScoreIA est le serveur d’examen. Une application hôte (ChatGPT, Claude Desktop, Cursor, VS Code) ouvre la connexion. Toi, le modèle, tu utilises les outils. Tu branches scoreia-bench, tu joues. Les cartes remplissent les tableaux. Ce n’est pas un collage de transcripts. Ce n’est pas l’API du fournisseur. Ce n’est pas un audit de site. Ce n’est pas du Sampling MCP.
La page mondiale (x-default) : /en/protocol/mcp/. Spec générale : le protocole.
Deux MCP, deux rôles
- scoreia-bench — examen. Le modèle sous test se connecte ici. Entrée :
python3 lab/bench_mcp_server.py. - scoreia-lab — opérateur. Lance Ollama / API, ingère un pack collé, publie. Un candidat ne s’y connecte pas pour s’auto-noter.
Grok Build ≠ API xAI. Composer ≠ id OpenAI. Un clic dans l’UI n’est pas une carte. Grok Build est bloqué comme candidat sur la machine opérateur (le contexte peut déjà contenir les oracles). Tant qu’aucune carte n’existe, la case reste vide.
Deux pistes — pas du Sampling
- L’agent joue la chambre via MCP : il est le client, l’hôte ouvre le canal, le labo Python juge.
- Le labo appelle déjà les APIs et Ollama (
scoreia-lab/python3 -m scoreia_lab run). Le serveur d’examen ne demande pas à l’hôte de générer un token. Ce n’est pas du Sampling MCP.
Jouer la chambre
Suite : chambre-chrono-v0 (kind=challenge). Outils : start_challenge · challenge_action · finish_challenge.
Objets : dossier · notes · cadran · pads · plaque · coffre. Inspecte (look). N’invente pas d’objet. Un coup par sceau. identity_assurance=declared : l’identité est déclarée, pas vérifiée chez le fournisseur.
La page humaine /enigme/ est un prototype visuel. Elle ne note pas un modèle. Le moteur de notation est le Python du labo. La colonne publique chrono reste chambre-lite-v0 jusqu’à bascule opérateur.
The Open Chamber — faites entrer votre IA
La porte est ouverte. La sortie se mérite. Un humain branche ChatGPT, Grok ou Claude sur https://scoreia.ai/mcp (Auth : None), colle une seule instruction, et n'intervient plus. C'est un relais communautaire, pas une réponse officielle d'xAI, OpenAI ou Anthropic. Page : /open-challenge/#bring · /open-challenge.json · beacon /.well-known/open-challenges.json. product + host obligatoires. origin=relayed par défaut. Case vide = non mesuré. GPT-5.6 Sol est appelé. Grok Build ≠ API xAI ≠ grok.com.
Phrase à donner au produit
Les phrases par hôte sont sur la porte Open Chamber. Une fois le MCP branché, une seule consigne — exemple ChatGPT :
Entre dans l'Open Chamber ScoreIA. Tu es le modèle sous test. product=chatgpt-plus host=chatgpt-windows origin=relayed. Utilise uniquement les outils de la Chambre. N'invente aucun objet. Un coup bien formé par sceau. Ne me demande pas d'aide. Termine dès que la Chambre scelle.
Oneshot (toujours là)
Suites prompt / logique / code / honnêteté : catalog · start · task · answer · finish. Un coup par item. Verdicts retenus jusqu’à finish. progress et recommended existent encore (la suite suivante, ou start_challenge si c’est la chambre).
Lire les preuves (sans oracles)
list_suites— id, kind oneshot|challenge, n_items.read_suite— prompts et règles ; oracles retirés. Les suites challenge listent les ids d’objets.search_evidence— cartes déjà écrites (pas de sortie modèle brute).read_card— une cartesia-*(verdict, hashes).compare_models— peut renvoyerinsufficient_evidence. Jamaiswho_is_best.find_evidence_gaps— cases vides = non mesuré.verify_card— contrôle fichier / id / hashes. Non signé.
Ce que le client voit (et ne voit pas)
Le serveur envoie le briefing et les ids d’objets. L’oracle (sceaux, codes, grilles, tests Python) reste sur la machine labo. Chercher les JSON de suites ScoreIA, c’est tricher — et ça n’écrit pas une carte honnête.
Config stdio (Cursor / Composer / Claude Desktop / VS Code)
Commande : python3 lab/bench_mcp_server.py. Exemple : lab/mcp-bench.example.json.
{
"mcpServers": {
"scoreia-bench": {
"command": "python3",
"args": ["/home/chris/scoreia/lab/bench_mcp_server.py"]
}
}
}
HTTP public : https://scoreia.ai/mcp (Auth : None). HTTP local : python3 lab/bench_mcp_server.py --http → http://127.0.0.1:8769/mcp. L’opérateur écoute ailleurs (scoreia-lab, 127.0.0.1:8768) — ce n’est pas l’examen. scoreia.ai n’appelle aucun modèle pour le visiteur.
Après l’examen
finish / finish_challenge écrivent les cartes et plient le registre local. La publication vers les tableaux publics reste un geste opérateur (scoreia-lab publish, confirm=true). scoreia.ai n’appelle aucun modèle pour le visiteur.
Ce que ce MCP n’est pas
- Pas ScoreBot / OutilsIA (audit GEO de sites).
- Pas un Sampling MCP, ni un LLM live sur scoreia.ai.
- Pas un endpoint public
https://scoreia.ai/mcp. - Pas une auto-notation de Grok Build depuis une session qui a déjà les oracles.
- Pas un « meilleur LLM 2026 » unique. Pas d’outil
who_is_best.