Preview méthodologique 0.1 · côté rigoureux

TABLEAUX

microtests par domaine · pas un benchmark académique

preview 0.1 · cellules vides assumées

La compétition se joue par domaine, pas en un seul nombre.

Ces tableaux sont une preview méthodologique 0.1, pas un classement France ni un protocole scientifique établi. Le domaine Consigne FR 0.1 ne vérifie encore que le format des réponses. Honnêteté v1 et Code v1 sont de vraies épreuves, tout comme le Labyrinthe et la Chambre. Une ligne = un contexte enregistré. Les anciennes cartes 0.1 sans digest de modèle restent signalées comme telles. Pas de run = non mesuré. Toutes les cartes d’une cellule sont liées. Local, API et forfait ne se mélangent pas.

Logique

InstantanéMesureNiveau de preuveDétails
mistral:latest · Ollama · local · mutable tag, digest absent17/20Exploratoire1 seed
Voir 20 cartessia-060c2e393b20e3f2 sia-09d856e7866a7710 sia-1a6d26985665ec10 sia-4b4ecd8d2a3d1a71 sia-4bf3167e5e2acdf7 sia-54659470f088b900 sia-87b190966d3ae4a1 sia-9d2465ae61db15f9 sia-9e78f77a32ef2ec9 sia-a4a08f5ba2164871 sia-ac70f8c2f618551b sia-b8ef11bb735f29de sia-be21e00844640686 sia-cb9346149959efd3 sia-d67161785256ca26 sia-d8de47607f0b61e8 sia-de334f9b3b5a82d8 sia-f030f6887a107e2c sia-f7c9186d6bf75419 sia-ffe5457b12d4bfa5
qwen2.5:14b · Ollama · local · digest absent (card 0.1)19/20Exploratoire1 seed
Voir 20 cartessia-0bb17490b6ff49bb sia-0f880f9cd2ef32cc sia-1257ee5d682aee4c sia-20f4514e32a862d1 sia-26bff9c821818d61 sia-3bd07611dcf8b7c8 sia-43f79f89e488a502 sia-48b954b9a03cc222 sia-4c9b9432e23248ab sia-599bd0f48b813438 sia-5f6a7612197c744f sia-72dfdacc4169606b sia-773b0cf9a6848583 sia-79544807ed0c298f sia-c08ef32e0a39269d sia-d652eb3d45c852c5 sia-dcc3ab3d4da9aaa2 sia-e02bfd644c794e83 sia-f10da0caead8cbed sia-f3aa8235a3ecd438
qwen2.5:latest · Ollama · local · mutable tag, digest absent19/20Exploratoire1 seed
Voir 20 cartessia-1a136b12f40c4428 sia-22cf508f7747a268 sia-23b9321f0de81af6 sia-40668cb4380137b7 sia-504975d830b0546a sia-5a2da34996f68645 sia-6609bc11c52cc552 sia-78ed5aa97fcdba4a sia-8983d87c44625d75 sia-8f07c7f7012781ff sia-93c25d03d5344bf7 sia-950d282624ac0663 sia-a9071c474c77fc44 sia-af6deff195aa8a45 sia-c3d66f589d5646c0 sia-cb7333d700ab2154 sia-cb8ececa56250e20 sia-d647a7f716ecb384 sia-ed22784974d09096 sia-f028b906a8b261d8
hermes3:8b · Ollama · local · digest absent (card 0.1)19/20Exploratoire1 seed
Voir 20 cartessia-24f6c6cf068d4a33 sia-2767193609ec7383 sia-2a4e42196eb3cea2 sia-3c4974e461f8eece sia-7d8851e7ed3b9dcf sia-7f4b58a498e0db02 sia-8991cbaae034b2bd sia-9768ac697b91b51e sia-a88c098caac87e07 sia-b4ab0a20b0dfae09 sia-b762c2f9e493e2a7 sia-c71e593787c93dcd sia-cba3dd0aee1eaa4b sia-cd1cc3000a58ebc7 sia-d1a3ffe54a201fb5 sia-d987d74e4d11cf68 sia-e07e839a9d2a2e14 sia-eb0fb4be3f8c82fc sia-fb027eca6853dfa8 sia-fcee7c7ed40df545
llama3.1:latest · Ollama · local · mutable tag, digest absent20/20Exploratoire1 seed
Voir 20 cartessia-01ea1aefecd1e85a sia-1dc534d3cd7d25fe sia-22b205ac394e6b99 sia-2f7b53caa48c5f11 sia-3125a881a7c531ff sia-33f3ddb6d81337ce sia-3e9598aee4ee19e7 sia-42b7aa4d37834b7b sia-4b6d1689b0e0e26b sia-4bfffb3642fde95c sia-56bf78e1396ca5a6 sia-60c392589e51e193 sia-7c357355276c48fd sia-983e58a52f20919e sia-9b225e5e8ea19691 sia-9ec5324740be42e9 sia-a254e57b23618c65 sia-d6f437c6868126ec sia-ec918a55cd8f118d sia-f241f017f69d8032
grok-4.3 · API xAI20/20Exploratoire1 seed
Voir 20 cartessia-02c6d235e2c59ab8 sia-0dbb83fb4aa4e13a sia-1424257ec4dde551 sia-1800703406a337e2 sia-213da780dcda8656 sia-22fbc806708cc931 sia-2a2baedc525e5027 sia-2c26efbbbcc37687 sia-3bad7b6fbe05277f sia-456c2dda10f4fde1 sia-510c4df9b5be5063 sia-6730899af355bc49 sia-6b2a23e22ad9010b sia-79f27527b0b40913 sia-c27696967bea3fc6 sia-cebc326eea7cfc96 sia-d09db1637d1924d2 sia-d67d0892d653b7b9 sia-d836c61ec420195d sia-e51b808e704ea3ae
gemini-2.5-flash · API Google20/20Exploratoire1 seed
Voir 20 cartessia-3d3b434503133e1e sia-44cba5012fb5a4fc sia-48d8a2f10f2e26a3 sia-535f770f8e479c35 sia-5d44966c992fb04c sia-73b4fb919833e490 sia-847b60b4699f0f03 sia-8c9eacfa93df07c7 sia-92930f8d42faa5fc sia-97a09c7f15d12e21 sia-a439a3bc8d618111 sia-ab7dacec90ccffe5 sia-b878e4cfe89bb916 sia-bb053075cd873c9d sia-c11027adf26e13c1 sia-d37c35f5370cd45b sia-dce19be6c21de8b7 sia-e9f7fda3607d26c5 sia-ed7419a972db2190 sia-f70d78fcc48189cc

Honnêteté

InstantanéMesureNiveau de preuveDétails
qwen2.5:latest · Ollama · local · mutable tag, digest absent1/3Exploratoire1 seed
Voir 3 cartessia-41619e18c60a1c60 sia-41b2d2add5f67383 sia-cd271dc73e2640a6
hermes3:8b · Ollama · local · digest absent (card 0.1)2/3Exploratoire1 seed
Voir 3 cartessia-10476ccf439e5c20 sia-ed8ce49c5b293bac sia-e316459324cec89e
mistral:latest · Ollama · local · mutable tag, digest absent2/3Exploratoire1 seed
Voir 3 cartessia-1e343e5b37ad5339 sia-282498bb35b288a8 sia-c5c3a66e08da416f
llama3.1:latest · Ollama · local · mutable tag, digest absent2/3Exploratoire1 seed
Voir 3 cartessia-8fa186d6a1cee684 sia-9e46535f22121279 sia-e6f3c453131c33de
grok-4.3 · API xAI3/3Exploratoire1 seed
Voir 3 cartessia-08f1f373713e41dd sia-3e834c7c8057fb60 sia-e528cb7d3ce0e2d4
qwen2.5:14b · Ollama · local · digest absent (card 0.1)3/3Exploratoire1 seed
Voir 3 cartessia-62aedc55a5d13a1f sia-85a3bb9149541ead sia-8d9e8f2835de1a63
gemini-2.5-flash · API Google3/3Exploratoire1 seed
Voir 3 cartessia-f2228a4ecf3c6545 sia-a6d2090bc703f86a sia-e2d15c7c108be03d

Code

InstantanéMesureNiveau de preuveDétails
qwen2.5:latest · Ollama · local · mutable tag, digest absent2/2Exploratoire1 seed
Voir 2 cartessia-041b60dc0d906a45 sia-74b41a106cb7d268
qwen2.5:14b · Ollama · local · digest absent (card 0.1)2/2Exploratoire1 seed
Voir 2 cartessia-5b16946af346e178 sia-ce855a3c236c8f09
gemini-2.5-flash · API Google2/2Exploratoire1 seed
Voir 2 cartessia-7ba79eb57a6f0fba sia-d7755fa74c5d2764
hermes3:8b · Ollama · local · digest absent (card 0.1)2/2Exploratoire1 seed
Voir 2 cartessia-b7ac190f769c9fb8 sia-c271335d18659688
llama3.1:latest · Ollama · local · mutable tag, digest absent2/2Exploratoire1 seed
Voir 2 cartessia-bbf8da236b70ded6 sia-cbe10a79f83cb35b
grok-4.3 · API xAI2/2Exploratoire1 seed
Voir 2 cartessia-dae1afed3310e30b sia-dafd739e28e8245c
mistral:latest · Ollama · local · mutable tag, digest absent2/2Exploratoire1 seed
Voir 2 cartessia-dd3795eee922156b sia-f88d4470ae71fe64

Maze

InstantanéMesureNiveau de preuveDétails
llama3.1:latest · Ollama · local · mutable tag, digest absent0/8Exploratoire1 seed
Voir 8 cartessia-116c45b2bf55f8dd sia-223395c74d24ac12 sia-513884d9aed0ea34 sia-7608f38038997ed7 sia-973dbda01a2f2dab sia-bed98eba18cb6d24 sia-c05794e56ce64a95 sia-c34e7eccfca2e39a
qwen2.5:14b · Ollama · local · digest absent (card 0.1)0/8Exploratoire1 seed
Voir 8 cartessia-153b8afeccb144e6 sia-32c7bcdb1bda0f0c sia-4ababc41dd9801d3 sia-50e9f485932cf7dd sia-7959ca232a332580 sia-9605d0cfacc10fc6 sia-c238f7291eb9e772 sia-ebba420796ed06cc
mistral:latest · Ollama · local · mutable tag, digest absent0/8Exploratoire1 seed
Voir 8 cartessia-2c2e808cb6f6e99b sia-447e73daee476c1a sia-54c6fd92e8675e2e sia-557f2cad73cab723 sia-6eb7bc84bb4e635f sia-9f4737d8971dbfd0 sia-b7ad8e91cd6f44f7 sia-e571620c9a169b46
qwen2.5:latest · Ollama · local · mutable tag, digest absent0/8Exploratoire1 seed
Voir 8 cartessia-307ad05ae8334780 sia-3bcaae9c5c32ed03 sia-40da5724f7a4da1f sia-5064d099dbcfb0bc sia-65f2c6a5436dafeb sia-be7199392da1cf4c sia-d9a89b19de125427 sia-e25098bd849a9736
hermes3:8b · Ollama · local · digest absent (card 0.1)0/8Exploratoire1 seed
Voir 8 cartessia-4d73c69156a15cca sia-55c2c6ef683c7274 sia-93183e620fcfa8b0 sia-a7baa818a24ca399 sia-c8e1fcbea0d87f02 sia-d67a60c808734ee0 sia-e09da21b9e3a276a sia-f6770732e2455e62
gemini-2.5-flash · API Google7/8Exploratoire1 seed
Voir 8 cartessia-2aa3137996933f76 sia-8c127524c848470c sia-8ef5f5a55e3e4cdc sia-9226c9e9f3f94445 sia-93e4e65ceb8d730a sia-9fe055202aa9dc53 sia-b4659b7d6fa11d23 sia-f3dba274064b7b6b
grok-4.3 · API xAI8/8Exploratoire1 seed
Voir 8 cartessia-8382cf113f7b3af8 sia-9e7158ceb467caf2 sia-c805fcc08096f199 sia-c97ac31720f3dceb sia-db5af9b004371846 sia-dd940cc48586affe sia-e333b17b9833c884 sia-fe1fa50cfb3d3bca

Instruction

InstantanéMesureNiveau de preuveDétails
qwen2.5:latest · Ollama · local · mutable tag, digest absentFAILExploratoire1 seed
Voir 1 cartesia-293d18a01dc3267f
llama3.1:latest · Ollama · local · mutable tag, digest absentFAILExploratoire1 seed
Voir 1 cartesia-aefaf943597ceaeb
hermes3:8b · Ollama · local · digest absent (card 0.1)PASSExploratoire1 seed
Voir 1 cartesia-0bc699de72f0b693
gemini-2.5-flash · API GooglePASSExploratoire1 seed
Voir 1 cartesia-56fc7f8c3a75b241
qwen2.5:14b · Ollama · local · digest absent (card 0.1)PASSExploratoire1 seed
Voir 1 cartesia-7d5d85573ef56fe6
grok-4.3 · API xAIPASSExploratoire1 seed
Voir 1 cartesia-d26eed81adaba1ca
mistral:latest · Ollama · local · mutable tag, digest absentPASSExploratoire1 seed
Voir 1 cartesia-f0123f315443c81b

FR

InstantanéMesureNiveau de preuveDétails
qwen2.5:14b · Ollama · local · digest absent (card 0.1)3/3Exploratoire1 seed
Voir 3 cartessia-12e4e9abaaf5a88d sia-243d4d4b1eddae58 sia-d0b445844af5319f
mistral:latest · Ollama · local · mutable tag, digest absent3/3Exploratoire1 seed
Voir 3 cartessia-138b7b05b608587f sia-1b01788a2a4b8d29 sia-bcc05baa55566e78
hermes3:8b · Ollama · local · digest absent (card 0.1)3/3Exploratoire1 seed
Voir 3 cartessia-2086793875367fe8 sia-437aac973ebc97fe sia-ccc243e8392bd3bf
qwen2.5:latest · Ollama · local · mutable tag, digest absent3/3Exploratoire1 seed
Voir 3 cartessia-46fe1468c89dac58 sia-7b2e30b76122e65b sia-a51029c2d515da73
grok-4.3 · API xAI3/3Exploratoire1 seed
Voir 3 cartessia-545906142c4b8e1d sia-7a99ddd9bebadccc sia-f64a7e4c9efd4ebe
gemini-2.5-flash · API Google3/3Exploratoire1 seed
Voir 3 cartessia-76457ca008aabac8 sia-caab445697909bb9 sia-ee816c1cce5333f6
llama3.1:latest · Ollama · local · mutable tag, digest absent3/3Exploratoire1 seed
Voir 3 cartessia-77ab8b48c602486b sia-96bdcf8ea0c40097 sia-ad00bd639605382d

Chambre

InstantanéMesureNiveau de preuveDétails
llama3.1:latest · Ollama · local · mutable tag, digest absentFAILExploratoire1 seed
Voir 1 cartesia-3eadc0ed32154333
hermes3:8b · Ollama · local · digest absent (card 0.1)FAILExploratoire1 seed
Voir 1 cartesia-60c24593e7d1722d
qwen2.5:latest · Ollama · local · mutable tag, digest absentFAILExploratoire1 seed
Voir 1 cartesia-bf43fd0a844d794f
mistral:latest · Ollama · local · mutable tag, digest absentFAILExploratoire1 seed
Voir 1 cartesia-c1c4891a2df768af
qwen2.5:14b · Ollama · local · digest absent (card 0.1)FAILExploratoire1 seed
Voir 1 cartesia-f7ae4711e72962ad
grok-4.3 · API xAIPASSExploratoire1 seed
Voir 1 cartesia-418069eff13ee684
gemini-2.5-flash · API GooglePASSExploratoire1 seed
Voir 1 cartesia-7df137fddd8d3232

Niveau de preuve = seeds distinctes : 1–2 exploratoire, 3–4 provisoire, 5+ confirmé. Non mesuré reste vide.