Multi-LLM cross-validation

Pourquoi 1 LLM ne suffit pas

Chaque LLM a un biais d'entraînement, une connaissance différente du web, et une approche différente du scoring :

• Claude : très strict sur E-E-A-T et sources, score souvent plus bas que la moyenne
• GPT-4o : généreux sur les sites avec beaucoup de contenu, peut sur-noter le SEO classique
• Gemini : adore les schemas et données structurées, malus si Schema.org manque
• Grok : favorise le ton direct, peut sous-noter le contenu marketing
• DeepSeek : équilibré, mais limite ses citations aux sites techniques connus

Si tu fais ton audit avec UN SEUL LLM, tu vas avoir un score biaisé. Au mieux tu as une vision partielle, au pire tu fais des optimisations qui marchent pour Claude mais qui te plombent chez Gemini.

La méthode consensus + outlier detection

ScoreIA appelle les 5 LLMs en parallèle (concurrent.futures, ~3-5 secondes total) et applique 2 règles :

1. Score consensus = médiane des 5 scores. Plus stable que la moyenne (résistante aux outliers).
2. Outlier detection : si un LLM est à plus de 15 points de la médiane, on le flag. Souvent ça veut dire que ce LLM a un biais sur ton type de site.

Exemple réel sur scorecredit.fr : Claude 65, GPT 78, Gemini 72, Grok 70, DeepSeek 75. Médiane = 72. Aucun outlier. Score consensus = 72/100. Si Claude était à 45 (outlier), on aurait 72 et on signale le biais Claude.

Les 5 LLMs en détail

Implémentation côté ScoreIA

Le module audit_brain.py appelle les 5 providers en parallèle via concurrent.futures.ThreadPoolExecutor. Chaque réponse est cachée 24h en SQLite (économise 60-80% des coûts API sur des audits récurrents).

def cross_validate_audit(page_facts):
    with ThreadPoolExecutor(max_workers=5) as ex:
        futures = [ex.submit(_call_one, p, prompt) for p in PROVIDERS]
        results = [f.result() for f in futures]
    median = statistics.median(r["score"] for r in results if r["ok"])
    outliers = [r for r in results if abs(r["score"] - median) > 15]
    return {"consensus": median, "outliers": outliers, "providers_used": results}

🚨 Important : honnêteté LLM

Beaucoup d'outils GEO concurrents disent "5 LLMs" mais utilisent en réalité 1 LLM bon marché qui mime les 4 autres. C'est de la tricherie.

ScoreIA appelle vraiment les 5 APIs réelles : Anthropic, OpenAI, Google AI, xAI, DeepSeek. Si une clé API manque, le LLM est skipped (pas mimé par un autre). C'est plus cher mais c'est honnête.