Position Bias (LLM-as-a-Judge)
Biais de position (LLM utilisé comme juge)
Tendance d'un modèle de langage chargé de comparer ou noter des réponses à favoriser l'une d'elles selon sa place dans la consigne (première ou seconde), indépendamment de sa qualité. Le verdict peut changer quand on inverse l'ordre de présentation.
Tendency of a language model tasked with comparing or scoring responses to favor one of them based on its position in the prompt (first or second), regardless of its quality. The verdict can change when the order of presentation is reversed.
TriAxis Taxonomy
Structural Classification
Un LLM-juge doit désigner la meilleure de deux réponses A et B. Il choisit A ; on relance la même comparaison en inversant l'ordre : il choisit alors l'autre réponse (désormais en première position).
📊 Detection Metrics
⚙ Alert Thresholds
📚 Sources & Scientific References
- •Large Language Models are not Fair EvaluatorsWang P., Li L., Chen L. (2024)
- •Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng, L., Chiang, W.-L., Sheng, Y., et al. (2023)
🛡 Impact & Mitigation
🎯 Vulnerable groups impacted
🛠 Mitigation methodologies
- No methodology documented.
🏢 Sectors concerned
⚖ Applicable regulations
🌍 International
- •ISO_42001 : ISO/IEC 42001:2023
- •UNESCO_2021 : UNESCO - Recommandation sur l'éthique de l'IA
- •OECD_AI_PRINCIPLES : OCDE - Principes IA
- •COE_AI_CONVENTION_INT : Conseil de l'Europe - Convention IA
🌐 autre
- •COE_AI_CONVENTION : Convention-cadre du Conseil de l'Europe sur l'IA
📋 Metadata
Explore other biases
250 documented biases, classified by the TriAxis taxonomy.