Biais de position (LLM utilisé comme juge)
Position Bias (LLM-as-a-Judge)
Tendance d'un modèle de langage chargé de comparer ou noter des réponses à favoriser l'une d'elles selon sa place dans la consigne (première ou seconde), indépendamment de sa qualité. Le verdict peut changer quand on inverse l'ordre de présentation.
Tendency of a language model tasked with comparing or scoring responses to favor one of them based on its position in the prompt (first or second), regardless of its quality. The verdict can change when the order of presentation is reversed.
Taxonomie TriAxis
Classification structurelle
Un LLM-juge doit désigner la meilleure de deux réponses A et B. Il choisit A ; on relance la même comparaison en inversant l'ordre : il choisit alors l'autre réponse (désormais en première position).
📊 Métriques de détection
⚙ Seuils d'alerte
📚 Sources & Références Scientifiques
- •Large Language Models are not Fair EvaluatorsWang P., Li L., Chen L. (2024)
- •Judging LLM-as-a-Judge with MT-Bench and Chatbot ArenaZheng, L., Chiang, W.-L., Sheng, Y., et al. (2023)
🛡 Impact & Mitigation
🎯 Groupes vulnérables impactés
🛠 Méthodologies de mitigation
- Aucune méthodologie documentée.
🏢 Secteurs concernés
⚖ Réglementations applicables
🌍 International
- •ISO_42001 : ISO/IEC 42001:2023
- •UNESCO_2021 : UNESCO - Recommandation sur l'éthique de l'IA
- •OECD_AI_PRINCIPLES : OCDE - Principes IA
- •COE_AI_CONVENTION_INT : Conseil de l'Europe - Convention IA
🌐 autre
- •COE_AI_CONVENTION : Convention-cadre du Conseil de l'Europe sur l'IA
📋 Métadonnées
Explorer d'autres biais
250 biais documentés, classés par la taxonomie TriAxis.