Home›Biases›IBI-00251
IBI-002513_significativepublie

Position Bias (LLM-as-a-Judge)

Biais de position (LLM utilisé comme juge)

IBI Score
4.4
out of 10
Severity3_significative
Frequencyfrequent
Scope groups1
Detection difficulty1
🇫🇷 Définition (FR)

Tendance d'un modèle de langage chargé de comparer ou noter des réponses à favoriser l'une d'elles selon sa place dans la consigne (première ou seconde), indépendamment de sa qualité. Le verdict peut changer quand on inverse l'ordre de présentation.

🇬🇧 Definition (EN)

Tendency of a language model tasked with comparing or scoring responses to favor one of them based on its position in the prompt (first or second), regardless of its quality. The verdict can change when the order of presentation is reversed.

TriAxis Taxonomy

Structural Classification

O
Origin
O2
Computational & Statistical
L
Lifecycle
L6
Evaluation
S
Specific
S29
Presentation bias
💡
Concrete Example

Un LLM-juge doit désigner la meilleure de deux réponses A et B. Il choisit A ; on relance la même comparaison en inversant l'ordre : il choisit alors l'autre réponse (désormais en première position).

📊 Detection Metrics

No metrics documented

⚙ Alert Thresholds

No thresholds documented

📚 Sources & Scientific References

🛡 Impact & Mitigation

🎯 Vulnerable groups impacted

No specific groups.

🛠 Mitigation methodologies

  • No methodology documented.

🏢 Sectors concerned

No specific sector.

⚖ Applicable regulations

🌍 International
  • •
    ISO_42001 : ISO/IEC 42001:2023
  • •
    UNESCO_2021 : UNESCO - Recommandation sur l'éthique de l'IA
  • •
    OECD_AI_PRINCIPLES : OCDE - Principes IA
  • •
    COE_AI_CONVENTION_INT : Conseil de l'Europe - Convention IA
🌐 autre
  • •
    COE_AI_CONVENTION : Convention-cadre du Conseil de l'Europe sur l'IA

📋 Metadata

Contributor
Auditeur
Institution
AI BIAIS INITIATIVE
Version
1
Created on
November 7, 2026
Updated on
November 7, 2026
UUID
305b586f-58f4-4fac-9aa6-9507c6c75f33

Explore other biases

250 documented biases, classified by the TriAxis taxonomy.