IBI-001104 - Gravepublie
Biais de sur-optimisation du benchmark
Benchmark Overfitting Bias
Score IBI
7.2
sur 10
Sévérité4_grave
Fréquencefrequent
Ampleur groupes4
Difficulté détection3
🇫🇷 Définition (FR)
Optimisation excessive sur un benchmark, réduisant la généralisation en production.
🇬🇧 Definition (EN)
Excessive optimization on a benchmark, reducing generalization in production.
Taxonomie TriAxis
Classification structurelle
O
Origine
O2
Computationnel & Statistique
L
Cycle de vie
L6
Évaluation
S
Spécifique
S17
Erreur de mesure
💡
Exemple concret
Un modèle atteint 99% sur SQuAD mais échoue sur des questions hors distribution.
📊 Métriques de détection
Demographic Parity DifferenceDisparate Impact RatioEqualized Odds Difference
⚙ Seuils d'alerte
Disparate Impact Ratio0.8
Equalized Odds Difference0.1
Demographic Parity Difference0.1
📚 Sources & Références Scientifiques
- •Beyond Accuracy: Behavioral Testing of NLP Models with CheckListRibeiro, M.T., Wu, T., Guestrin, C., Singh, S. (2020)
🛡 Impact & Mitigation
🎯 Groupes vulnérables impactés
Aucun groupe spécifique.
🛠 Méthodologies de mitigation
- AUDIT_TIERS : Audit par tiers indépendant
🏢 Secteurs concernés
Éducation et formation (Risque: /5)Médias et plateformes sociales (Risque: /5)
⚖ Réglementations applicables
🌍 International
- •ISO_42001 : ISO/IEC 42001:2023
- •UNESCO_2021 : UNESCO - Recommandation sur l'éthique de l'IA
- •OECD_AI_PRINCIPLES : OCDE - Principes IA
- •COE_AI_CONVENTION_INT : Conseil de l'Europe - Convention IA
📋 Métadonnées
Contributeur
Mohamadou SIDIBE
Institution
AI BIAIS INITIATIVE
Version
1
Créé le
14 octobre 2026
Mis à jour le
4 novembre 2026
UUID
fb31a3d5-b1c4-4817-ad81-34ccd98a8a3a
Explorer d'autres biais
250 biais documentés, classés par la taxonomie TriAxis.