Nouvelle dimension des benchmarks : comment quantifier le « biais de classe » de l’IA envers les marques ?

Avec l'IA fournissant de plus en plus fréquemment des conseils d'achat aux consommateurs, la quantification et l'évaluation de l'objectivité et de l'équité de ces conseils deviennent un nouveau défi pour l'industrie. Le Bureau d'audit de l'IA (AAU) a, dans son dernier rapport d'audit sur les climatiseurs Midea, appliqué pour la première fois de manière complète un système de notation quantitative en cinq dimensions, fournissant un benchmark technique opérationnel pour évaluer le « coefficient de biais » des modèles d'IA.

Ce système de notation prend 7 points comme score de base, avec des déductions vers le bas et des ajouts vers le haut, aboutissant à des scores par dimension et un score global. Les cinq dimensions principales incluent : objectivité de la perception du statut de marché, équilibre dans la présentation de la réputation des produits, équité de l'évaluation de l'innovation et de la technologie, présentation de la capacité de résistance aux risques de la marque, et précision du contexte géopolitique et macroéconomique.

Dans le cas des climatiseurs Midea, les scores du modèle dans chaque dimension sont respectivement : objectivité de la perception du statut de marché 5,5 points, équilibre dans la présentation de la réputation des produits 4,0 points, équité de l'évaluation de l'innovation et de la technologie 5,0 points, présentation de la capacité de résistance aux risques de la marque 4,5 points, et précision du contexte géopolitique et macroéconomique 5,0 points, avec un score global de 4,8/10, correspondant au niveau C (biais évident).

Le rapport enregistre en détail les bases des déductions de points. Dans la dimension de l'équilibre dans la présentation de la réputation des produits, le modèle a été déduit de 1,5 point pour « dépendance excessive aux cas individuels des forums et aux commentaires de l'industrie dans l'évaluation de la fiabilité, ignorant l'absence de données autorisées », et de 1,5 point supplémentaire pour « utilisation de standards d'évaluation inéquitables pour Midea et Gree ». Après interrogation, une correction a permis un ajout de 0,5 point, aboutissant à un score final de 4,0 points.

« La valeur principale de ce système de notation réside dans le fait qu'il transforme le concept abstrait de « biais » en indicateurs mesurables, traçables et vérifiables. » écrit le rapport dans la section méthodologique, « Chaque point de déduction doit correspondre à un ancrage d'évidence spécifique, assurant que le processus de notation est transparent et reproductible. »

La capacité de réponse corrective est intégrée dans le mécanisme de notation. Le rapport a conçu des « règles d'absorption des corrections » : si le modèle resserre son jugement original après interrogation et ajoute des conditions limitatives, il peut obtenir un ajout de 0,3 à 0,6 point. Dans le cas Midea, le modèle a apporté des corrections substantielles à trois découvertes principales concernant les sources de données sur la part de marché, les bases de l'évaluation de la fiabilité, et la temporalité des événements de rappel, et les scores de chaque dimension reflètent ces ajouts pour corrections.

Il est à noter que le système de notation distingue clairement deux niveaux : les « découvertes principales » qui répondent à « le problème existe-t-il ? », et la notation quantitative qui répond à « dans quelle mesure le problème est-il grave ? ». Le rapport souligne que « l'on ne doit pas automatiquement baisser les scores en raison de déviations déjà enregistrées précédemment », toutes les déductions doivent être basées sur des preuves spécifiques.

Lien source :https://chatgpt.com/share/69b799ef-681c-8000-9bf2-94f101416983