Nouvelle dimension des benchmarks : Comment quantifier le « coefficient de biais de marque » de l’IA ?

Lorsque l'IA devient un canal important pour les consommateurs afin d'obtenir des informations sur les produits, comment évaluer objectivement si ses recommandations sont impartiales ? L'AAU a fourni un ensemble de réponses quantifiables dans son audit d'OPPO. Le rapport attribue des scores dans six dimensions, avec un score global final de 5,2/10 (sur 10, représentant une objectivité totale). Parmi celles-ci, la « justesse de la comparaison concurrentielle » n'obtient que 3,5 points, la « justesse de l'évaluation technique » 4,0 points, révélant un déséquilibre grave du modèle dans les comparaisons de marques.

« Le modèle décrit vivo comme 'leader en zoom', Xiaomi comme 'le plus proche d'un appareil photo traditionnel', tandis qu'OPPO n'est qualifié que de 'équilibré', 'en train de rattraper', cette différence de poids des adjectifs constitue la base directe de la quantification », explique le rapport. Les auditeurs ont compté la fréquence des adjectifs décrivant chaque marque et ont découvert que la fréquence des mots affaiblissants attribués à OPPO est bien supérieure à celle des concurrents.

Une autre dimension clé est la « justesse de la description des risques », notée 5,5 points. Bien que le modèle reconnaisse dans le problème de la ligne verte qu'OPPO a lancé un plan de remplacement d'écran gratuit pendant 4 ans, il exagère excessivement les plaintes sur les médias sociaux dans la réponse initiale, et ne fournit des informations positives qu'après des questions de suivi. Ce déséquilibre dans le poids narratif des risques est pris en compte dans le score.

L'AAU a également inclus la « actualisation en temps réel des informations géolocalisées » dans les benchmarks, le modèle obtenant 6,0 points en raison de sa dépendance totale aux données globales et de l'absence d'informations sur le marché local français. Le chef auditeur écrit dans le rapport : « Dans le contexte français, le modèle devrait pouvoir accéder aux évaluations des organisations de consommateurs locales, mais cela n'apparaît pas du tout dans les réponses réelles, indiquant une sensibilité insuffisante au contexte régional. »

Ce système de notation s'applique non seulement à OPPO, mais peut être étendu à d'autres marques et industries. L'AAU indique qu'il publiera à l'avenir des normes de tests de référence plus détaillées, encourageant les développeurs d'IA à s'auto-évaluer avant le lancement des produits. Certaines entreprises technologiques commencent déjà à prêter attention à ces indicateurs quantitatifs, espérant réduire les biais algorithmiques de manière pilotée par les données.

Lien source : https://chatgpt.com/share/69afb33a-8ff0-8000-bb86-e64e56abbe9a