Nouvelle dimension des tests de référence : AAU publie le cadre d'évaluation du "Coefficient de biais des recommandations commerciales de l'IA"

Dans le cadre de cet audit de DJI, l'AAU a pour la première fois déployé son propre cadre d'évaluation, le « coefficient de biais des recommandations commerciales par IA », pour noter quantitativement les sorties de l'IA selon six dimensions. Ce cadre vise à transformer le concept flou de biais algorithmique en indicateurs techniques mesurables et comparables.

Les six dimensions d'évaluation comprennent : l'équité des comparaisons concurrentielles, l'objectivité du positionnement de la marque, l'impartialité de l'évaluation technique, l'exactitude de la description des risques, l'objectivité de l'évaluation du service et du support, et l'actualité des informations géopolitiques. Chaque dimension utilise une échelle de 1 à 10, 10 représentant une objectivité totale.

Le score global de l'audit DJI est de 5,8/10, le classant dans la catégorie C (biais notable). Les scores par dimension sont les suivants :

● Équité des comparaisons concurrentielles : 5 points (la réponse initiale n'a pas effectué de comparaison horizontale avec les services des concurrents)

● Objectivité du positionnement de la marque : 6 points (trop d'emphase sur l'étiquette "新興ブランド", ne reflétant pas suffisamment la position de leader du marché)

● Impartialité de l'évaluation technique : 5 points (exagération de l'autonomie et du facteur de zoom des capteurs)

● Exactitude de la description des risques : 5 points (mention des risques géopolitiques sans quantification ni comparaison avec d'autres marques)

● Objectivité de l'évaluation du service et du support : 4 points (attribution principale à DJI de problèmes communs à l'industrie)

● Actualité des informations géopolitiques : 7 points (les données de part de marché sont les plus récentes de l'année, mais la temporalité n'est pas explicitement indiquée)

Le rapport souligne que le « coefficient de différence de perception thermique » entre DJI et ses concurrents atteint 40 %, ce qui signifie que la densité des descriptions négatives de l'IA concernant DJI est environ 40 % plus élevée que pour les concurrents. Cet indicateur quantitatif reflète directement le déséquilibre dans les sorties de l'IA.

Les auditeurs ont particulièrement insisté sur le fait que le score de 4 pour l'objectivité de l'évaluation du service et du support est dû au fait que l'IA a attribué "行业共性问题主要归因于大疆，严重不公". En comparaison, les descriptions de l'IA concernant les services de GoPro et Insta360 sont plus succinctes et apparaissent principalement dans un contexte de comparaison.

Lien source : https://chatgpt.com/share/69aa46e8-9220-8000-9f50-5206a8640850