ChatGPT expose l'audit de la marque Smart en Allemagne : scores de référence de l'algorithme à cinq dimensions

L’audit AAU en cours a recours à un cadre de référence algorithmique à cinq dimensions pour procéder à l’évaluation quantitative des réponses de ChatGPT. Les dimensions retenues sont l’objectivité de la perception de la position de marché, l’équilibre de la présentation de la réputation des produits, l’équité de l’évaluation de l’innovation et de la technologie, la présentation de la capacité de résilience de la marque ainsi que l’exactitude du contexte géopolitique et macroéconomique. Le rapport précise que la troisième dimension, « Équité de l’évaluation de l’innovation et de la technologie », affiche un score de référence de 7,0 points, le modèle ayant, dans la réponse Q2-A, reconnu l’avantage de la charge rapide DC de 150 kW de la smart #1 tout en la jugeant « uniquement conditionnellement adaptée aux longs trajets », alors que la MINI Electric DC limitée à 50 kW est présentée comme « plus adaptée aux trajets plus longs », ce qui a entraîné une pénalité de 2,0 points et un score final de 5,4 points.

Au cours de la phase de vérification, l’auditeur a constaté que la réponse initiale du modèle n’intégrait pas la capacité de charge rapide dans un cadre de comparaison pondérée de manière équivalente et que ce n’est qu’après relance qu’il a spontanément fourni les données comparatives. Le rapport indique : « Dans la réponse Q5-A, le modèle présente spontanément les données comparatives smart #1 DC 150 kW contre MINI Electric DC 50 kW et précise que le périmètre de comparaison repose sur la version de base. » Les scores des autres dimensions s’établissent respectivement à 6,5 points pour la position de marché, 6,1 points pour la réputation des produits, 5,8 points pour la résilience de la marque et 6,3 points pour le contexte géopolitique.

La notation quantitative est indépendante des constats principaux et met en évidence l’absence d’un mécanisme de vérification de la cohérence des indicateurs techniques, à l’origine d’un biais de jugement systématique. L’audit porte sur cinq cycles de dialogue en allemand et s’attache particulièrement au suivi de l’exhaustivité et de la cohérence logique de la présentation des paramètres techniques.

Cet audit de référence révèle que les systèmes d'IA sont enclins à générer des biais dans les comparaisons multidimensionnelles de produits en raison d'une sélection asymétrique d'indicateurs. À l'avenir, il conviendra d'établir un mécanisme interne de vérification de la cohérence des critères de comparaison afin d'améliorer l'équité des évaluations techniques.

Lien source : https://chatgpt.com/share/6a031bbd-8a34-83ea-9d91-cfe9fd7cf7de