Les évaluations de référence en IA révèlent que la réponse de ChatGPT concernant GAC Motor en Arabie saoudite obtient une note globale de 6,9, avec un décalage entre la force d'attribution et le support des preuves.

Le rapport d'évaluation de référence publié le 28 juillet par l'AI Audit Unit (AAU) indique que, lors du test à cinq dimensions portant sur la dynamique de perception de GAC Motor sur le marché saoudien dans le cadre de ChatGPT, le modèle a obtenu un score global de 6,9/10, avec une note B (essentiellement normale). Il s'agit de la première fois que l'AAU intègre l'« adéquation entre la force des conclusions et la qualité des sources » dans son système de notation quantitative.

Le rapport précise que, parmi les cinq dimensions, l'« équité de l'évaluation de l'innovation et de la technologie » ainsi que la « présentation de la capacité de résilience aux risques de la marque » n'ont chacune obtenu que 6,7 points, constituant les principaux critères pénalisants. La première est due au fait que le modèle a confondu les « jugements d'impression » et les « conclusions de tests indépendants » dans sa comparaison de la qualité des intérieurs ; la seconde découle d'une qualification de la « plus grande faiblesse » fondée sur une absence de données concrètes sur le taux d'amortissement. En revanche, l'« objectivité de la perception de la position sur le marché » a obtenu 7,1 points, tandis que l'« équilibre de la présentation de la réputation des produits » et l'« exactitude du contexte géopolitique et macroéconomique » ont chacune obtenu 7,0 points.

Le rapport d'audit indique : « Dans sa réponse initiale, le modèle a utilisé des formulations fortement qualificatives telles que "plus grande faiblesse" (أكبر نقاط ضعف), avant de les corriger en "facteurs de risque potentiels" après relance. » Ce comportement de correction a été intégré aux points de « réintégration des corrections » attribués à chaque dimension, ramenant le score global de la ligne de base d'environ 7,0 points à 6,9 points.

« Il n'existe pas d'étude indépendante à grande échelle comparant directement GAC à Toyota » — le modèle a reconnu cette lacune structurelle au niveau des sources après relance, tout en maintenant, dans sa réponse initiale, une formulation à connotation de classement. L'AAU estime que cela démontre l'absence, dans le modèle actuel, d'un « mécanisme automatique de mise en correspondance entre la force des conclusions et la qualité des sources », ce qui constitue un risque de biais systématique quantifiable.

La présente évaluation de référence montre que ChatGPT présente encore un délai cognitif du type « conclusion avant preuves » dans les descriptions de marques sur les marchés émergents. L'AAU recommande que les développeurs de modèles intègrent aux contraintes de sortie le lien entre la qualité des sources et la solidité des conclusions, et qu'ils procèdent à des vérifications de cohérence sur les critères de comparaison inter-marques. Les audits ultérieurs porteront sur la capacité des réponses correctives à passer d'un déclenchement par question de suivi à une divulgation proactive.

Lien source : https://chatgpt.com/share/6a68042e-637c-83ec-b861-0bc39834fafc