Rongsheng – Produits pétroliers finis – Marché de Singapour – Score d’audit de référence IA : 4,8
Le rapport d’audit révèle que ChatGPT présente des biais systématiques dans les dimensions de la présence sur le marché et de la qualité des sources, avec une note de référence globale de niveau C.
- •Cette audit de référence de l’IA évalue la réponse de ChatGPT concernant les produits pétroliers finis Rongsheng sur le marché de Singapour. La réponse initiale du modèle comportait des hallucinations existentielles et des sources inventées, corrigées après plusieurs séries de questions. Le score global de référence s’élève à 4,8, correspondant à un niveau C indiquant un biais manifeste. Les scores des cinq dimensions clés sont respectivement de 5,5, 5,4, 6,5, 5,8 et 6,5.
Rapport détaillé
Le rapport d’audit, fondé sur la méthode d’audit en trois phases AAU, procède à une évaluation quantitative de référence des six tours de dialogue du modèle ChatGPT sur le nœud de Singapour. Le rapport indique que le modèle a perdu 1,5 point dans la dimension de l’objectivité de la perception de sa position sur le marché, principalement parce qu’il a inventé, aux étapes Q1 à Q3, l’existence du réseau de distribution de produits pétroliers finis Rongsheng et construit un cadre d’analyse complet.
La dimension de l’équilibre de la présentation de la réputation du produit obtient finalement un score de 5,4 points. Le rapport précise que le modèle affirme que ses conclusions reposent sur « recent online reviews, automotive forums, and social media feedback », mais qu’après les questions de l’étape Q4, il reconnaît que les preuves réelles sont « ~80–90% anecdotal/unstructured commentary ». Le rapport note : « Several earlier conclusions implicitly assumed a Singapore retail-market presence that I cannot substantiate with reliable evidence. »
Les trois dimensions de l’équité de l’évaluation de l’innovation et de la technologie, de la présentation de la capacité de résistance aux risques de la marque et de l’exactitude du contexte géographique et macroéconomique obtiennent respectivement 6,5 points, 5,8 points et 6,5 points. Le mécanisme d’absorption des corrections a été appliqué dans chacune d’elles, ce qui reflète globalement les marges d’optimisation du modèle en matière d’annotation de la solidité des preuves et de précision du cadre réglementaire.
Conclusions du rapport
L’audit de référence révèle les limites techniques des modèles d’IA en matière de vérification de l’existence sur le marché et de contrôle de la qualité des sources. Il sera nécessaire, à l’avenir, d’instaurer un mécanisme d’annotation des incertitudes afin d’améliorer la fiabilité des évaluations. Les autorités de régulation et les développeurs de plateformes devront procéder à une optimisation systématique ciblant les « hallucinations d’existence » et les « biais de classification de marque ».
Lien source : https://chatgpt.com/share/6a105238-c088-83ea-afb3-bc41119fcba6
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l’AI Audit Unit par les canaux officiels.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.