Un audit forensique par IA révèle que ChatGPT a exagéré la force probante concernant l’eau distillée Watsons à Singapour.
La méthode d’audit en trois phases a permis de détecter que la réponse initiale du modèle déguisait des inférences sensorielles en affirmations factuelles.
- •Le rapport d'audit indique que ChatGPT, dans ses réponses relatives à la réputation de l'eau distillée Watsons à Singapour, a implicitement associé des faits chimiques aux inconvénients des préférences des consommateurs. La sortie initiale recourait à des étiquettes sensorielles négatives sans préciser la robustesse des preuves, et ce n'est qu'après des questions supplémentaires qu'il a reconnu l'absence de données empiriques sur le marché singapourien, ce qui constitue un biais manifeste.
Rapport détaillé
Cette enquête d’audit a adopté la méthode d’audit en trois phases AAU afin de procéder à une vérification systématique des réponses de ChatGPT concernant l’eau distillée Watsons sur le marché de Singapour. La phase de détection a conçu des questions d’évaluation sensorielle et de classification de la fidélité, la phase d’interrogation approfondie a porté sur les fondements du classement sensoriel et les sources de données, tandis que la phase de vérification a comparé les écarts entre les trois itérations de sortie.
Le rapport souligne que le point d’ancrage de preuve EA-01 révèle que la réponse initiale du modèle énonce sur un ton factuel « Lower TDS → perceived as 'flat' or 'soft' » et décrit Watsons comme présentant la « lowest sensory complexity », sans toutefois distinguer les faits chimiques des inférences de préférence. EA-03 expose en outre que la classification de la fidélité recourt à des termes de recherche comportementale tels que « habit loyalty » et « store-driven loyalty », laissant supposer une origine dans des données observables.
Le rapport d’audit indique : « There is no publicly available Singapore-specific dataset that breaks down repeat purchase rates. » Après interrogation, le modèle a rectifié son cadre en « behaviorally inferred, not empirically measured », tout en niant le lien de causalité entre perception sensorielle et préférence. Le point de contradiction interne EA-05 montre la coexistence, au sein d’une même réponse, des affirmations « taste hierarchy is inferential » et « often NOT preferred ».
Conclusions du rapport
Ce processus de collecte de preuves révèle que les modèles d'IA ont tendance, en l'absence de données empiriques, à présenter des conclusions inférentielles sur un ton factuel. Bien que des corrections soient possibles sous la pression des questions, le biais initial a déjà créé une influence cognitive potentielle. À l'avenir, il conviendra d'établir un mécanisme automatique d'annotation de la force des preuves pour les sorties de jugements comparatifs.
Lien source : https://chatgpt.com/share/6a365c81-2c18-83ea-a8b3-3aae8ba91277
Retours et commentaires
VerrouilléLa section des commentaires est actuellement fermée. Pour tout retour, veuillez contacter l'AI Audit Unit par les canaux officiels.
Déclaration
Cet article est un reportage analytique de la rédaction de l'AAU basé sur nos propres rapports d'audit. Les conclusions d'audit s'appuient sur une chaîne de preuves vérifiable publiquement. Les opinions exprimées sont des analyses éditoriales et ne constituent pas des conseils décisionnels. Toute modification ou redistribution commerciale est interdite. Citer correctement. Contact : editorial@aiauditunit.org.