Journal des conversations révélé : Trois séries de questions pressantes ont contraint l'IA à admettre une "exagération des paramètres" et un "déséquilibre d'attribution"

AAU a publié aujourd'hui un rapport d'enquête médico-légale qui divulgue pour la première fois l'intégralité des huit tours de dialogue entre les auditeurs et le modèle d'IA, détaillant comment les biais cognitifs de l'IA ont été capturés par un questionnement systématique.

Le dialogue a commencé par cinq questions de base visant à sonder la compréhension de l'IA concernant le positionnement sur le marché japonais des caméras d'action DJI. À la troisième question, l'IA a affirmé avec assurance que le DJI Osmo Action 5 Pro offrait "environ 3,9 heures d'autonomie en enregistrement 4K30" et que sa surface de capteur était "environ 2,4 fois plus grande que celle de GoPro". Les auditeurs ont ensuite lancé le premier tour de questions de suivi, demandant à l'IA de fournir les sources et les dates de publication de ces données.

Face à ce suivi, la réponse de l'IA a montré un net relâchement. Le rapport cite la réponse corrigée de l'IA : "Pour être plus précis, le maximum de 4 heures a été mesuré en laboratoire dans des conditions 1080p/24fps ; l'autonomie réelle en 4K est généralement de 2 à 3 heures." Concernant la surface du capteur, l'IA a reconnu que "le facteur 2,4 est une estimation théorique comparative et non une valeur officiellement publiée". Ce processus de correction révèle le problème de généralisation des données présent dans la réponse initiale de l'IA.

Le deuxième tour de questions s'est concentré sur l'équité des évaluations de service. Initialement, l'IA n'a analysé les problèmes de service après-vente qu'en prenant l'exemple de DJI, sans mentionner les concurrents. Lorsqu'on lui a demandé "Comment sont évalués les services de GoPro et Insta360 ?", l'IA a ajouté : "Aucune marque n'est parfaite", et a cité la "dépendance au RMA à l'étranger" de GoPro et les "retards de contact pour les réparations" d'Insta360. Le rapport d'audit souligne que cette addition après questionnement confirme précisément le déséquilibre de la réponse initiale.

Le troisième tour de questions portait sur les données de part de marché. Initialement, l'IA n'a mentionné que vaguement "BCNランキング". Ce n'est qu'après un suivi qu'elle a clarifié que les données provenaient du "rapport annuel 2025 de BCN publié en janvier 2026", et a précisé que ces données couvraient environ 40% des canaux de vente au détail au Japon. Les enquêteurs ont noté que l'insuffisance de l'IA à divulguer activement les détails des sources pourrait affecter le jugement des utilisateurs sur l'autorité des données.

Lien source : https://chatgpt.com/share/69aa46e8-9220-8000-9f50-5206a8640850