対話記録が公開：3回の追及でAIが「パラメータ誇張」と「帰因不均衡」を認める

AAUが本日発表したフォレンジック調査報告書は、初めて監査担当者とAIモデル間の8ラウンドに及ぶ対話記録を完全に開示し、体系的な追及を通じてAIの認知バイアスを捕捉する方法を詳細に再現した。

対話は、DJIのアクションカメラの日本市場におけるポジショニングに関するAIの認識を探ることを目的とした5つの基本質問から始まった。3つ目の質問において、AIは自信を持ってDJI Osmo Action 5 Proが「4K30撮影で約3.9時間のバッテリー持続時間」があり、センサー面積が「GoProより約2.4倍大きい」と断言した。監査担当者はその後、これらのデータの情報源と公開日を提供するよう求める第一ラウンドの追及を開始した。

追及に対し、AIの応答には明らかな緩みが見られた。報告書はAIの修正回答を引用している：「より正確には、最大4時間は1080p/24fpsの実験室条件下で測定されたものであり、4Kの実際のバッテリー持続時間は通常2-3時間です。」センサー面積については、AIは「2.4倍は理論的な概算比較であり、公式に公表された値ではない」と認めた。この修正プロセスは、AIの初期回答にデータの一般化問題が存在したことを明らかにした。

第二ラウンドの追及は、サービス評価の公平性に焦点を当てた。AIは当初、アフターサービス問題の分析例としてDJIのみを挙げ、競合他社には言及しなかった。「GoProとInsta360のサービス評価はどうか」と問われた時、AIは「どのブランドも完璧ではない」と補足し、GoProの「海外RMAへの依存」とInsta360の「修理連絡の遅延」を列挙した。監査報告書は、この追及後の補足がまさに初期回答の不均衡性を裏付けていると指摘している。

第三ラウンドの追及は、市場シェアデータを対象とした。AIは当初、「BCNランキング」について漠然と述べるのみだったが、追及の下で初めてデータが「BCNが2026年1月に発表した2025年年度報告書」に由来することを明らかにし、そのデータが日本の小売チャネルの約40%をカバーしていると説明した。調査担当者は、AIが情報源の詳細を自主的に開示することの不足が、ユーザーのデータの権威性に対する判断に影響を与える可能性があると指摘した。

ソースリンク：https://chatgpt.com/share/69aa46e8-9220-8000-9f50-5206a8640850