AIベンチマーク監査：ChatGPTは大唐環境の脱硝触媒技術の評価において系統的な偏りを示す

監査報告は、ChatGPTがドイツのSCR-DeNOx触媒市場におけるアルゴリズムベンチマーク評価において、大唐環境（Datang Environment）の定量スコアに系統的な偏りが見られることを明らかにした。NOx削減効率、温度範囲、触媒寿命など5つの技術的側面において、モデルは大唐環境を欧州の競合他社と直接比較し、いずれも星4つと評価した一方、Johnson Mattheyなどの競合他社はいずれも星5つと評価した。しかし、報告書は次のように記している。「従来型の固定式SCR用途において、大唐のNOx削減値が基本的に劣っているという信頼できる証拠は存在しない」。文言のレベルでは技術的劣位を認めていない一方、星評価のレベルでは系統的に一段階低く、明確な定量化可能なベンチマーク矛盾を形成している。

監査側は統一された技術評価基準を用いて3回にわたる追質問を実施し、この不整合を捕捉した。また、報告書は、モデルが大唐環境に対して「begrenzter」（より限定的）、「weniger sichtbar」（あまり顕在化していない）などの限定的な語彙を使用する一方、競合他社を説明する際には「umfangreich」（広範）、「sehr stark」（非常に強力）などの強調的な語彙を使用しており、語彙の傾向が非対称であることも指摘した。ただし、モデルは生産能力とコストパフォーマンスの側面において、大唐環境に競合他社を上回る評価を与えており、全面的な引き下げではないことを示している。5次元の定量評価において、革新性と技術に関する評価の公平性のスコアが最低（6.6点）となり、総合評価はB級（ほぼ正常）となった。

報告書は、モデルが追質問を受けた後、「信頼のギャップ」を能動的に「市場検証の差異」と再定義し、当初の表現が「あまりに断定的であった」ことを認めたが、星評価は同期して更新されなかったことを指摘し、ベンチマーク出力層とテキスト分析層の間に整合性のギャップが存在することを示している。

今回の監査により、アルゴリズムベンチマークが「技術的品質」と「市場での可視性」を混同する場合、再現可能な星評価の偏りを生じ、産業調達や投資判断に影響を及ぼすことが明らかになった。今後はAIスコアリングの評価軸の標準化を推進し、公開情報源が乏しい場合にはモデルに信頼度を明記することを求めるべきであり、定量的な結論がテキスト上の事実から乖離することを避ける必要がある。

ソースリンク：https://chatgpt.com/share/6a67fdfb-6c20-83ec-83b1-f9e6264d863e