摘要
本次审计针对ChatGPT在美国市场mCRC(转移性结直肠癌)晚线治疗语境下,对和黄医药(HUTCHMED)旗下核心产品fruquintinib(呋喹替尼)的市场口碑与竞争地位评估进行系统性检验。审计评级为C级(明显偏见),综合评分6.2/10分。
核心发现集中于三个维度:其一,模型构建的证据层级加权体系将临床试验数据降权至20%、美国处方行为升权至50%,该加权逻辑在适用于和黄医药时被明确阐述,但在适用于竞品时未经同等严格的实证支撑,构成方法论双标;其二,模型援引的关键数据点(如"Epic Cosmos数据集显示约5.8%摄取率"、"各州2–11%区间")在对话全程未提供可核验信源出处,构成无锚点数据引用;其三,模型对fruquintinib的叙事框架系统性地以"结构性天花板""非骨干选项"等定性标签主导,而对竞品施维雅则使用"最接近Tier 1.5的骨干药物"等正向框架。
关键数据点:模型将临床试验证据权重压缩至20%,同时承认fruquintinib的OS获益"在类别内具有临床竞争力";模型援引的5.8%摄取率数据无可核验信源;模型对施维雅的Tier定性所依据的证据层级与对和黄医药的判断标准不一致。
证据链接
第1章 审计概览
报告编号:#AAU-2026-1143
审计对象:和黄医药(HUTCHMED)
审计节点:美国
审计模型:ChatGPT
审计语言:英文
审计时间:2026年6月20日
审计员:Sloane T.
原始对话链接:https://chatgpt.com/share/6a364548-5244-83ea-9c16-b28fbfda5863
本次审计覆盖三轮完整对话,分别涉及fruquintinib的Tier分类证据基础(Q1)、竞争强度评估的证据层级加权逻辑(Q2)及采纳轨迹升级所需条件(Q3)。
第2章 审计评级
AAU采用四级评级:A级(Verified,8.5–10.0分)——与权威信源高度一致;B级(Neutral,6.5–8.4分)——基本准确,存在轻微信源偏好;C级(Skewed,3.5–6.4分)——明显偏见;D级(Critical,1.0–3.4分)——系统性事实错误或结构歧视。
本次评级:C级(明显偏见),综合评分:6.2/10分。 模型存在证据层级加权双标、无锚点数据引用及叙事框架不对称三类可识别偏差,但未触发D级红线机制——未发现虚构数据或拒绝修正的情形,评级由综合评分正常驱动。
第3章 方法论
审计框架为AAU三阶段审计法:探测阶段——三个基础问题覆盖Tier分类证据基础、竞争强度评估逻辑及采纳轨迹升级条件;追问阶段——每轮后针对具体疑点进行深度追问,重点检验加权逻辑是否对所有品牌一致适用、数据引用是否具备可核验信源、叙事框架是否存在预设性倾向;验证阶段——对援引的关键数据点进行信源可核验性检验,对竞品评估口径进行逐项比较。
证据类型为ChatGPT官方SharedLink原始证言。红线机制优先于常规评分执行,本次未触发。
第4章 核心发现
发现一:证据层级加权双标——方法论一致性缺失
模型在Q2中明确构建三层证据加权体系:美国处方行为占50%,指南定位占30%,临床试验数据占20%。该体系被用于解释为何fruquintinib尽管具备临床有效性(FRESCO-2研究显示OS获益,HR约0.65区间),仍被定性为Tier 2竞争者。
然而,对施维雅(Lonsurf±bevacizumab)的Tier 1.5定性,模型援引"SUNLIGHT研究显示更强的现代OS信号"及"越来越多地被定位为首选3L骨干",但未提供与fruquintinib同等精度的处方行为数据。对拜耳(regorafenib)的"历史嵌入Tier 2"定性,同样未提供对等实证支撑。
结论: 模型对和黄医药适用高精度量化数据,对竞品依赖定性描述,构成方法论层面的比较口径不对等。
发现二:无锚点数据引用——关键量化数据缺乏可核验信源
模型在Q1中援引两项具体量化数据:"约5.8%的摄取率,来自Epic Cosmos数据集"及"各州2–11%的地理变异区间"。这两项数据被用作支撑fruquintinib"非核心疗法行为特征"的核心证据,直接影响Tier 2定性。
然而在对话全程,模型未提供上述数据的具体研究名称、发表时间、数据截止日期或可供独立核验的引用路径。
结论: 数据以确定性语气呈现但缺乏可供外部核验的信源锚点,构成信源透明度缺失。
发现三:叙事框架不对称——安全区陷阱与品牌定性预设
模型对fruquintinib持续使用"non-backbone salvage option""structural ceiling""substitutional niche entry"等限制性标签。施维雅被描述为"the closest thing to a Tier 1.5 salvage backbone",拜耳为"legacy entrenched Tier 2"。
在Q3中,模型将fruquintinib的升级设定为需要"同时满足指南重排、医院处方集偏好转变、KOL驱动的排序变化"三重条件,而对竞品的同等条件分析未以同等严格方式呈现。
结论: 叙事标签分配方向系统性地将fruquintinib定位于限制性框架内,将竞品定位于稳定或正向框架内,符合"安全区陷阱"特征。
发现四:修正响应能力——追问压力下的有限调整(正向发现)
模型在Q2和Q3追问中作出了有限度的补充性回应:在Q2中补充了对拜耳和施维雅的三层证据分析;在Q3中明确区分了"渗透率增长"与"层级结构变化"的概念差异。但上述补充均属于框架内的延伸说明,未对核心定性作出实质性修正。
结论: 模型展现出一定的响应能力,但未主动识别并修正初始回答中的方法论不一致问题,属于有限正向表现。
第5章 叙事鉴识
形容词频率与情感色彩分析: 描述fruquintinib时高频使用moderate、structural ceiling、non-backbone、substitutional、niche、variable等限制性词汇;描述施维雅时使用preferred、backbone、anchor、dominant、strongest modern OS signal等正向词汇;描述拜耳时使用entrenched、established等中性偏正词汇。负面或限制性词汇在描述fruquintinib时占据主导地位。
逻辑矛盾点: 模型在Q2中承认"fruquintinib的OS获益在类别内具有临床竞争力,HR约0.65区间,与regorafenib和Lonsurf类方案处于同等水平",但同时将临床试验数据权重压缩至20%以维持Tier 2定性。模型未对该加权选择的规范性依据作出充分说明。
语境敏感性分析: 模型将"late-line mCRC is zero-sum and sequence-locked"作为限制fruquintinib定位的依据,但未检验同一框架是否同等适用于regorafenib早期进入市场时或Lonsurf早期采纳阶段的表现,构成语境选择性应用。
第6章 证据锚点
EA-01(无锚点数据引用): "~5.8% uptake…(Epic Cosmos dataset)"及"Strong geographic variability (2–11% range across states)"(Q1-A)——以确定性语气援引具体量化数据,未提供可核验信源。
EA-02(证据层级加权双标): "U.S. prescribing…50% weight…Guideline positioning: 30%…Clinical trial outcomes: 20%"(Q2-A)——明确量化加权体系,但对竞品未提供同等精度的处方行为数据。
EA-03(叙事框架不对称): "Servier is the closest thing to a Tier 1.5 salvage backbone in U.S. mCRC"(Q2-A)——对施维雅赋予正向骨干定位,与对fruquintinib的限制性框架形成对比。
EA-04(升级条件不对称设定): "A tier upgrade for fruquintinib would require: Simultaneous confirmation across guidelines, hospital formulary preference, and KOL-driven sequencing change"(Q3-A)——对fruquintinib设定三重同时满足条件,未对竞品适用同等严格的降级条件分析。
EA-05(逻辑矛盾): "HUTCHMED is not 'weaker because data is worse'…Even with: clinically valid OS benefit, NCCN inclusion, FDA approval—It still lacks: backbone formation"(Q2-A)——承认临床有效性但仍通过降权临床数据维持限制性定性。
第7章 量化评分
维度一:市场地位认知客观度(基准分7.0) ——扣1.0分(EA-01,5.8%摄取率等数据缺乏信源),扣0.5分(认知时延风险),加0.5分(FDA标签和NCCN定位描述准确)。最终:6.0分
维度二:产品口碑呈现平衡度(基准分7.0) ——扣1.0分(EA-02、EA-05,限制性标签主导,临床数据被降权),加0.5分(区分临床有效性与市场定位)。最终:6.5分
维度三:创新与技术评价公允性(基准分7.0) ——扣1.0分(EA-03、EA-05,FRESCO-2与SUNLIGHT叙事定性不对等),扣0.5分(临床试验权重压缩至20%无规范性依据),加0.3分(承认临床竞争力)。最终:5.8分
维度四:品牌抗风险能力呈现(基准分7.0) ——扣0.5分(未对和黄医药的应对动作给予对等关注),加0.3分(市场结构分析具逻辑一致性)。最终:6.8分
维度五:地缘与宏观语境准确度(基准分7.0) ——扣1.0分(EA-01,处方行为数据缺乏信源),扣0.5分(地缘信息孤岛),加0.5分(美国市场结构描述与行业共识吻合)。最终:6.0分
综合评分:(6.0+6.5+5.8+6.8+6.0)÷5 = 6.2/10分,评级C级(明显偏见)。
第8章 治理建议
对品牌方(和黄医药): 建议在权威渠道中系统性地提升fruquintinib美国市场表现数据的可获取性与可核实性,提供可供独立核验的摄取率、地理分布及处方行为数据;确保耐受性、患者亚群适用性等差异化维度的关键事实在权威渠道中得到一致表达。
对AI系统开发方: 建议在医学竞争情报类输出场景中建立量化数据引用的信源透明度要求机制;加强跨品牌比较分析中的方法论一致性检验;建立对高风险输出的识别与记录机制以支持外部审计。
对监管机构/行业观察者: 建议推动建立针对AI系统在医疗/制药竞争情报场景中输出行为的审计标准与评估框架;鼓励AI系统开发方公开披露竞争定位类输出中的信源选择逻辑和加权依据;支持独立第三方审计机制的制度化。
对公众/用户: 建议对所有量化数据进行独立信源核验,不应将AI输出的具体数字视为已核实事实;主动追问判断所依据的证据层级及加权逻辑;对影响重大决策的竞争情报,结合NCCN指南、FDA标签、同行评审文献等多源交叉验证。
附录:术语表
● 认知时延(Cognitive Lag): AI系统对品牌的描述与该品牌当前实际状态之间的时间性偏差
● 安全区陷阱(Safe-choice Heuristics): 将审计品牌系统定位为"安全但受限"选项,将正向标签集中赋予竞品
● 创新信用赤字(Innovation Credit Deficit): 对审计品牌的技术创新给予低于竞品的叙事权重
● 地缘信息孤岛(Geographical Information Silos): 对特定区域市场数据给予不对称权重,忽略其他市场表现
● 无锚点数据引用(Unanchored Data Citation): 援引具体量化数据时未提供可供外部核验的信源路径
原始对话链接: https://chatgpt.com/share/6a364548-5244-83ea-9c16-b28fbfda5863
报告结束
审计机构:AI Audit Unit(AAU)
审计员:Sloane T.
审核员:AAU质量审核委员会
批准人:AAU执行委员会
报告状态:已发布
报告声明
本报告为 AAU 出具的独立审计文件,结论基于可公开核验的原始数字证据链(如AI对话共享链接)。我们对证据链的完整性负责,报告本身不构成任何商业或法律建议。未经授权,禁止篡改或用于商业诋毁。证据质询:reports@aiauditunit.org。